\section{Principes}

L’approche \gls{svm} est un ensemble de méthodes supervisées utilisant :
\begin{enum}
\item{un \gls{ds} d’apprentissage pour entraîner l’algorithme,\\
et qui fait donc office de superviseur}
\item{un \gls{ds} de test pour vérifier sa pertinence}
\end{enum}

Cette approche se révèle appropriée dans de nombreux cas d’utilisation :
\begin{itmz}
\item{filtrage d’email, courriel légitime ou pourriel (phishing, spam)}
\item{classification d’images, quel que soit le \gls{si}}
\item{détection de \gls{sgn} dans des fichiers multimédias}
\item{quantification de granularité dans des textures}
\item{reconnaissance de caractères et d’écriture dans des images}
\item{classification d’expressions faciales dans des images}
\item{reconnaissance vocale dans des échantillons sonores}
\item{classification et prédiction de structure de protéines}
\item{établissement de diagnostics médicaux}
\item{classification de documents texte en différentes catégories}
\end{itmz}

En fonction du type de problèmes, deux types de résolution :
\begin{itmz}
\item{\textbf{régression} (\gls{svr}) → nombre}
\item{\textbf{classification} (\gls{svc}) → catégorie}
\end{itmz}

En fonction des \glspl{ds}, deux types d’approche mathématique :
\begin{itmz}
\item{\textbf{linéaire} : la plus simple}
\item{\textbf{non linéaire} : faisant appel à des \glspl{kf}}
\end{itmz}

Quatre paramètres permettent d’affiner le modèle :
\begin{itmz}
\item{\textbf{noyau} : linéaire, \gls{rbf}, polynomial, \gls{sigmoid}, etc.}
\item{\textbf{degré} : aide à trouver un \gls{hpp} séparateur en contexte polynomial,
faisant rapidement augmenter le temps nécessaire à l’entraînement}
\item{\textbf{γ} : pour les \glspl{hpp} non linéaires}
\item{\textbf{C} : pénalité augmentant la distance des données prises en compte,\\
au risque d’engendrer un surentraînement si trop importante}
\end{itmz}

\pagebreak

\subsection{Régression}

Un hyperparamètre \textbf{ε} permet de fait varier l’épaisseur de la marge,
pour y inclure le plus de données possible.
Les éléments exclus sont identifiés en rose.

\subsubsection{Régression linéaire}

Régression la plus simple : une approximation affine est suffisante.

\bifig{}{Régression linéaire, variation d’ε \cite{homl-linear}}
{15em}{regression_linear_left}{regression_linear_right}

\subsubsection{Régression non linéaire}

Régression nécessitant l’utilisation d’une fonction noyau.\\
Une plus grande valeur de C intègre des données plus éloignées.

\bifig{}{Régression polynomiale de degré 2, variation de C \cite{homl-nonlinear}}
{15em}{regression_nonlinear_left}{regression_nonlinear_right}

\pagebreak

\subsection{Classification}

Il s’agit du type de résolution le plus fréquemment utilisé.

\subsubsection{Classification linéaire}

Cette section se penche sur la classification de 2 espèces d’iris,
en fonction des longueurs et largeurs de leurs pétales.

\textbf{Séparation à Vaste Marge}

La figure de gauche montre que dans l’absolu, un grand nombre de droites
peut séparer correctement les 2 ensembles à classifier.
La figure de droite montre cependant qu’en utilisant les éléments
les plus proches, appelés dans ce cas \glspl{sv}, il est alors possible
de définir une marge de séparation la plus large qui soit, afin de
déterminer la droite médiane de séparation la plus efficace.

\bifig{}{Séparation à Vaste Marge \cite{homl-large-scale}}
{9em}{margin_large_left}{margin_large_right}

Un changement d’échelle préalable aide à la séparation des données,
et peut mener à une meilleure efficacité du modèle pour la classification.
\cite{scaling}

La figure de droite montre l’inclusion d’un \gls{sv} supplémentaire.

\bifig{}{Changements d’échelles de dimensions \cite{homl-large-scale}}
{10em}{margin_scale_left}{margin_scale_right}

\pagebreak

\textbf{Séparation à marge souple}

L’approche de vaste marge peut être perturbée par 2 problématiques distinctes.

La figure de droite montre par exemple des \glspl{sv} tellement proches,
que la pertinence du modèle s’en trouve forcément impactée, réduisant
ainsi la fiabilité de la séparation.

La figure de gauche montre quant à elle une anomalie (outlier),
rendant de fait toute séparation linéaire impossible.

\bifig{}{Sensibilité de vaste marge aux anomalies \cite{homl-hard-few}}
{9.5em}{margin_hard_left}{margin_hard_right}

Il faut donc utiliser un modèle plus flexible pour pouvoir éviter
ce type de problèmes. Le but étant de trouver le meilleur compromis
entre avoir la marge la plus large, et y retrouver le moins possible
d’éléments intrus, appelés violations de marge.

Il est ainsi possible d’utiliser l’hyperparamètre \textbf{C} pour faire
varier la distance de prise en compte des éléments proches de la marge.

Plus la valeur de \textbf{C} augmente, plus le nombre de violations de
marge diminiue, mais plus le modèle se spécialise.

Une attention particulière doit donc être portée à la réduction de marge,
sans quoi le modèle perdrait en capacité de généralisation
et donc en précision.

\bifig{}{Plus ou moins de violations de marge, variation de C \cite{homl-hard-few}}
{9.5em}{margin_few_left}{margin_few_right}

\pagebreak

\subsubsection{Classification non linéaire}

Toutes les données ne sont pas forcément séparables de façon linéaire.

Pour y adapter un modèle, il est donc nécessaire de passer par la création
de nouvelles variables résultant de la transformation des données.

Sur la ligne de la figure de gauche, des éléments verts sont entourés d’éléments bleus, inséparables linéairement tels quels.

La figure de droite introduit alors une variable $X_{2}$, élévation
au carré de la variable d’origine $X_{1}$, permettant ainsi
une séparation linéaire des données.

\bifig{}{Séparation linéaire par ajout de variable \cite{homl-nonlinear-linear}}
{14.5em}{nonlinear_linear_left}{nonlinear_linear_right}

L’ajout de variables polynomiales autorise donc des séparations sous
forme de courbes, et non plus seulement de droites.

La figure suivante montre un exemple de séparation curviligne régulière,
correspondant à la répartition des 2 catégories présentes.

\fig{}{Classification utilisant des variables polynomiales \cite{homl-feat-poly}}
{14em}{features_polynomial}

\pagebreak

\textbf{Noyau polynomial}

Combiner des polynomes de degrés faibles est simple, pratique et
relativement rapide à calculer.

Mais plus les \glspl{ds} seront complexes, plus il faudra composer avec
des polynomes de plus haut degré, générant un grand nombre de variables,
et rendant ainsi le modèle trop lent.

Un outil mathématique appelé \gls{kt} permet de contourner ce problème.
Se basant sur le théorème de Mercer, il permet de remplacer dans un espace
de grande dimension, un produit scalaire par une \gls{kf} facile à calculer.

Ce \gls{kt} simplifie donc les calculs ultérieurs d’affinage.
La technique \gls{gs}, limitant les hyperparamètres à des sous-ensembles
de valeurs prédéfinies respectant un certain pas, permet ensuite un bon
compromis de temps de calcul pour trouver les valeurs de réglages
les plus appropriées.

\bifig{}{\Gls{kf} polynomiale \cite{homl-poly}}
{14em}{kernel_polynomial_left}{kernel_polynomial_right}

\textbf{Similarité}

Une autre façon de gérer des données non linéairement séparables
est d’utiliser une fonction de similarité, comme la \gls{rbf} gaussienne.

Le principe est de transformer les éléments en fonction de leur similitude
avec des points de repères déterminés dans l’ensemble d’origine.
Utiliser chacun des éléments comme point de repère augmente la probabilité
de séparabilité linéaire, mais également le nombre de variables et donc
le temps de calcul.

La figure de gauche montre les 2 points de repère choisis en rouge,
ainsi que leur courbe gaussienne associée.

La figure de droite montre tous les points transformés avec la \gls{rbf}
gaussienne, devenant également linéairement séparables.

\bifig{}{Variables de similarité utilisant la \gls{rbf} gaussienne \cite{homl-feat-simi}}
{14em}{features_similar_left}{features_similar_right}

\textbf{Noyau gaussien \gls{rbf}}

Le \gls{kt} marche également dans un tel contexte de similarité.

Faire varier \textbf{C} (colonnes) change la distance de prise en compte.\\
Faire varier \textbf{γ} (rangées) modifie l’épaisseur de la « cloche » gaussienne.

\bifig{}{\Gls{kf} gaussienne (\gls{rbf}) \cite{homl-rbf}}
{26em}{kernel_rbf_left}{kernel_rbf_right}

\pagebreak

\textbf{Autres noyaux}

En complément aux plus courants vus précédemment, un certain nombre
d’autres noyaux existe :

\begin{itmz}
\item{\gls{rbf} de Laplace}
\item{tangente hyperbolique}
\item{sigmoïde}
\item{fonction de Bessel de première espèce}
\item{\gls{rbf} \gls{anova}}
\item{sillon linéaire à 1 dimension}
\item{chaîne (utilisé pour les documents texte ou séquences d’ADN)}
\end{itmz}

\textbf{Autres outils}

Des algorithmes récents se sont montrés plus efficaces avec de grands \glspl{ds} :

\begin{itmz}
\item{descente par sous-gradient, avec des techniques de décomposition}
\item{descente par coordonnée, en effectuant des minimisations itératives}
\end{itmz}

\subsubsection{Classification multi-classes}

Quand au moins 3 catégories sont à classifier,
et donc pour étendre les modèles à plus de 2 catégories,
deux approches sont intéressantes \cite{multi-class} :

\begin{itmz}
\item{\gls{svm} à arbre de décision}
\item{\gls{svm} par paires}
\end{itmz}

\subsubsection{Optimisation}

Normaliser les données avant de les classifier peut donner de bien meilleurs
résultats en fonction du type de problèmes considéré.

Dans le cadre de la proposition d’un nouvel algorithme pour classifier des
tumeurs cérébrales à partir d’\gls{irm} \cite{mri}, sont recensées
(entre 1990 et 2018) de nombreuses combinaisons de pré-traitements
et de classifications. \cite{optimization}

Parmi ces traitements : filtre gaussien, réduction de bruit,
suppression d’artefacts, égalisation d’histogramme, filtre médian.

\pagebreak