L’Analyse discriminante linéaire ou l’Analyse Discriminante Normale ou l’Analyse des Fonctions discriminantes est une technique de réduction de la dimensionnalité couramment utilisée pour les problèmes de classification supervisée. Il est utilisé pour modéliser les différences dans les groupes, c’est-à-dire séparer deux classes ou plus. Il est utilisé pour projeter les caractéristiques dans un espace de dimension supérieure dans un espace de dimension inférieure.

Par exemple, nous avons deux classes et nous devons les séparer efficacement. Les classes peuvent avoir plusieurs fonctionnalités. L’utilisation d’une seule caractéristique pour les classer peut entraîner un chevauchement, comme le montre la figure ci-dessous. Nous allons donc continuer à augmenter le nombre de fonctionnalités pour une classification appropriée.

Exemple:
Supposons que nous ayons deux ensembles de points de données appartenant à deux classes différentes que nous voulons classer. Comme le montre le graphique 2D donné, lorsque les points de données sont tracés sur le plan 2D, aucune ligne droite ne peut séparer complètement les deux classes des points de données. Ainsi, dans ce cas, on utilise LDA (Linear Discriminant Analysis) qui réduit le graphe 2D en un graphe 1D afin de maximiser la séparabilité entre les deux classes.

Ici, l’analyse discriminante linéaire utilise les deux axes (X et Y) pour créer un nouvel axe et projette les données sur un nouvel axe de manière à maximiser la séparation des deux catégories et, par conséquent, à réduire le graphique 2D en un graphique 1D.

Deux critères sont utilisés par LDA pour créer un nouvel axe:

1. Maximise la distance entre les moyennes des deux classes.
2. Minimise la variation au sein de chaque classe.

Dans le graphique ci-dessus, on peut voir qu’un nouvel axe (en rouge) est généré et tracé dans le graphique 2D de sorte qu’il maximise la distance entre les moyennes des deux classes et minimise la variation au sein de chaque classe . En termes simples, cet axe nouvellement généré augmente la séparation entre les points dtla des deux classes. Après avoir généré ce nouvel axe en utilisant les critères précités, tous les points de données des classes sont tracés sur ce nouvel axe et sont représentés sur la figure ci-dessous.

Mais l’analyse discriminante linéaire échoue lorsque la moyenne des distributions est partagée, car il devient impossible pour LDA de trouver un nouvel axe qui rend les deux classes linéairement séparables. Dans de tels cas, nous utilisons une analyse discriminante non linéaire.

Extensions de LDA :

1. Analyse discriminante quadratique (QDA): Chaque classe utilise sa propre estimation de variance (ou covariance lorsqu’il y a plusieurs variables d’entrée).
2. Analyse discriminante flexible (FDA): Où des combinaisons non linéaires d’entrées sont utilisées telles que des splines.
3. Analyse discriminante régularisée (RDA): Introduit la régularisation dans l’estimation de la variance (en fait la covariance), modérant l’influence de différentes variables sur la LDA.

Applications :

1. Reconnaissance faciale: Dans le domaine de la vision par ordinateur, la reconnaissance faciale est une application très populaire dans laquelle chaque visage est représenté par un très grand nombre de valeurs de pixels. L’analyse discriminante linéaire (LDA) est utilisée ici pour réduire le nombre de caractéristiques à un nombre plus gérable avant le processus de classification. Chacune des nouvelles dimensions générées est une combinaison linéaire de valeurs de pixels, qui forment un modèle. Les combinaisons linéaires obtenues à l’aide du discriminant linéaire de Fisher sont appelées faces de Fisher.
2. Médical: Dans ce domaine, l’analyse discriminante linéaire (LDA) est utilisée pour classer l’état pathologique du patient comme léger, modéré ou sévère en fonction des différents paramètres du patient et du traitement médical qu’il subit. Cela aide les médecins à intensifier ou à réduire le rythme de leur traitement.
3. Identification du client: Supposons que nous souhaitions identifier le type de clients les plus susceptibles d’acheter un produit particulier dans un centre commercial. En faisant une simple enquête de questions-réponses, nous pouvons rassembler toutes les fonctionnalités des clients. Ici, l’analyse discriminante linéaire nous aidera à identifier et à sélectionner les caractéristiques qui peuvent décrire les caractéristiques du groupe de clients les plus susceptibles d’acheter ce produit particulier dans le centre commercial.