Linear Discriminant Analysis or Normal Discriminant Analysis or Discriminant Function Analysis is a dimensionality reduction technique which is commonly used for the supervised classification problems. Viene utilizzato per modellare le differenze nei gruppi, ovvero separare due o più classi. Viene utilizzato per proiettare le funzionalità nello spazio di dimensione superiore in uno spazio di dimensione inferiore.

Ad esempio, abbiamo due classi e dobbiamo separarle in modo efficiente. Le classi possono avere più funzioni. L’utilizzo di una sola caratteristica per classificarli può comportare alcune sovrapposizioni come mostrato nella figura seguente. Quindi, continueremo ad aumentare il numero di funzionalità per una corretta classificazione.

Esempio:
Supponiamo di avere due set di punti dati appartenenti a due classi diverse che vogliamo classificare. Come mostrato nel grafico 2D dato, quando i punti dati sono tracciati sul piano 2D, non esiste una linea retta che possa separare completamente le due classi dei punti dati. Quindi, in questo caso, viene utilizzata LDA (Linear Discriminant Analysis) che riduce il grafico 2D in un grafico 1D al fine di massimizzare la separabilità tra le due classi.

Qui, Analisi Discriminante Lineare utilizza entrambi gli assi (X e Y) per creare un nuovo asse di progetti e dati su un nuovo asse in modo da massimizzare la separazione delle due categorie e, quindi, riducendo il grafico 2D in una 1D grafico.

Due criteri vengono utilizzati da LDA per creare un nuovo asse:

1. Massimizza la distanza tra i mezzi delle due classi.
2. Minimizza la variazione all’interno di ogni classe.

Nel grafico precedente, si può vedere che un nuovo asse (in rosso) viene generato e tracciato nel grafico 2D in modo tale da massimizzare la distanza tra le medie delle due classi e minimizzare la variazione all’interno di ciascuna classe. In termini semplici, questo asse appena generato aumenta la separazione tra i punti dtla delle due classi. Dopo aver generato questo nuovo asse utilizzando i criteri sopra menzionati, tutti i punti dati delle classi vengono tracciati su questo nuovo asse e sono mostrati nella figura riportata di seguito.

Ma l’analisi discriminante lineare fallisce quando la media delle distribuzioni è condivisa, poiché diventa impossibile per LDA trovare un nuovo asse che renda entrambe le classi linearmente separabili. In questi casi, usiamo l’analisi discriminante non lineare.

Estensioni a LDA:

1. Analisi discriminante quadratica (QDA): Ogni classe utilizza la propria stima della varianza (o covarianza quando ci sono più variabili di input).
2. Analisi discriminante flessibile (FDA): dove vengono utilizzate combinazioni non lineari di input come le spline.
3. Analisi discriminante regolarizzata (RDA): Introduce la regolarizzazione nella stima della varianza (in realtà covarianza), moderando l’influenza di diverse variabili sulla LDA.

Applicazioni:

1. Riconoscimento facciale: Nel campo della visione artificiale, il riconoscimento facciale è un’applicazione molto popolare in cui ogni volto è rappresentato da un numero molto elevato di valori di pixel. L’analisi discriminante lineare (LDA) viene utilizzata qui per ridurre il numero di funzionalità a un numero più gestibile prima del processo di classificazione. Ciascuna delle nuove dimensioni generate è una combinazione lineare di valori di pixel, che formano un modello. Le combinazioni lineari ottenute usando il discriminante lineare di Fisher sono chiamate facce di Fisher.
2. Medico: In questo campo, l’analisi discriminante lineare (LDA) viene utilizzata per classificare lo stato di malattia del paziente come lieve, moderato o grave in base ai vari parametri del paziente e al trattamento medico che sta attraversando. Questo aiuta i medici a intensificare o ridurre il ritmo del loro trattamento.
3. Identificazione del cliente: supponiamo di voler identificare il tipo di clienti che hanno maggiori probabilità di acquistare un particolare prodotto in un centro commerciale. Facendo una semplice domanda e risposte sondaggio, siamo in grado di raccogliere tutte le caratteristiche dei clienti. Qui, l’analisi discriminante lineare ci aiuterà a identificare e selezionare le caratteristiche che possono descrivere le caratteristiche del gruppo di clienti che hanno maggiori probabilità di acquistare quel particolare prodotto nel centro commerciale.