Modelli di apprendimento automatico generativi vs. discriminatori

Alcuni modelli di apprendimento automatico appartengono a una delle due categorie dei modelli “generativi” o “discriminatori”. Eppure, qual è la differenza tra queste due categorie di modelli? Cosa significa che un modello sia discriminatorio o generativo?

La risposta breve è che i modelli generativi sono quelli che includono la distribuzione dell’insieme di dati, restituendo una probabilità per un esempio dato. I modelli generativi vengono spesso utilizzati per prevedere cosa accade dopo in una sequenza. Nel frattempo, i modelli discriminatori vengono utilizzati per la classificazione o la regressione e restituiscono una previsione basata sulla probabilità condizionale. Esploriamo le differenze tra modelli generativi e discriminatori in modo più dettagliato, in modo da poter comprendere veramente cosa separa i due tipi di modelli e quando ogni tipo dovrebbe essere utilizzato.

Modelli generativi vs. discriminatori

Esistono vari modi per categorizzare un modello di apprendimento automatico. Un modello può essere classificato come appartenente a diverse categorie come: modelli generativi, modelli discriminatori, modelli parametrici, modelli non parametrici, modelli basati su alberi, modelli non basati su alberi.

Questo articolo si concentrerà sulle differenze tra modelli generativi e discriminatori. Inizieremo definendo sia i modelli generativi che quelli discriminatori, e poi esploreremo alcuni esempi di ogni tipo di modello.

Modelli generativi

I modelli generativi sono quelli che si concentrano sulla distribuzione delle classi all’interno dell’insieme di dati. Gli algoritmi di apprendimento automatico modellano tipicamente la distribuzione dei punti di dati. I modelli generativi si basano sulla ricerca della probabilità congiunta. Creano punti in cui una caratteristica di input data e un output/etichetta desiderati esistono contemporaneamente.

I modelli generativi vengono tipicamente utilizzati per stimare le probabilità e le verosimiglianze, modellando i punti di dati e discriminando tra le classi in base a queste probabilità. Poiché il modello apprende una distribuzione di probabilità per l’insieme di dati, può fare riferimento a questa distribuzione di probabilità per generare nuove istanze di dati. I modelli generativi spesso si basano sul teorema di Bayes per trovare la probabilità congiunta, trovando p(x,y). In sostanza, i modelli generativi modellano come sono stati generati i dati, rispondendo alla seguente domanda:

“Qual è la probabilità che questa classe o un’altra classe abbia generato questo punto di dati/istanza?”

Esempi di modelli di apprendimento automatico generativi includono l’analisi discriminante lineare (LDA), i modelli di Markov nascosti e le reti bayesiane come Naive Bayes.

Modelli discriminatori

Mentre i modelli generativi apprendono la distribuzione dell’insieme di dati, i modelli discriminatori apprendono il confine tra le classi all’interno di un insieme di dati. Con i modelli discriminatori, l’obiettivo è identificare il confine decisionale tra le classi per applicare etichette di classe affidabili alle istanze di dati. I modelli discriminatori separano le classi nell’insieme di dati utilizzando la probabilità condizionale, senza fare alcuna ipotesi sui singoli punti di dati.