Modelli di machine learning generativi e discriminatori

Alcuni modelli di machine learning appartengono alle categorie di modelli “generativi” o “discriminativi”. Eppure cos'è la differenza tra queste due categorie di modelli? Cosa significa per un modello essere discriminativo o generativo?

La risposta breve è che i modelli generativi sono quelli che includono la distribuzione del set di dati, restituendo una probabilità per un dato esempio. I modelli generativi vengono spesso utilizzati per prevedere cosa accadrà successivamente in una sequenza. Nel frattempo, i modelli discriminativi vengono utilizzati per la classificazione o la regressione e restituiscono una previsione basato sul condizionale probabilità. Esploriamo le differenze tra modelli generativi e discriminativi in ​​modo più dettagliato, in modo da poter veramente capire cosa separa i due tipi di modelli e quando ogni tipo dovrebbe essere utilizzato.

Modelli generativi e modelli discriminativi

Esistono diversi modi per classificare un modello di machine learning. Un modello può essere classificato come appartenente a diverse categorie come: modelli generativi, modelli discriminativi, modelli parametrici, modelli non parametrici, modelli basati su alberi, modelli non basati su alberi.

Questo articolo si concentrerà sulle differenze tra modelli generativi e modelli discriminativi. Inizieremo definendo entrambi i modelli generativi e discriminativi, quindi esploreremo alcuni esempi di ciascun tipo di modello.

Modelli generativi

Modelli generativi sono quelli incentrati sulla distribuzione delle classi all'interno del dataset. Gli algoritmi di apprendimento automatico in genere modellano la distribuzione dei punti dati. I modelli generativi si basano sulla ricerca della probabilità congiunta. Creazione di punti in cui esistono contemporaneamente una determinata caratteristica di input e un output/etichetta desiderato.

I modelli generativi sono tipicamente impiegati per stimare le probabilità e la verosimiglianza, modellando i punti dati e discriminando tra le classi in base a queste probabilità. Poiché il modello apprende una distribuzione di probabilità per il set di dati, può fare riferimento a questa distribuzione di probabilità per generare nuove istanze di dati. I modelli generativi spesso fanno affidamento su Teorema di Bayes per trovare la probabilità congiunta, trovando p(x,y). In sostanza, i modelli generativi modellano il modo in cui i dati sono stati generati, rispondono alla seguente domanda:

"Qual è la probabilità che questa classe o un'altra classe abbia generato questo punto dati/istanza?"

Esempi di modelli di apprendimento automatico generativo includono l'analisi discriminante lineare (LDA), i modelli di Markov nascosti e le reti bayesiane come Naive Bayes.

Modelli discriminatori

Mentre i modelli generativi apprendono la distribuzione del set di dati, modelli discriminanti conoscere il confine tra le classi all'interno di un set di dati. Con i modelli discriminativi, l'obiettivo è identificare il confine decisionale tra le classi per applicare etichette di classe affidabili alle istanze di dati. I modelli discriminatori separano le classi nel set di dati utilizzando la probabilità condizionale, senza fare ipotesi sui singoli punti dati.

I modelli discriminatori si propongono di rispondere alla seguente domanda:

"In quale lato del confine decisionale si trova questa istanza?"

Esempi di modelli discriminativi nell'apprendimento automatico includono macchine a vettori di supporto, regressione logistica, alberi decisionali e foreste casuali.

Differenze tra generativo e discriminativo

Ecco una rapida carrellata delle principali differenze tra modelli generativi e discriminativi.

Modelli generativi:

• I modelli generativi mirano a catturare l'effettiva distribuzione delle classi nel set di dati.
• I modelli generativi prevedono la distribuzione di probabilità congiunta – p(x,y) – utilizzando il teorema di Bayes.
• I modelli generativi sono computazionalmente costosi rispetto ai modelli discriminativi.
• I modelli generativi sono utili per le attività di machine learning senza supervisione.
• I modelli generativi sono influenzati dalla presenza di valori anomali più dei modelli discriminativi.

Modelli discriminatori:

• I modelli discriminatori modellano il limite decisionale per le classi del set di dati.
• I modelli discriminatori apprendono la probabilità condizionata – p(y|x).
• I modelli discriminatori sono computazionalmente economici rispetto ai modelli generativi.
• I modelli discriminatori sono utili per le attività di machine learning supervisionate.
• I modelli discriminatori hanno il vantaggio di essere più robusti rispetto ai valori anomali, a differenza dei modelli generativi.
• I modelli discriminatori sono più robusti rispetto ai valori anomali rispetto ai modelli generativi.

Esploreremo ora brevemente alcuni diversi esempi di modelli di machine learning generativi e discriminativi.

Esempi di modelli generativi

Analisi discriminante lineare (LDA)

Modelli LDA funzione stimando la varianza e la media dei dati per ogni classe nel set di dati. Dopo aver calcolato la media e le varianze per ogni classe, è possibile fare previsioni stimando la probabilità che un dato insieme di input appartenga a una data classe.

Modelli Markov nascosti

Le catene di Markov possono essere pensate come grafici con probabilità che indicano quanto è probabile che ci sposteremo da un punto della catena, uno “stato”, a un altro stato. Le catene di Markov vengono utilizzate per determinare la probabilità di passare dallo stato j allo stato i, che può essere indicato come p(i,j). Questa è solo la probabilità congiunta menzionata sopra. Un modello di Markov nascosto è quello in cui viene utilizzata una catena di Markov invisibile e non osservabile. I dati vengono immessi nel modello e le probabilità per lo stato attuale e lo stato immediatamente precedente vengono utilizzate per calcolare il risultato più probabile.

Reti bayesiane

Reti bayesiane sono un tipo di modello grafico probabilistico. Rappresentano dipendenze condizionali tra variabili, come rappresentato da un grafico aciclico diretto. In una rete bayesiana, ogni bordo del grafico rappresenta una dipendenza condizionale e ogni nodo corrisponde a una variabile univoca. L'indipendenza condizionale per le relazioni univoche nel grafico può essere utilizzata per determinare la distribuzione congiunta delle variabili e calcolare la probabilità congiunta. In altre parole, una rete bayesiana cattura un sottoinsieme delle relazioni indipendenti in una specifica distribuzione di probabilità congiunta.

Una volta che una rete bayesiana è stata creata e definita correttamente, con variabili casuali, relazioni condizionali e distribuzioni di probabilità note, può essere utilizzata per stimare la probabilità di eventi o risultati.

Uno dei tipi più comunemente utilizzati di reti bayesiane è un modello Naive Bayes. Un modello Naive Bayes gestisce la sfida del calcolo della probabilità per set di dati con molti parametri/variabili trattando tutte le caratteristiche come indipendenti l'una dall'altra.

Esempi di modelli discriminatori

Supporto di macchine vettoriali

Supporta macchine vettoriali operare tracciando un confine decisionale tra i punti dati, trovando il confine decisionale che meglio separa le diverse classi nel set di dati. L'algoritmo SVM disegna linee o iperpiani che separano punti, rispettivamente per spazi bidimensionali e spazi 2D. SVM si sforza di trovare la linea/iperpiano che meglio separa le classi cercando di massimizzare il margine, ovvero la distanza tra la linea/iperpiano e i punti più vicini. I modelli SVM possono essere utilizzati anche su set di dati che non sono linearmente separabili utilizzando il "trucco del kernel" per identificare i limiti decisionali non lineari.

Regressione logistica

Regressione logistica è un algoritmo che utilizza una funzione logit (log-odds) per determinare la probabilità che un input si trovi in ​​uno dei due stati. Una funzione sigmoide viene utilizzata per "schiacciare" la probabilità verso 0 o 1, vero o falso. Si presume che le probabilità maggiori di 0.50 siano di classe 1, mentre le probabilità 0.49 o inferiori si presume siano 0. Per questo motivo, la regressione logistica viene tipicamente utilizzata nei problemi di classificazione binaria. Tuttavia, la regressione logistica può essere applicata a problemi multiclasse utilizzando un approccio uno contro tutti, creando un modello di classificazione binaria per ogni classe e determinando la probabilità che un esempio sia una classe di destinazione o un'altra classe nel set di dati.

Albero decisionale

A albero decisionale il modello funziona suddividendo un set di dati in porzioni sempre più piccole e, una volta che i sottoinsiemi non possono essere ulteriormente suddivisi, il risultato è un albero con nodi e foglie. I nodi in un albero decisionale sono i punti in cui vengono prese le decisioni sui punti dati utilizzando diversi criteri di filtro. Le foglie in un albero decisionale sono i punti dati che sono stati classificati. Gli algoritmi dell'albero decisionale possono gestire dati sia numerici che categorici e le suddivisioni nell'albero si basano su variabili/caratteristiche specifiche.

Foreste casuali

A modello forestale casuale è fondamentalmente solo una raccolta di alberi decisionali in cui viene calcolata la media delle previsioni dei singoli alberi per giungere a una decisione finale. L'algoritmo della foresta casuale seleziona le osservazioni e le caratteristiche in modo casuale, costruendo i singoli alberi in base a queste selezioni.

Questo articolo tutorial esplorerà come creare un Box Plot in Matplotlib. I box plot vengono utilizzati per visualizzare le statistiche di riepilogo di un set di dati, visualizzando gli attributi della distribuzione come l'intervallo e la distribuzione dei dati.