Modele generative vs. discriminative de învățare automată

Unele modele de învățare automată aparțin fie categoriilor de modele „generative”, fie „discriminative”. Totuși, ce este diferența dintre aceste două categorii de modele? Ce înseamnă ca un model să fie discriminativ sau generativ?

Răspunsul scurt este că modelele generative sunt cele care includ distribuția setului de date, returnând o probabilitate pentru un exemplu dat. Modelele generative sunt adesea folosite pentru a prezice ceea ce urmează într-o secvență. Între timp, modelele discriminative sunt folosite fie pentru clasificare, fie pentru regresie și returnează o predicție bazat pe condițional probabilitate. Să explorăm diferențele dintre modelele generative și cele discriminative mai detaliat, astfel încât să putem înțelege cu adevărat ce separă cele două tipuri de modele și când ar trebui utilizat fiecare tip.

Modele generative vs

Există o varietate de moduri de a clasifica un model de învățare automată. Un model poate fi clasificat ca aparținând la mai multe categorii precum: modele generative, modele discriminative, modele parametrice, modele neparametrice, modele bazate pe arbore, modele care nu sunt bazate pe arbore.

Acest articol se va concentra pe diferențele dintre modelele generative și modelele discriminative. Vom începe prin a defini atât modele generative, cât și modele discriminative, apoi vom explora câteva exemple pentru fiecare tip de model.

Modele generative

Modele generative sunt cele care se concentrează pe distribuția claselor în setul de date. Algoritmii de învățare automată modelează de obicei distribuția punctelor de date. Modelele generative se bazează pe găsirea probabilității comune. Crearea de puncte în care o caracteristică de intrare dată și o ieșire/etichetă dorită există concomitent.

Modelele generative sunt de obicei folosite pentru a estima probabilitățile și probabilitatea, modelând punctele de date și diferențiind clasele pe baza acestor probabilități. Deoarece modelul învață o distribuție de probabilitate pentru setul de date, poate face referire la această distribuție de probabilitate pentru a genera noi instanțe de date. Pe modelele generative se bazează adesea teorema Bayes pentru a afla probabilitatea comună, găsind p(x,y). În esență, modelele generative modelează modul în care au fost generate datele, răspunde la următoarea întrebare:

„Care este probabilitatea ca această clasă sau o altă clasă să genereze acest punct/instanță de date?”

Exemple de modele generative de învățare automată includ analiza liniară discriminantă (LDA), modelele Markov ascunse și rețele bayesiene precum Naive Bayes.

Modele discriminatorii

În timp ce modelele generative învață despre distribuția setului de date, modele discriminatorii aflați despre granița dintre clase dintr-un set de date. Cu modele discriminatorii, scopul este de a identifica limita de decizie între clase pentru a aplica etichete de clasă de încredere instanțelor de date. Modelele discriminatorii separă clasele din setul de date folosind probabilitatea condiționată, fără a face ipoteze despre punctele de date individuale.

Modelele discriminatorii au propus să răspundă la următoarea întrebare:

„În ce parte a hotarului de decizie se află această instanță?”

Exemple de modele discriminatorii în învățarea automată includ mașini vector de suport, regresie logistică, arbori de decizie și păduri aleatorii.

Diferențele dintre generativ și discriminativ

Iată o scurtă prezentare a diferențelor majore dintre modelele generative și cele discriminatorii.

Modele generative:

• Modelele generative urmăresc să surprindă distribuția reală a claselor din setul de date.
• Modelele generative prezic distribuția comună de probabilitate – p(x,y) – utilizând teorema Bayes.
• Modelele generative sunt costisitoare din punct de vedere computațional în comparație cu modelele discriminative.
• Modelele generative sunt utile pentru sarcinile de învățare automată nesupravegheate.
• Modelele generative sunt influențate de prezența valorilor aberante mai mult decât modelele discriminatorii.

Modele discriminatorii:

• Modelele discriminative modelează granița de decizie pentru clasele setului de date.
• Modelele discriminative învață probabilitatea condiționată – p(y|x).
• Modelele discriminative sunt ieftine din punct de vedere computațional în comparație cu modelele generative.
• Modelele discriminatorii sunt utile pentru sarcinile de învățare automată supravegheate.
• Modelele discriminative au avantajul de a fi mai robuste la valori aberante, spre deosebire de modelele generative.
• Modelele discriminatorii sunt mai robuste la valori aberante în comparație cu modelele generative.

Acum vom explora pe scurt câteva exemple diferite de modele generative și discriminatorii de învățare automată.

Exemple de modele generative

Analiza Discriminantă Liniară (LDA)

Modele LDA funcția prin estimarea varianței și mediei datelor pentru fiecare clasă din setul de date. După ce media și variațiile pentru fiecare clasă au fost calculate, se pot face predicții prin estimarea probabilității ca un anumit set de intrări să aparțină unei clase date.

Modele ascunse Markov

Lanțuri Markov poate fi gândit ca grafice cu probabilități care indică cât de probabil este să trecem dintr-un punct din lanț, o „stare”, la o altă stare. Lanțurile Markov sunt utilizate pentru a determina probabilitatea trecerii de la starea j la starea i, care poate fi notat ca p(i,j). Aceasta este doar probabilitatea comună menționată mai sus. Un model Markov ascuns este locul în care este folosit un lanț Markov invizibil, neobservabil. Intrările de date sunt date modelului și probabilitățile pentru starea curentă și starea imediat precedentă sunt utilizate pentru a calcula rezultatul cel mai probabil.

Rețele Bayesiene

Rețele bayesiene sunt un tip de model grafic probabilistic. Ele reprezintă dependențe condiționate între variabile, așa cum sunt reprezentate de un grafic aciclic direcționat. Într-o rețea bayesiană, fiecare margine a graficului reprezintă o dependență condiționată și fiecare nod corespunde unei variabile unice. Independența condiționată pentru relațiile unice din grafic poate fi utilizată pentru a determina distribuția comună a variabilelor și pentru a calcula probabilitatea comună. Cu alte cuvinte, o rețea bayesiană captează un subset al relațiilor independente într-o distribuție specifică de probabilitate comună.

Odată ce o rețea bayesiană a fost creată și definită corespunzător, cu variabile aleatorii, relații condiționate și distribuții de probabilitate cunoscute, aceasta poate fi utilizată pentru a estima probabilitatea evenimentelor sau a rezultatelor.

Unul dintre cele mai frecvent utilizate tipuri de rețele bayesiene este un model Bayes naiv. Un model Naive Bayes face față provocării de a calcula probabilitatea pentru seturi de date cu mulți parametri/variabile tratând toate caracteristicile ca independente unele de altele.

Exemple de modele discriminatorii

Suporta mașini vectoriale

Suporta mașini vectoriale operați prin trasarea unei granițe de decizie între punctele de date, găsind granița de decizie care separă cel mai bine diferitele clase din setul de date. Algoritmul SVM desenează fie linii, fie hiperplane care separă puncte, pentru spații bidimensionale și, respectiv, spații 2D. SVM se străduiește să găsească linia/hiperplanul care separă cel mai bine clasele încercând să maximizeze marja sau distanța dintre linie/hiperplan până la cele mai apropiate puncte. Modelele SVM pot fi, de asemenea, utilizate pe seturi de date care nu sunt separabile liniar prin utilizarea „trucului nucleului” pentru a identifica granițele decizionale neliniare.

Regresie logistică

Regresie logistică este un algoritm care utilizează o funcție logit (log-odds) pentru a determina probabilitatea ca o intrare să se afle într-una din cele două stări. O funcție sigmoidă este folosită pentru a „squis” probabilitatea către 0 sau 1, adevărat sau fals. Probabilitățile mai mari de 0.50 sunt presupuse a fi clasa 1, în timp ce probabilitățile 0.49 sau mai mici sunt presupuse a fi 0. Din acest motiv, regresia logistică este de obicei utilizată în problemele de clasificare binară. Totuși, regresia logistică poate fi aplicată problemelor cu mai multe clase prin utilizarea unei abordări unu vs. toate, creând un model de clasificare binar pentru fiecare clasă și determinând probabilitatea ca un exemplu să fie o clasă țintă sau o altă clasă din setul de date.

Arborele de Decizii

A arborele de decizie modelul funcționează prin împărțirea unui set de date în porțiuni din ce în ce mai mici, iar odată ce subseturile nu mai pot fi împărțite, rezultatul este un arbore cu noduri și frunze. Nodurile dintr-un arbore de decizie sunt acolo unde deciziile privind punctele de date sunt luate folosind diferite criterii de filtrare. Frunzele dintr-un arbore de decizie sunt punctele de date care au fost clasificate. Algoritmii arborelui de decizie pot gestiona atât date numerice, cât și date categoriale, iar împărțirile din arbore se bazează pe variabile/caracteristici specifice.

Păduri aleatorii

A model de pădure aleatoare este practic doar o colecție de arbori de decizie în care previziunile arborilor individuali sunt mediate pentru a ajunge la o decizie finală. Algoritmul pădurii aleatoriu selectează aleatoriu observațiile și caracteristicile, construind arborii individuali pe baza acestor selecții.

Acest articol tutorial va explora cum să creați un Box Plot în Matplotlib. Diagramele cu casete sunt folosite pentru a vizualiza statisticile rezumate ale unui set de date, afișând atribute ale distribuției, cum ar fi intervalul și distribuția datelor.