Generatiiviset vs. Diskriminatiiviset Koneoppimismallit

Jotkut koneoppimismallit kuuluvat joko “generatiivisiin” tai “diskriminatiivisiin” mallikategorioiden alle. Mutta mitä on ero näiden kahden mallikategorian välillä? Mitä tarkoittaa, että malli on diskriminatiivinen tai generatiivinen?

Lyhyt vastaus on, että generatiiviset mallit ovat niitä, jotka sisältävät datan jakautumisen, ja palauttavat todennäköisyyden annetulle esimerkille. Generatiiviset mallit käytetään usein ennustamaan, mitä tapahtuu seuraavaksi jonkin sarjan aikana. Vastaavasti, diskriminatiiviset mallit käytetään joko luokitteluun tai regressioon, ja ne palauttavat ennusteen ehtoisen todennäköisyyden perusteella. Tutkimme nyt generatiivisten ja diskriminatiivisten mallien eroja tarkemmin, jotta voimme ymmärtää, mitä erottaa nämä kaksi mallityyppiä, ja milloin kumpaakin tulisi käyttää.

Generatiiviset vs. Diskriminatiiviset Mallit

On olemassa useita tapoja luokitella koneoppimismalli. Malli voidaan luokitella kuuluvaksi eri kategorioiden alle, kuten: generatiivisiin malleihin, diskriminatiivisiin malleihin, parametrillisiin malleihin, ei-parametrillisiin malleihin, puuhavaintoihin ja ei-puuhavaintoihin.

Tämä artikkeli keskittyy generatiivisten ja diskriminatiivisten mallien eroihin. Aloitan määrittelemällä sekä generatiiviset että diskriminatiiviset mallit, ja sitten tutkimme joitakin esimerkkejä kummastakin mallityypistä.

Generatiiviset Mallit

Generatiiviset mallit ovat niitä, jotka keskittyvät luokkien jakautumiseen datasetissä. Koneoppimisalgoritmit mallittavat tyypillisesti datapisteen jakautumista. Generatiiviset mallit perustuvat yhteistodennäköisyyden löytämiseen. Luomalla pisteitä, joissa annettu syöteominaisuus ja haluttu tuloste/merkintä ovat olemassa samanaikaisesti.

Generatiiviset mallit ovat tyypillisesti käytössä todennäköisyyksien ja todennäköisyyksien arvioimiseen, datapisteen mallittamiseen ja luokkien erottamiseen näiden todennäköisyyksien perusteella. Koska malli oppii datan jakautumisen, se voi viitata tähän jakautumiseen uusien datan instanssien luomiseen. Generatiiviset mallit usein perustuvat Bayesin teoreemaan yhteistodennäköisyyden löytämiseksi, löytämällä p(x,y). Perimmältään generatiiviset mallit mallittavat, miten data on luotu, ja vastaavat seuraavaa kysymystä:

“Mikä on todennäköisyys, että tämä luokka tai toinen luokka on luonut tämän datan / instanssin?”

Esimerkkejä generatiivisista koneoppimismalleista ovat Lineaariset Diskriminantti Analyysit (LDA), Piilotetut Markovin mallit ja Bayes-verkkomallit, kuten Naive Bayes.

Discriminatiiviset Mallit

Kun taas generatiiviset mallit oppivat datan jakautumisesta, diskriminatiiviset mallit oppivat luokkien välisestä rajasta datasetissä. Diskriminatiivisilla malleilla tavoitteena on tunnistaa päätöksenteon raja luokkien välillä, jotta voidaan soveltaa luotettavia luokittelumerkintöjä data-instansseihin. Diskriminatiiviset mallit erottavat luokat datasetissä käyttämällä ehtoista todennäköisyyttä, eivätkä tee oletuksia yksittäisten datapisteen ominaisuuksista.

Discriminatiiviset mallit pyrkivät vastaamaan seuraavaan kysymykseen:

“Mikä puolella päätöksenteon rajaa tämä instanssi sijaitsee?”

Esimerkkejä diskriminatiivisista koneoppimismalleista ovat tukevaiset vektorikoneet, logistinen regressio, päätöspuut ja satunnaiset metsät.

Generatiivisten ja Diskriminatiivisten Mallien Ero

Tässä on nopea katsaus generatiivisten ja diskriminatiivisten mallien keskeisimpiin eroihin.

Generatiiviset mallit:

• Generatiiviset mallit pyrkivät kaappaamaan datan oikean jakautumisen.
• Generatiiviset mallit ennustavat yhteistodennäköisyyden jakautumista – p(x,y) – käyttäen Bayesin teoreemaa.
• Generatiiviset mallit ovat laskennallisesti kalliimpia kuin diskriminatiiviset mallit.
• Generatiiviset mallit ovat hyödyllisiä valvomattomissa koneoppimistehtävissä.
• Generatiiviset mallit ovat herkempiä poikkeamille kuin diskriminatiiviset mallit.

Discriminatiiviset mallit:

• Discriminatiiviset mallit mallittavat päätöksenteon rajaa datasetin luokkien välillä.
• Discriminatiiviset mallit oppivat ehtoisen todennäköisyyden – p(y|x).
• Discriminatiiviset mallit ovat laskennallisesti halvempia kuin generatiiviset mallit.
• Discriminatiiviset mallit ovat hyödyllisiä valvottuissa koneoppimistehtävissä.
• Discriminatiiviset mallit ovat vakaampia poikkeamille kuin generatiiviset mallit.
• Discriminatiiviset mallit ovat vakaampia poikkeamille kuin generatiiviset mallit.

Tutkimme nyt joitakin esimerkkejä generatiivisista ja diskriminatiivisista koneoppimismalleista.

Generatiivisten Mallien Esimerkkejä

Lineaariset Diskriminantti Analyysit (LDA)

LDA-mallit toimivat arvioimalla datan varianssin ja keskiarvon kullekin luokalle datasetissä. Kun keskiarvo ja varianssit on laskettu kullekin luokalle, voidaan tehdä ennusteita arvioimalla todennäköisyyttä, että annettu syötekuuluu tiettyyn luokkaan.

Piilotetut Markovin Mallit

Markovin ketjut voidaan ajatella graafeina, joissa on todennäköisyydet, jotka osoittavat, kuinka todennäköistä on, että siirrymme yhdestä pisteestä toiseen, “tilaan”. Markovin ketjut käytetään määrittämään todennäköisyyttä siirtymisestä tilasta j:stä tilaan i, jota voidaan merkitä p(i,j). Tämä on yhteistodennäköisyys, josta aiemmin mainittiin. Piilotettu Markovin malli on sellainen, jossa käytetään näkymätöntä, havaitsematonta Markovin ketjua. Data-syötteet annetaan mallille, ja todennäköisyydet nykyiselle tilalle ja edelliselle tilalle käytetään laskemaan todennäköisin lopputulos.

Bayes-verkkomallit

Bayes-verkkomallit ovat tyyppi todennäköisyysgrafiikkamalleja. Ne edustavat ehdollisia riippuvuuksia muuttujien välillä, jotka ovat suunnattuja akkyylisiä graafeja. Bayes-verkkomallissa jokainen graafin reuna edustaa ehdollista riippuvuutta, ja jokainen solmu vastaa yksittäistä muuttujaa. Graafin itsenäiset suhteet voidaan käyttää määrittämään muuttujien yhteistodennäköisyyttä ja laskea yhteistodennäköisyys. Toisin sanoen, Bayes-verkko kaappaa osan itsenäisistä suhteista tietyssä yhteistodennäköisyydessä.

Kun Bayes-verkko on luotu ja määritelty oikein, satunnaisilla muuttujilla, ehdollisilla suhteilla ja todennäköisyyksillä, sitä voidaan käyttää arvioimaan tapahtumien tai lopputuloksien todennäköisyyttä.

Yksi yleisimmin käytetty Bayes-verkkomalli on Naive Bayes -malli. Naive Bayes -malli ratkaisee haasteen, joka liittyy todennäköisyyden laskemiseen dataseteille, joissa on monia parametreja / muuttujia, käsittelemällä kaikki ominaisuudet toisistaan riippumattomina.

Discriminatiivisten Mallien Esimerkkejä

Tukevaiset Vektorikoneet

Tukevaiset vektorikoneet toimivat piirtämällä päätöksenteon rajan data-pisteiden välille, etsimällä parasta päätöksenteon rajaa, joka erottaa eri luokat datasetissä. SVM-algoritmi piirtää joko linjoja tai hyperpianeja, jotka erottavat pisteet 2-ulotteisissa ja 3D-avaruudessa. SVM pyrkii löytämään linjan / hyperpilan, joka parhaiten erottaa luokat, yrittämällä maksimoida marginaalin eli etäisyyden linjan / hyperpilan ja lähimmän pisteiden välillä. SVM-mallit voidaan myös käyttää ei-lineaarisesti erottuvissa dataseteissä käyttämällä “kernel-trickiä” epälineaisten päätöksenteon rajojen tunnistamiseen.

Logistinen Regressio

Logistinen regressio on algoritmi, joka käyttää logit-funktiota (log-odds) määrittämään syötteen todennäköisyyttä olemassa jommassa kummassa tilassa. Sigmoid-funktiota käytetään “pakkaamaan” todennäköisyys kohti 0 tai 1, totta tai epätotta. Todennäköisyydet, jotka ovat yli 0,50, oletetaan kuuluvan luokkaan 1, kun taas todennäköisyydet 0,49 tai alempia oletetaan kuuluvan luokkaan 0. Tämän vuoksi logistista regressiota käytetään tyypillisesti binäärisissä luokittelutehtävissä. Logistista regressiota voidaan kuitenkin soveltaa myös moniluokkaisiin ongelmiin käyttämällä yksi-kaikkiaan -lähestymistapaa, luomalla binäärisen luokittelumallin kullekin luokalle ja määrittämällä todennäköisyyden, että esimerkki on kohdeluokka tai toinen luokka datasetissä.

Päätöspuu

Päätöspuumalli toimii jakamalla datasetin pienempiin osiin, ja kun aliosat eivät voida enää jakaa, lopputuloksena on puu, jossa on solmuja ja lehtiä. Päätöspuun solmut ovat paikkoja, joissa tehdään päätöksiä datapisteen suhteen käyttämällä eri suodatuskriteerejä. Päätöspuun lehdet ovat datapisteyt, jotka on luokiteltu. Päätöspuualgoritmit voivat käsitellä sekä numeerisia että kategorisia tietoja, ja puun jakoa perustuu tiettyihin muuttujiin / ominaisuuksiin.

Satunnaiset Metsät

Satunnaisten metsien malli on periaatteessa vain kokoelma päätöspuita, joissa yksittäisten puiden ennusteet keskiarvoistetaan lopulliseen päätökseen. Satunnaisen metsän algoritmi valitsee satunnaisesti havainnot ja ominaisuudet, ja rakentaa yksittäiset puut näiden valintojen perusteella.

Tämä opetusartikkeli tutkii, miten luodaan Box-kaavio Matplotlib-kirjastolla. Box-kaaviot ovat hyödyllisiä visualisoimaan datan tiivistystatistiikkaa, ja ne näyttävät datan jakautumisen ominaisuuksia, kuten datan alueen ja jakautumisen.