Generatiewe vs. diskriminerende masjienleermodelle

Sommige masjienleermodelle behoort aan óf die "generatiewe" óf "diskriminerende" modelkategorieë. Tog wat is die verskil tussen hierdie twee kategorieë modelle? Wat beteken dit vir 'n model om diskriminerend of generatief te wees?

Die kort antwoord is dat generatiewe modelle dié is wat die verspreiding van die datastel insluit, wat 'n waarskynlikheid vir 'n gegewe voorbeeld gee. Generatiewe modelle word dikwels gebruik om te voorspel wat volgende in 'n volgorde plaasvind. Intussen word diskriminerende modelle gebruik vir óf klassifikasie óf regressie en hulle gee 'n voorspelling terug gebaseer op voorwaardelike waarskynlikheid. Kom ons ondersoek die verskille tussen generatiewe en diskriminatiewe modelle in meer besonderhede, sodat ons werklik kan verstaan ​​wat die twee tipes modelle skei en wanneer elke tipe gebruik moet word.

Generatiewe vs. Diskriminerende modelle

Daar is 'n verskeidenheid maniere om 'n masjienleermodel te kategoriseer. 'n Model kan geklassifiseer word as wat aan verskillende kategorieë behoort, soos: generatiewe modelle, diskriminatiewe modelle, parametriese modelle, nie-parametriese modelle, boom-gebaseerde modelle, nie-boom-gebaseerde modelle.

Hierdie artikel sal fokus op die verskille tussen generatiewe modelle en diskriminatiewe modelle. Ons sal begin deur beide generatiewe en diskriminatiewe modelle te definieer, en dan sal ons 'n paar voorbeelde van elke tipe model ondersoek.

Generatiewe modelle

Generatiewe modelle is dié wat fokus op die verspreiding van die klasse binne die datastel. Die masjienleeralgoritmes modelleer tipies die verspreiding van die datapunte. Generatiewe modelle maak staat op die vind van gesamentlike waarskynlikheid. Die skep van punte waar 'n gegewe invoerkenmerk en 'n verlangde uitvoer/etiket gelyktydig bestaan.

Generatiewe modelle word tipies gebruik om waarskynlikhede en waarskynlikheid te skat, datapunte te modelleer en tussen klasse te onderskei op grond van hierdie waarskynlikhede. Omdat die model 'n waarskynlikheidsverdeling vir die datastel leer, kan dit na hierdie waarskynlikheidsverspreiding verwys om nuwe datagevalle te genereer. Generatiewe modelle maak dikwels staat op Bayes-stelling om die gesamentlike waarskynlikheid te vind, vind p(x,y). Generatiewe modelle modelleer in wese hoe die data gegenereer is, beantwoord die volgende vraag:

"Wat is die waarskynlikheid dat hierdie klas of 'n ander klas hierdie datapunt/instansie gegenereer het?"

Voorbeelde van generatiewe masjienleermodelle sluit in Lineêre Diskriminantanalise (LDA), Hidden Markov-modelle en Bayesiese netwerke soos Naive Bayes.

Diskriminerende modelle

Terwyl generatiewe modelle leer oor die verspreiding van die datastel, diskriminerende modelle leer oor die grens tussen klasse binne 'n datastel. Met diskriminerende modelle is die doel om te identifiseer die besluitgrens tussen klasse om betroubare klasetikette op datagevalle toe te pas. Diskriminerende modelle skei die klasse in die datastel deur voorwaardelike waarskynlikheid te gebruik, sonder om enige aannames oor individuele datapunte te maak.

Diskriminatiewe modelle het die doel om die volgende vraag te beantwoord:

"In watter kant van die besluitgrens word hierdie geval gevind?"

Voorbeelde van diskriminerende modelle in masjienleer sluit in ondersteuningsvektormasjiene, logistiese regressie, besluitnemingsbome en ewekansige woude.

Verskille tussen generatiewe en diskriminerende

Hier is 'n vinnige oorsig van die groot verskille tussen generatiewe en diskriminerende modelle.

Generatiewe modelle:

• Generatiewe modelle het ten doel om die werklike verspreiding van die klasse in die datastel vas te lê.
• Generatiewe modelle voorspel die gesamentlike waarskynlikheidsverdeling – p(x,y) – deur die Bayes-stelling te gebruik.
• Generatiewe modelle is rekenkundig duur in vergelyking met diskriminatiewe modelle.
• Generatiewe modelle is nuttig vir masjienleertake sonder toesig.
• Generatiewe modelle word meer beïnvloed deur die teenwoordigheid van uitskieters as diskriminerende modelle.

Diskriminerende modelle:

• Diskriminatiewe modelle modelleer die besluitgrens vir die datastelklasse.
• Diskriminatiewe modelle leer die voorwaardelike waarskynlikheid – p(y|x).
• Diskriminatiewe modelle is rekenkundig goedkoop in vergelyking met generatiewe modelle.
• Diskriminerende modelle is nuttig vir masjienleertake onder toesig.
• Diskriminatiewe modelle het die voordeel dat hulle meer robuust is teenoor uitskieters, anders as die generatiewe modelle.
• Diskriminatiewe modelle is meer robuust teenoor uitskieters in vergelyking met generatiewe modelle.

Ons sal nou kortliks 'n paar verskillende voorbeelde van generatiewe en diskriminatiewe masjienleermodelle ondersoek.

Voorbeelde van generatiewe modelle

Lineêre diskriminerende analise (LDA)

LDA modelle funksioneer deur die variansie en gemiddelde van die data vir elke klas in die datastel te skat. Nadat die gemiddelde en afwykings vir elke klas bereken is, kan voorspellings gemaak word deur die waarskynlikheid te skat dat 'n gegewe stel insette aan 'n gegewe klas behoort.

Verborge Markov-modelle

Markov-kettings kan beskou word as grafieke met waarskynlikhede wat aandui hoe waarskynlik dit is dat ons van een punt in die ketting, 'n "staat", na 'n ander toestand sal beweeg. Markov-kettings word gebruik om die waarskynlikheid te bepaal om van toestand j na toestand i te beweeg, wat as p(i,j aangedui kan word). Dit is net die gesamentlike waarskynlikheid wat hierbo genoem is. 'n Versteekte Markov-model is waar 'n onsigbare, onwaarneembare Markov-ketting gebruik word. Die data-insette word aan die model gegee en die waarskynlikhede vir die huidige toestand en die toestand wat dit onmiddellik voorafgaan, word gebruik om die mees waarskynlike uitkoms te bereken.

Bayesiese netwerke

Bayesiese netwerke is 'n tipe waarskynlike grafiese model. Hulle verteenwoordig voorwaardelike afhanklikhede tussen veranderlikes, soos voorgestel deur 'n gerigte asikliese grafiek. In 'n Bayes-netwerk verteenwoordig elke rand van die grafiek 'n voorwaardelike afhanklikheid, en elke nodus stem ooreen met 'n unieke veranderlike. Die voorwaardelike onafhanklikheid vir die unieke verwantskappe in die grafiek kan gebruik word om die gesamentlike verspreiding van die veranderlikes te bepaal en gesamentlike waarskynlikheid te bereken. Met ander woorde, 'n Bayesiese netwerk vang 'n subset van die onafhanklike verwantskappe in 'n spesifieke gesamentlike waarskynlikheidsverdeling vas.

Sodra 'n Bayes-netwerk geskep en behoorlik gedefinieer is, met ewekansige veranderlikes, voorwaardelike verwantskappe en waarskynlikheidsverdelings bekend, kan dit gebruik word om die waarskynlikheid van gebeurtenisse of uitkomste te skat.

Een van die mees gebruikte tipes Bayesian Networks is 'n Naïewe Bayes-model. 'n Naïewe Bayes-model hanteer die uitdaging om waarskynlikheid vir datastelle met baie parameters/veranderlikes te bereken deur alle kenmerke as onafhanklik van mekaar te hanteer.

Voorbeelde van diskriminerende modelle

Ondersteun vektormasjiene

Ondersteun vektormasjiene werk deur 'n besluitgrens tussen datapunte te trek en die besluitgrens te vind wat die verskillende klasse in die datastel die beste skei. Die SVM-algoritme teken óf lyne óf hipervlakke wat punte skei, vir onderskeidelik 2-dimensionele ruimtes en 3D-ruimtes. SVM poog om die lyn/hipervlak te vind wat die klasse die beste skei deur te probeer om die marge te maksimeer, of die afstand tussen die lyn/hipervlak na die naaste punte. SVM-modelle kan ook gebruik word op datastelle wat nie lineêr skeibaar is nie deur die "kern-truuk" te gebruik om nie-lineêre besluitgrense te identifiseer.

Logistieke regressie

Logistieke regressie is 'n algoritme wat 'n logit (log-odds) funksie gebruik om die waarskynlikheid te bepaal dat 'n inset in een van twee toestande is. 'n Sigmoïedfunksie word gebruik om die waarskynlikheid na óf 0 óf 1, waar of onwaar, te “squish”. Waarskynlikhede groter as 0.50 word as klas 1 aanvaar, terwyl waarskynlikhede 0.49 of laer as 0 aanvaar word. Om hierdie rede word logistiese regressie tipies gebruik in binêre klassifikasieprobleme. Logistiese regressie kan egter op multiklasprobleme toegepas word deur 'n een vs. almal benadering te gebruik, 'n binêre klassifikasiemodel vir elke klas te skep en die waarskynlikheid te bepaal dat 'n voorbeeld 'n teikenklas of 'n ander klas in die datastel is.

Besluitboom

A besluit boom model funksioneer deur 'n datastel in kleiner en kleiner gedeeltes te verdeel, en sodra die subversamelings nie verder verdeel kan word nie, is die resultaat 'n boom met nodusse en blare. Nodusse in 'n besluitboom is waar besluite oor datapunte geneem word deur gebruik te maak van verskillende filterkriteria. Die blare in 'n besluitboom is die datapunte wat geklassifiseer is. Besluitboomalgoritmes kan beide numeriese en kategoriese data hanteer, en verdelings in die boom is gebaseer op spesifieke veranderlikes/kenmerke.

Willekeurige woude

A ewekansige bosmodel is basies net 'n versameling besluitebome waar die voorspellings van die individuele bome gemiddeld is om tot 'n finale besluit te kom. Die ewekansige woudalgoritme kies waarnemings en kenmerke lukraak, en bou die individuele bome op grond van hierdie keuses.

Hierdie tutoriaalartikel sal verken hoe om 'n Box Plot in Matplotlib te skep. Box plots word gebruik om opsommende statistieke van 'n datastel te visualiseer, en vertoon eienskappe van die verspreiding soos die data se omvang en verspreiding.