Ģeneratīvie un diskriminējošie mašīnmācīšanās modeļi

Daži mašīnmācīšanās modeļi pieder vai nu “ģeneratīvo” vai “diskriminatīvo” modeļu kategorijām. Tomēr kas ir atšķirība starp šīs divas modeļu kategorijas? Ko nozīmē modelim būt diskriminējošam vai ģeneratīvam?

Īsā atbilde ir tāda, ka ģeneratīvie modeļi ir tie, kas ietver datu kopas sadalījumu, atgriežot varbūtību konkrētam piemēram. Ģeneratīvos modeļus bieži izmanto, lai prognozētu, kas notiek pēc kārtas. Tikmēr klasifikācijai vai regresijai tiek izmantoti diskriminējoši modeļi, un tie sniedz prognozi pamatojoties uz nosacījumu varbūtība. Sīkāk izpētīsim atšķirības starp ģeneratīvajiem un diskriminējošajiem modeļiem, lai mēs patiesi saprastu, kas atšķir abus modeļu veidus un kad katrs veids ir jāizmanto.

Ģeneratīvie un diskriminējošie modeļi

Ir dažādi veidi, kā klasificēt mašīnmācīšanās modeli. Modeļus var klasificēt kā piederīgus dažādām kategorijām, piemēram: ģeneratīvie modeļi, diskriminējošie modeļi, parametriskie modeļi, neparametriskie modeļi, koku modeļi, modeļi, kas nav balstīti uz kokiem.

Šajā rakstā galvenā uzmanība tiks pievērsta atšķirībām starp ģeneratīvajiem modeļiem un diskriminējošiem modeļiem. Sāksim, definējot gan ģeneratīvos, gan diskriminējošos modeļus, un pēc tam izpētīsim dažus katra modeļa piemērus.

Ģeneratīvie modeļi

Ģeneratīvie modeļi ir tie, kas koncentrējas uz klašu sadalījumu datu kopā. Mašīnmācīšanās algoritmi parasti modelē datu punktu sadalījumu. Ģeneratīvie modeļi balstās uz kopīgās varbūtības atrašanu. Punktu izveide, kur vienlaikus pastāv dotā ievades funkcija un vēlamā izvade/iezīme.

Ģeneratīvos modeļus parasti izmanto, lai novērtētu varbūtības un iespējamību, modelētu datu punktus un izšķirot klases, pamatojoties uz šīm varbūtībām. Tā kā modelis apgūst datu kopas varbūtības sadalījumu, tas var atsaukties uz šo varbūtības sadalījumu, lai ģenerētu jaunus datu gadījumus. Ģeneratīvie modeļi bieži paļaujas uz Bayes teorēma lai atrastu kopīgu varbūtību, atrodot p(x,y). Būtībā ģeneratīvie modeļi modelē datu ģenerēšanas veidu un atbild uz šādu jautājumu:

“Kāda ir iespējamība, ka šī vai cita klase ģenerēja šo datu punktu/instanci?”

Ģeneratīvo mašīnmācīšanās modeļu piemēri ir lineārā diskriminējošā analīze (LDA), slēptie Markova modeļi un Bajesa tīkli, piemēram, Naive Bayes.

Diskriminējoši modeļi

Kamēr ģeneratīvie modeļi mācās par datu kopas izplatīšanu, diskriminējoši modeļi uzziniet par robežu starp klasēm datu kopā. Izmantojot diskriminējošus modeļus, mērķis ir identificēt lēmuma robeža starp klasēm, lai datu gadījumiem lietotu uzticamas klašu etiķetes. Diskriminējošie modeļi atdala klases datu kopā, izmantojot nosacīto varbūtību, neizdarot nekādus pieņēmumus par atsevišķiem datu punktiem.

Diskriminējošie modeļi ir paredzēti, lai atbildētu uz šādu jautājumu:

"Kādā lēmuma robežas pusē atrodas šī instance?"

Mašīnmācības diskriminējošo modeļu piemēri ietver atbalsta vektoru mašīnas, loģistikas regresiju, lēmumu kokus un nejaušus mežus.

Atšķirības starp ģeneratīvo un diskriminējošo

Šeit ir īss pārskats par galvenajām atšķirībām starp ģeneratīvajiem un diskriminējošajiem modeļiem.

Ģeneratīvie modeļi:

• Ģeneratīvo modeļu mērķis ir attēlot klašu faktisko sadalījumu datu kopā.
• Ģeneratīvie modeļi paredz kopīgo varbūtību sadalījumu – p(x,y) – izmantojot Bayes teorēmu.
• Ģeneratīvie modeļi ir skaitļošanas ziņā dārgi, salīdzinot ar diskriminējošiem modeļiem.
• Ģeneratīvie modeļi ir noderīgi nepārraudzītiem mašīnmācīšanās uzdevumiem.
• Ģeneratīvos modeļus vairāk ietekmē novirzes nekā diskriminējošie modeļi.

Diskriminējoši modeļi:

• Diskriminējošie modeļi modelē datu kopu klašu lēmumu robežas.
• Diskriminējošie modeļi apgūst nosacīto varbūtību – p(y|x).
• Diskriminējošie modeļi ir skaitļošanas ziņā lēti salīdzinājumā ar ģeneratīvajiem modeļiem.
• Diskriminējoši modeļi ir noderīgi uzraudzītiem mašīnmācīšanās uzdevumiem.
• Atšķirībā no ģeneratīvajiem modeļiem, diskriminējošiem modeļiem ir priekšrocība, ka tie ir izturīgāki pret novirzēm.
• Diskriminējošie modeļi ir noturīgāki pret novirzēm, salīdzinot ar ģeneratīvajiem modeļiem.

Tagad īsi izpētīsim dažus dažādus ģeneratīvo un diskriminējošo mašīnmācīšanās modeļu piemērus.

Ģeneratīvo modeļu piemēri

Lineārā diskriminācijas analīze (LDA)

LDA modeļi funkciju, novērtējot katras datu kopas klases datu dispersiju un vidējo vērtību. Pēc tam, kad katrai klasei ir aprēķināts vidējais un dispersijas, var veikt prognozes, novērtējot varbūtību, ka dotā ievades kopa pieder noteiktai klasei.

Slēptie Markova modeļi

Markovs Ķēdes var uzskatīt par grafiku ar varbūtībām, kas norāda, cik liela ir iespēja, ka mēs pāriesim no viena ķēdes punkta, “stāvokļa”, uz citu stāvokli. Markova ķēdes izmanto, lai noteiktu varbūtību pāriet no stāvokļa j uz stāvokli i, ko var apzīmēt kā p(i,j). Šī ir tikai iepriekš minētā kopīgā varbūtība. Slēptais Markova modelis ir vieta, kur tiek izmantota neredzama, nenovērojama Markova ķēde. Dati tiek ievadīti modelī, un pašreizējā stāvokļa un tieši pirms tā stāvokļa varbūtības tiek izmantotas, lai aprēķinātu visticamāko rezultātu.

Bajesa tīkli

Bajesa tīkli ir varbūtības grafiskā modeļa veids. Tie attēlo nosacītās atkarības starp mainīgajiem lielumiem, ko attēlo virzīts aciklisks grafiks. Bajesa tīklā katra grafika mala ir nosacīta atkarība, un katrs mezgls atbilst unikālam mainīgajam. Nosacīto neatkarību unikālām attiecībām grafikā var izmantot, lai noteiktu mainīgo lielumu kopīgo sadalījumu un aprēķinātu kopīgo varbūtību. Citiem vārdiem sakot, Beijesa tīkls tver neatkarīgo attiecību apakškopu noteiktā kopīgā varbūtības sadalījumā.

Kad Beijesa tīkls ir izveidots un pareizi definēts, un ir zināmi nejaušie mainīgie, nosacītās attiecības un varbūtības sadalījumi, to var izmantot, lai novērtētu notikumu vai iznākumu iespējamību.

Viens no visbiežāk izmantotajiem Bayesian tīklu veidiem ir naivais Bayes modelis. Naive Bayes modelis risina izaicinājumu aprēķināt varbūtību datu kopām ar daudziem parametriem/mainīgajiem, uzskatot visas funkcijas kā neatkarīgas viena no otras.

Diskriminatīvo modeļu piemēri

Atbalsta vektora mašīnas

Atbalsta vektora mašīnas darboties, novelkot lēmumu robežu starp datu punktiem, atrodot lēmumu robežu, kas vislabāk atdala dažādas datu kopas klases. SVM algoritms zīmē līnijas vai hiperplaknes, kas atdala punktus attiecīgi 2-dimensiju telpām un 3D telpām. SVM cenšas atrast līniju/hiperplakni, kas vislabāk atdala klases, cenšoties maksimāli palielināt rezervi vai attālumu starp līniju/hiperplakni līdz tuvākajiem punktiem. SVM modeļus var izmantot arī datu kopām, kuras nav lineāri atdalāmas, izmantojot “kodola triku”, lai identificētu nelineāras lēmumu robežas.

Loģistiskā regresija

Loģistiskā regresija ir algoritms, kas izmanto logit (log-odds) funkciju, lai noteiktu varbūtību, ka ievade atrodas vienā no diviem stāvokļiem. Sigmoidā funkcija tiek izmantota, lai “izspiestu” varbūtību uz 0 vai 1, patiesu vai nepatiesu. Tiek pieņemts, ka varbūtības, kas lielākas par 0.50, ir 1. klase, savukārt varbūtības 0.49 vai mazākas ir 0. Šī iemesla dēļ binārās klasifikācijas problēmās parasti izmanto loģistisko regresiju. Tomēr loģistikas regresiju var piemērot vairāku klašu problēmām, izmantojot pieeju viens pret visiem, katrai klasei izveidojot bināro klasifikācijas modeli un nosakot varbūtību, ka piemērs ir mērķa klase vai cita klase datu kopā.

Lēmumu koks

A lēmumu koks modelis darbojas, sadalot datu kopu mazākās un mazākās daļās, un, tiklīdz apakškopas vairs nevar sadalīt, rezultāts ir koks ar mezgliem un lapām. Lēmumu koka mezgli ir tie, kur lēmumi par datu punktiem tiek pieņemti, izmantojot dažādus filtrēšanas kritērijus. Lapas lēmumu kokā ir datu punkti, kas ir klasificēti. Lēmumu koka algoritmi var apstrādāt gan skaitliskus, gan kategoriskus datus, un koka sadalījumi ir balstīti uz konkrētiem mainīgajiem/funkcijām.

Izlases meži

A izlases meža modelis būtībā ir tikai lēmumu koku kolekcija, kurā atsevišķu koku prognozes tiek aprēķinātas vidēji, lai pieņemtu galīgo lēmumu. Nejaušs meža algoritms nejauši atlasa novērojumus un pazīmes, veidojot atsevišķus kokus, pamatojoties uz šīm atlasēm.

Šajā apmācības rakstā tiks izpētīts, kā programmā Matplotlib izveidot lodziņu. Lodziņu diagrammas tiek izmantotas, lai vizualizētu datu kopas statistikas kopsavilkumu, parādot sadalījuma atribūtus, piemēram, datu diapazonu un sadalījumu.