Generativni nasuprot diskriminirajućih modela strojnog učenja

Neki modeli strojnog učenja pripadaju kategoriji "generativnih" ili "diskriminativnih" modela. Ipak što je razlika između ove dvije kategorije modela? Što za model znači biti diskriminativan ili generativan?

Kratak odgovor je da su generativni modeli oni koji uključuju distribuciju skupa podataka, vraćajući vjerojatnost za dati primjer. Generativni modeli se često koriste za predviđanje onoga što će se sljedeće dogoditi u nizu. U međuvremenu, diskriminativni modeli koriste se za klasifikaciju ili regresiju i vraćaju predviđanje na temelju kondicionala vjerojatnost. Istražimo detaljnije razlike između generativnih i diskriminativnih modela kako bismo doista mogli razumjeti što razdvaja dvije vrste modela i kada bi se koja vrsta trebala koristiti.

Generativni vs. diskriminativni modeli

Postoji niz načina za kategorizaciju modela strojnog učenja. Model se može klasificirati prema različitim kategorijama kao što su: generativni modeli, diskriminativni modeli, parametarski modeli, neparametarski modeli, modeli temeljeni na stablu, modeli koji se ne temelje na stablu.

Ovaj će se članak usredotočiti na razlike između generativnih i diskriminativnih modela. Počet ćemo definiranjem generativnih i diskriminativnih modela, a zatim ćemo istražiti neke primjere svake vrste modela.

Generativni modeli

Generativni modeli su oni koji se usredotočuju na distribuciju klasa unutar skupa podataka. Algoritmi strojnog učenja obično modeliraju distribuciju podatkovnih točaka. Generativni modeli oslanjaju se na pronalaženje zajedničke vjerojatnosti. Stvaranje točaka u kojima određena ulazna značajka i željeni izlaz/oznaka postoje istovremeno.

Generativni modeli obično se koriste za procjenu vjerojatnosti i vjerojatnosti, modeliranje podatkovnih točaka i razlikovanje između klasa na temelju tih vjerojatnosti. Budući da model uči distribuciju vjerojatnosti za skup podataka, može referencirati tu distribuciju vjerojatnosti za generiranje novih instanci podataka. Generativni modeli često se oslanjaju na Bayesov teorem pronaći zajedničku vjerojatnost, pronalaženje p(x,y). U biti, generativni modeli modeliraju kako su podaci generirani, odgovaraju na sljedeće pitanje:

"Koja je vjerojatnost da je ova klasa ili neka druga klasa generirala ovu podatkovnu točku/instancu?"

Primjeri generativnih modela strojnog učenja uključuju linearnu diskriminantnu analizu (LDA), skrivene Markovljeve modele i Bayesove mreže poput Naive Bayesa.

Diskriminativni modeli

Dok generativni modeli uče o distribuciji skupa podataka, diskriminativni modeli naučiti o granici između klasa unutar skupa podataka. Kod diskriminativnih modela cilj je identificirati granica odluke između klasa za primjenu pouzdanih oznaka klasa na instance podataka. Diskriminativni modeli odvajaju klase u skupu podataka pomoću uvjetne vjerojatnosti, ne donoseći nikakve pretpostavke o pojedinačnim podatkovnim točkama.

Diskriminativni modeli nastoje odgovoriti na sljedeće pitanje:

"Na kojoj se strani granice odluke nalazi ovaj primjer?"

Primjeri diskriminativnih modela u strojnom učenju uključuju strojeve vektora podrške, logističku regresiju, stabla odlučivanja i slučajne šume.

Razlike između generativnog i diskriminativnog

Evo kratkog pregleda glavnih razlika između generativnih i diskriminativnih modela.

Generativni modeli:

• Generativni modeli imaju za cilj uhvatiti stvarnu distribuciju klasa u skupu podataka.
• Generativni modeli predviđaju zajedničku distribuciju vjerojatnosti – p(x,y) – koristeći Bayesov teorem.
• Generativni modeli su računski skupi u usporedbi s diskriminativnim modelima.
• Generativni modeli korisni su za zadatke strojnog učenja bez nadzora.
• Na generativne modele više utječe prisutnost outliera nego na diskriminativne modele.

Diskriminativni modeli:

• Diskriminativni modeli modeliraju granicu odluke za klase skupova podataka.
• Diskriminativni modeli uče uvjetnu vjerojatnost – p(y|x).
• Diskriminativni modeli su računski jeftini u usporedbi s generativnim modelima.
• Diskriminativni modeli korisni su za nadzirane zadatke strojnog učenja.
• Diskriminativni modeli imaju prednost jer su robusniji prema ekstremima, za razliku od generativnih modela.
• Diskriminativni modeli su robusniji prema ekstremima u usporedbi s generativnim modelima.

Sada ćemo ukratko istražiti neke različite primjere generativnih i diskriminativnih modela strojnog učenja.

Primjeri generativnih modela

Linearna diskriminantna analiza (LDA)

LDA modeli funkcioniraju procjenom varijance i srednje vrijednosti podataka za svaku klasu u skupu podataka. Nakon što se izračunaju srednja vrijednost i varijance za svaku klasu, mogu se napraviti predviđanja procjenom vjerojatnosti da dani skup inputa pripada danoj klasi.

Skriveni Markovljevi modeli

Markovljevi se lanci mogu smatrati grafovima s vjerojatnostima koje pokazuju koliko je vjerojatno da ćemo prijeći iz jedne točke u lancu, "stanja", u drugo stanje. Markovljevi se lanci koriste za određivanje vjerojatnosti prelaska iz stanja j u stanje i, što se može označiti kao p(i,j). Ovo je samo gore navedena zajednička vjerojatnost. Skriveni Markovljev model je mjesto gdje se koristi nevidljivi, nevidljivi Markovljev lanac. Ulazni podaci daju se modelu, a vjerojatnosti za trenutno stanje i stanje koje mu neposredno prethodi koriste se za izračun najvjerojatnijeg ishoda.

Bayesove mreže

Bayesove mreže su vrsta probabilističkog grafičkog modela. Oni predstavljaju uvjetne ovisnosti između varijabli, kao što je predstavljeno usmjerenim acikličkim grafom. U Bayesovoj mreži svaki rub grafa predstavlja uvjetnu ovisnost, a svaki čvor odgovara jedinstvenoj varijabli. Uvjetna neovisnost za jedinstvene odnose u grafikonu može se koristiti za određivanje zajedničke distribucije varijabli i izračunavanje zajedničke vjerojatnosti. Drugim riječima, Bayesova mreža hvata podskup neovisnih odnosa u specifičnoj zajedničkoj distribuciji vjerojatnosti.

Nakon što je Bayesova mreža stvorena i ispravno definirana, s poznatim slučajnim varijablama, uvjetnim odnosima i distribucijama vjerojatnosti, može se koristiti za procjenu vjerojatnosti događaja ili ishoda.

Jedna od najčešće korištenih vrsta Bayesovih mreža je naivni Bayesov model. Naivni Bayesov model rješava izazov izračuna vjerojatnosti za skupove podataka s mnogo parametara/varijabli tretirajući sve značajke kao neovisne jedna o drugoj.

Primjeri diskriminativnih modela

Podrška vektorskih strojeva

Strojevi za podršku vektora rade povlačenjem granice odluke između točaka podataka, pronalaženjem granice odluke koja najbolje odvaja različite klase u skupu podataka. SVM algoritam crta ili linije ili hiperravnine koje razdvajaju točke, za 2-dimenzionalne prostore i 3D prostore. SVM nastoji pronaći liniju/hiperravninu koja najbolje odvaja klase pokušavajući maksimizirati marginu ili udaljenost između linije/hiperravnine do najbližih točaka. SVM modeli također se mogu koristiti na skupovima podataka koji nisu linearno odvojivi korištenjem "trika jezgre" za prepoznavanje nelinearnih granica odlučivanja.

Logistička regresija

Logistička regresija je algoritam koji koristi funkciju logit (log-odds) za određivanje vjerojatnosti da je ulaz u jednom od dva stanja. Sigmoidna funkcija koristi se za "zbijanje" vjerojatnosti prema 0 ili 1, točno ili netočno. Za vjerojatnosti veće od 0.50 pretpostavlja se da su klase 1, dok se za vjerojatnosti od 0.49 ili manje pretpostavlja da su 0. Iz tog razloga, logistička regresija se obično koristi u problemima binarne klasifikacije. Međutim, logistička regresija može se primijeniti na probleme s više klasa korištenjem pristupa jedan protiv svih, stvaranjem binarnog klasifikacijskog modela za svaku klasu i određivanjem vjerojatnosti da je primjer ciljna klasa ili druga klasa u skupu podataka.

Stablo odlučivanja

A stablo odluke model funkcionira dijeljenjem skupa podataka na sve manje i manje dijelove, a nakon što se podskupovi ne mogu dalje dijeliti, rezultat je stablo s čvorovima i listovima. Čvorovi u stablu odlučivanja mjesto su gdje se donose odluke o podatkovnim točkama pomoću različitih kriterija filtriranja. Listovi u stablu odlučivanja su podatkovne točke koje su klasificirane. Algoritmi stabla odlučivanja mogu rukovati i numeričkim i kategoričkim podacima, a podjele u stablu temelje se na određenim varijablama/značajkama.

Slučajne šume

A model slučajne šume je u osnovi samo zbirka stabala odlučivanja gdje se predviđanja pojedinačnih stabala usrednjavaju kako bi se došlo do konačne odluke. Algoritam nasumične šume odabire opažanja i značajke nasumično, gradeći pojedinačna stabla na temelju tih odabira.

Ovaj članak s uputama istražit će kako stvoriti Box Plot u Matplotlibu. Okvirni dijagrami koriste se za vizualizaciju sažete statistike skupa podataka, prikazujući atribute distribucije kao što su raspon i distribucija podataka.