Generativní vs. diskriminační modely strojového učení

Některé modely strojového učení patří buď do kategorie „generativní“ nebo „diskriminační“. Přesto co je rozdíl mezi tyto dvě kategorie modelů? Co pro model znamená být diskriminační nebo generativní?

Krátká odpověď je, že generativní modely jsou ty, které zahrnují distribuci souboru dat a vracejí pravděpodobnost pro daný příklad. Generativní modely se často používají k předpovědi toho, co se stane v sekvenci. Mezitím se diskriminační modely používají buď pro klasifikaci nebo regresi a vracejí předpověď na základě podmíněného pravděpodobnost. Podívejme se podrobněji na rozdíly mezi generativními a diskriminačními modely, abychom skutečně pochopili, co odděluje dva typy modelů a kdy by měl být každý typ použit.

Generativní vs. diskriminační modely

Existuje celá řada způsobů, jak kategorizovat model strojového učení. Model lze klasifikovat jako patřící do různých kategorií, jako jsou: generativní modely, diskriminační modely, parametrické modely, neparametrické modely, stromové modely, nestromové modely.

Tento článek se zaměří na rozdíly mezi generativními modely a diskriminačními modely. Začneme definováním generativních i diskriminačních modelů a poté prozkoumáme několik příkladů každého typu modelu.

Generativní modely

Generativní modely jsou ty, které se soustředí na distribuci tříd v rámci datové sady. Algoritmy strojového učení obvykle modelují rozložení datových bodů. Generativní modely spoléhají na hledání společné pravděpodobnosti. Vytváření bodů, kde daný vstupní prvek a požadovaný výstup/štítek existují současně.

Generativní modely se obvykle používají k odhadu pravděpodobností a pravděpodobnosti, modelování datových bodů a rozlišování mezi třídami na základě těchto pravděpodobností. Protože se model učí rozdělení pravděpodobnosti pro množinu dat, může na toto rozdělení pravděpodobnosti odkazovat a generovat nové instance dat. Generativní modely často spoléhají na Bayesova věta najít společnou pravděpodobnost, najít p(x,y). V podstatě generativní modely modelují, jak byla data generována, odpovězte na následující otázku:

"Jaká je pravděpodobnost, že tato třída nebo jiná třída vygenerovala tento datový bod/instanci?"

Příklady modelů generativního strojového učení zahrnují lineární diskriminační analýzu (LDA), skryté Markovovy modely a bayesovské sítě jako Naive Bayes.

Diskriminační modely

Zatímco generativní modely se učí o distribuci datové sady, diskriminační modely dozvědět se o hranici mezi třídami v rámci datové sady. U diskriminačních modelů je cílem identifikace hranice rozhodnutí mezi třídami, aby bylo možné použít spolehlivé štítky tříd na datové instance. Diskriminační modely oddělují třídy v datové množině pomocí podmíněné pravděpodobnosti, nečiní žádné předpoklady o jednotlivých datových bodech.

Diskriminační modely si kladou za cíl odpovědět na následující otázku:

"Na jaké straně hranice rozhodnutí se nachází tento případ?"

Příklady diskriminačních modelů ve strojovém učení zahrnují podpůrné vektorové stroje, logistickou regresi, rozhodovací stromy a náhodné lesy.

Rozdíly mezi generativními a diskriminačními

Zde je rychlý přehled hlavních rozdílů mezi generativními a diskriminačními modely.

Generativní modely:

• Cílem generativních modelů je zachytit skutečné rozložení tříd v datové sadě.
• Generativní modely předpovídají společné rozdělení pravděpodobnosti – p(x,y) – s využitím Bayesovy věty.
• Generativní modely jsou ve srovnání s diskriminačními modely výpočetně drahé.
• Generativní modely jsou užitečné pro úlohy strojového učení bez dozoru.
• Generativní modely jsou ovlivněny přítomností odlehlých hodnot více než diskriminační modely.

Diskriminační modely:

• Diskriminační modely modelují hranici rozhodování pro třídy datových sad.
• Diskriminační modely se učí podmíněnou pravděpodobnost – p(y|x).
• Diskriminační modely jsou ve srovnání s generativními modely výpočetně levné.
• Diskriminační modely jsou užitečné pro úkoly strojového učení pod dohledem.
• Diskriminační modely mají tu výhodu, že jsou na rozdíl od generativních modelů robustnější vůči odlehlým hodnotám.
• Diskriminační modely jsou ve srovnání s generativními modely odolnější vůči odlehlým hodnotám.

Nyní stručně prozkoumáme několik různých příkladů generativních a diskriminačních modelů strojového učení.

Příklady generativních modelů

Lineární diskriminační analýza (LDA)

modely LDA funkce odhadem rozptylu a průměru dat pro každou třídu v datové sadě. Po výpočtu průměru a rozptylů pro každou třídu lze provést předpovědi odhadem pravděpodobnosti, že daná sada vstupů patří do dané třídy.

Skryté Markovovy modely

Markovské řetězy lze považovat za grafy s pravděpodobnostmi, které ukazují, jak je pravděpodobné, že se přesuneme z jednoho bodu řetězce, „stavu“, do jiného stavu. Markovovy řetězce se používají k určení pravděpodobnosti přechodu ze stavu j do stavu i, který lze označit jako p(i,j). To je jen výše zmíněná společná pravděpodobnost. Skrytý Markovův model je místo, kde je použit neviditelný, nepozorovatelný Markovův řetěz. Datové vstupy jsou dány modelu a pravděpodobnosti pro aktuální stav a stav bezprostředně předcházející se použijí k výpočtu nejpravděpodobnějšího výsledku.

Bayesovské sítě

Bayesovské sítě jsou typem pravděpodobnostního grafického modelu. Představují podmíněné závislosti mezi proměnnými, jak je představuje řízený acyklický graf. V Bayesovské síti představuje každý okraj grafu podmíněnou závislost a každý uzel odpovídá jedinečné proměnné. Podmíněnou nezávislost pro jedinečné vztahy v grafu lze použít k určení společného rozdělení proměnných a výpočtu společné pravděpodobnosti. Jinými slovy, Bayesovská síť zachycuje podmnožinu nezávislých vztahů ve specifickém společném rozdělení pravděpodobnosti.

Jakmile je bayesovská síť vytvořena a správně definována se známými náhodnými proměnnými, podmíněnými vztahy a rozdělením pravděpodobnosti, lze ji použít k odhadu pravděpodobnosti událostí nebo výsledků.

Jedním z nejčastěji používaných typů Bayesiánských sítí je model Naive Bayes. Naivní Bayesův model zvládá problém výpočtu pravděpodobnosti pro datové sady s mnoha parametry/proměnnými tím, že všechny funkce považuje za vzájemně nezávislé.

Příklady diskriminačních modelů

Podporujte vektorové stroje

Podpora vektorových strojů fungují nakreslením rozhodovací hranice mezi datovými body a nalezením rozhodovací hranice, která nejlépe odděluje různé třídy v datové sadě. Algoritmus SVM kreslí buď čáry nebo nadroviny, které oddělují body, pro 2-rozměrné prostory a 3D prostory. SVM se snaží najít čáru/nadrovinu, která nejlépe odděluje třídy, tím, že se snaží maximalizovat okraj nebo vzdálenost mezi přímkou/nadrovinou na nejbližší body. Modely SVM lze také použít na datové sady, které nejsou lineárně oddělitelné pomocí „kernel triku“ k identifikaci nelineárních hranic rozhodování.

Logistická regrese

Logistická regrese je algoritmus, který používá funkci logit (log-odds) k určení pravděpodobnosti, že vstup bude v jednom ze dvou stavů. Sigmoidní funkce se používá k „potlačení“ pravděpodobnosti směrem k 0 nebo 1, pravda nebo nepravda. Pravděpodobnosti větší než 0.50 jsou považovány za třídu 1, zatímco pravděpodobnosti 0.49 nebo nižší jsou považovány za 0. Z tohoto důvodu se v problémech binární klasifikace typicky používá logistická regrese. Logistickou regresi však lze aplikovat na problémy s více třídami pomocí přístupu jedna vs. všichni, vytvořením binárního klasifikačního modelu pro každou třídu a určením pravděpodobnosti, že příkladem je cílová třída nebo jiná třída v datové sadě.

Rozhodovací strom

A rozhodovací strom funkce modelu rozdělováním datové sady na menší a menší části, a jakmile nelze podmnožiny dále dělit, výsledkem je strom s uzly a listy. Uzly v rozhodovacím stromu jsou místa, kde se rozhodnutí o datových bodech provádějí pomocí různých kritérií filtrování. Listy v rozhodovacím stromu jsou datové body, které byly klasifikovány. Algoritmy rozhodovacího stromu mohou zpracovávat jak numerická, tak kategorická data a rozdělení ve stromu je založeno na konkrétních proměnných/vlastnostech.

Náhodné lesy

A náhodný model lesa je v podstatě jen sbírka rozhodovacích stromů, kde jsou předpovědi jednotlivých stromů zprůměrovány, aby se dospělo ke konečnému rozhodnutí. Náhodný lesní algoritmus vybírá pozorování a prvky náhodně a na základě těchto výběrů vytváří jednotlivé stromy.

Tento výukový článek prozkoumá, jak vytvořit Box Plot v Matplotlib. Krabicové grafy se používají k vizualizaci souhrnných statistik datové sady, zobrazující atributy distribuce, jako je rozsah a distribuce dat.