Генеративни срещу дискриминационни модели на машинно обучение

Някои модели за машинно обучение принадлежат към категориите „генеративни“ или „дискриминативни“ модели. И все пак какво е разликата между тези две категории модели? Какво означава един модел да бъде дискриминиращ или генеративен?

Краткият отговор е, че генеративните модели са тези, които включват разпределението на набора от данни, връщайки вероятност за даден пример. Генеративните модели често се използват за прогнозиране на това, което следва в последователността. Междувременно дискриминативните модели се използват или за класификация, или за регресия и връщат прогноза въз основа на условно вероятност. Нека проучим по-подробно разликите между генеративните и дискриминативните модели, за да можем наистина да разберем какво разделя двата типа модели и кога трябва да се използва всеки тип.

Генеративни срещу дискриминационни модели

Има различни начини за категоризиране на модел на машинно обучение. Един модел може да бъде класифициран като принадлежащ към различни категории като: генеративни модели, дискриминативни модели, параметрични модели, непараметрични модели, дърво-базирани модели, не-дърво-базирани модели.

Тази статия ще се съсредоточи върху разликите между генеративните модели и дискриминационните модели. Ще започнем, като дефинираме както генеративни, така и дискриминативни модели, а след това ще проучим някои примери за всеки тип модел.

Генеративни модели

Генеративни модели са тези, които се съсредоточават върху разпределението на класовете в рамките на набора от данни. Алгоритмите за машинно обучение обикновено моделират разпределението на точките от данни. Генеративните модели разчитат на намиране на съвместна вероятност. Създаване на точки, където дадена входна функция и желан изход/етикет съществуват едновременно.

Генеративните модели обикновено се използват за оценка на вероятностите и вероятността, моделиране на точки от данни и разграничаване между класове въз основа на тези вероятности. Тъй като моделът научава вероятностно разпределение за набора от данни, той може да се позовава на това вероятностно разпределение, за да генерира нови екземпляри на данни. Генеративните модели често разчитат на Теорема на Бейс за намиране на съвместната вероятност, намиране на p(x,y). По същество генеративните модели моделират как са генерирани данните, отговарят на следния въпрос:

„Каква е вероятността този клас или друг клас да е генерирал тази точка от данни/инстанция?“

Примери за генеративни модели на машинно обучение включват линеен дискриминантен анализ (LDA), скрити модели на Марков и байесови мрежи като Naive Bayes.

Дискриминативни модели

Докато генеративните модели научават за разпространението на набора от данни, дискриминационни модели научете за границата между класове в рамките на набор от данни. При дискриминативните модели целта е да се идентифицират границата на решението между класовете, за да приложите надеждни етикети на клас към екземпляри на данни. Дискриминационните модели разделят класовете в набора от данни, като използват условна вероятност, без да правят предположения за отделни точки от данни.

Дискриминационните модели имат за цел да отговорят на следния въпрос:

„От коя страна на границата на решение се намира този екземпляр?“

Примери за дискриминационни модели в машинното обучение включват опорни векторни машини, логистична регресия, дървета на решенията и произволни гори.

Разлики между генеративни и дискриминативни

Ето кратък преглед на основните разлики между генеративните и дискриминативните модели.

Генеративни модели:

• Генеративните модели имат за цел да уловят действителното разпределение на класовете в набора от данни.
• Генеративните модели предвиждат съвместното разпределение на вероятностите – p(x,y) – използвайки теоремата на Байс.
• Генеративните модели са скъпи от изчислителна гледна точка в сравнение с дискриминативните модели.
• Генеративните модели са полезни за задачи за машинно обучение без надзор.
• Генеративните модели се влияят от наличието на извънредни стойности повече от дискриминативните модели.

Дискриминационни модели:

• Дискриминативните модели моделират границата на решение за класовете от набори от данни.
• Дискриминативните модели научават условната вероятност – p(y|x).
• Дискриминативните модели са изчислително евтини в сравнение с генеративните модели.
• Дискриминационните модели са полезни за контролирани задачи за машинно обучение.
• Дискриминационните модели имат предимството, че са по-устойчиви на отклонения, за разлика от генеративните модели.
• Дискриминационните модели са по-стабилни спрямо отклоненията в сравнение с генеративните модели.

Сега ще разгледаме накратко някои различни примери за генеративни и дискриминативни модели на машинно обучение.

Примери за генеративни модели

Линеен дискриминантен анализ (LDA)

LDA модели функция чрез оценка на дисперсията и средната стойност на данните за всеки клас в набора от данни. След като се изчисли средната стойност и дисперсиите за всеки клас, могат да се направят прогнози чрез оценка на вероятността даден набор от входове да принадлежи към даден клас.

Скрити модели на Марков

Марковски вериги могат да се разглеждат като графики с вероятности, които показват колко вероятно е да се преместим от една точка във веригата, „състояние“, в друго състояние. Веригите на Марков се използват за определяне на вероятността за преминаване от състояние j към състояние i, което може да се означи като p(i,j). Това е само общата вероятност, спомената по-горе. Скрит модел на Марков е мястото, където се използва невидима, ненаблюдаема верига на Марков. Входните данни се дават на модела и вероятностите за текущото състояние и състоянието, непосредствено предхождащо го, се използват за изчисляване на най-вероятния резултат.

Бейсови мрежи

Бейсови мрежи са вид вероятностен графичен модел. Те представляват условни зависимости между променливи, както са представени от насочена ациклична графика. В байесова мрежа всеки край на графиката представлява условна зависимост и всеки възел съответства на уникална променлива. Условната независимост за уникалните връзки в графиката може да се използва за определяне на съвместното разпределение на променливите и изчисляване на съвместната вероятност. С други думи, байесовската мрежа улавя подмножество от независимите връзки в конкретно съвместно разпределение на вероятностите.

След като бъде създадена и правилно дефинирана байесова мрежа, с известни случайни променливи, условни връзки и вероятностни разпределения, тя може да се използва за оценка на вероятността от събития или резултати.

Един от най-често използваните видове байесови мрежи е наивен модел на Бейс. Моделът на Naive Bayes се справя с предизвикателството за изчисляване на вероятността за набори от данни с много параметри/променливи, като третира всички характеристики като независими една от друга.

Примери за дискриминационни модели

Поддръжка на векторни машини

Поддържайте векторни машини работят чрез начертаване на граница на решение между точките от данни, намиране на границата на решение, която най-добре разделя различните класове в набора от данни. Алгоритъмът SVM чертае или линии, или хиперравнини, които разделят точки, съответно за двумерни и 2D пространства. SVM се стреми да намери линията/хиперравнината, която най-добре разделя класовете, като се опитва да максимизира границата или разстоянието между линията/хиперравнината до най-близките точки. SVM моделите могат да се използват и върху набори от данни, които не са линейно разделими, като се използва „трикът на ядрото“ за идентифициране на нелинейни граници на решения.

Логистична регресия

Логистична регресия е алгоритъм, който използва функция logit (log-odds) за определяне на вероятността даден вход да бъде в едно от двете състояния. Използва се сигмоидна функция, за да се „смачка“ вероятността към 0 или 1, вярно или невярно. Вероятности по-големи от 0.50 се приемат за клас 1, докато вероятности 0.49 или по-ниски се приемат за 0. Поради тази причина логистичната регресия обикновено се използва при проблеми с двоична класификация. Въпреки това, логистичната регресия може да бъде приложена към многокласови проблеми чрез използване на подход „един срещу всички“, създаване на двоичен класификационен модел за всеки клас и определяне на вероятността даден пример да е целеви клас или друг клас в набора от данни.

Дърво на решенията

A дърво за решение моделът функционира чрез разделяне на набор от данни на все по-малки и по-малки части и след като подмножествата не могат да бъдат разделени повече, резултатът е дърво с възли и листа. Възлите в дървото на решенията са мястото, където се вземат решения за точки от данни, като се използват различни критерии за филтриране. Листата в дървото на решенията са точките от данни, които са били класифицирани. Алгоритмите на дървото на решенията могат да обработват както числови, така и категорични данни, а разделянето в дървото се основава на специфични променливи/характеристики.

Случайни гори

A случаен горски модел е просто колекция от дървета на решенията, където прогнозите на отделните дървета се осредняват, за да се стигне до окончателно решение. Алгоритъмът за произволна гора избира наблюдения и характеристики на случаен принцип, изграждайки отделните дървета въз основа на тези селекции.

Тази статия с урок ще проучи как да създадете Box Plot в Matplotlib. Картините се използват за визуализиране на обобщена статистика на набор от данни, показващи атрибути на разпределението като диапазон и разпределение на данните.