Генеративні проти дискримінативних моделей машинного навчання

Деякі моделі машинного навчання належать або до категорії «генеративних», або до категорії «дискримінативних» моделей. Але чим відрізняються ці дві категорії моделей? Що означає те, що модель є дискримінативною чи генеративною?

Коротка відповідь полягає в тому, що генеративні моделі – це ті, які включають розподіл набору даних, повертаючи ймовірність для даного прикладу. Генеративні моделі часто використовуються для прогнозування того, що відбувається далі в послідовності. Тим часом дискримінативні моделі використовуються для класифікації або регресії та повертають передбачення на основі умовної ймовірності. Давайте детальніше розглянемо відмінності між генеративними та дискримінативними моделями, щоб ми могли真正но зрозуміти, що відрізняє ці два типи моделей та коли кожен тип повинен бути використаний.

Генеративні проти дискримінативних моделей

Є кілька способів категоризувати модель машинного навчання. Модель можна класифікувати як належить до різних категорій, таких як: генеративні моделі, дискримінативні моделі, параметричні моделі, непараметричні моделі, моделі на основі дерев, немоделі на основі дерев.

Ця стаття буде зосереджена на відмінностях між генеративними моделями та дискримінативними моделями. Ми почнемо з визначення генеративних та дискримінативних моделей, а потім розглянемо деякі приклади кожної з цих моделей.

Генеративні моделі

Генеративні моделі – це ті, які зосереджені на розподілі класів у наборі даних. Алгоритми машинного навчання зазвичай моделюють розподіл даних. Генеративні моделі залежать від пошуку спільної ймовірності. Створення точок, де дана вхідна особливість та бажаний вихід/мітка існують одночасно.

Генеративні моделі зазвичай використовуються для оцінки ймовірностей та ймовірності, моделювання даних та дискримінування між класами на основі цих ймовірностей. Оскільки модель вивчає розподіл ймовірності для набору даних, вона може посилатися на цей розподіл ймовірності для генерації нових екземплярів даних. Генеративні моделі часто залежать від теореми Баєса для пошуку спільної ймовірності, знаходить p(x,y). По суті, генеративні моделі моделюють, як дані були сгенеровані, відповідають на наступне питання:

“Яка ймовірність того, що цей клас або інший клас згенерував ці дані/екземпляр?”

Приклади генеративних моделей машинного навчання включають лінійний дискримінативний аналіз (LDA), приховані марковські моделі та баєсівські мережі, такі як наївний Баєс.

Дискримінативні моделі

Хоча генеративні моделі вивчають розподіл набору даних, дискримінативні моделі вивчають межу між класами у наборі даних. Для дискримінативних моделей метою є визначення межі рішення між класами для застосування надійних міток класів до екземплярів даних. Дискримінативні моделі розділяють класи у наборі даних, використовуючи умовну ймовірність, не роблячи жодних припущень про окремі дані.

Дискримінативні моделі намагаються відповісти на наступне питання:

“Яка сторона межі рішення знаходиться цей екземпляр?”

Приклади дискримінативних моделей у машинному навчанні включають машини опорних векторів, логістичну регресію, дерева рішень та випадкові ліси.

Відмінності між генеративними та дискримінативними

Ось швидкий огляд основних відмінностей між генеративними та дискримінативними моделями.

Генеративні моделі:

• Генеративні моделі спрямовані на захоплення фактичного розподілу класів у наборі даних.
• Генеративні моделі передбачають спільний розподіл ймовірності – p(x,y) – з використанням теореми Баєса.
• Генеративні моделі обчислюються порівняно з дискримінативними моделями.
• Генеративні моделі корисні для задач машинного навчання без нагляду.
• Генеративні моделі більше залежать від наявності аутлієрів порівняно з дискримінативними моделями.

Дискримінативні моделі:

• Дискримінативні моделі моделюють межу рішення для класів у наборі даних.
• Дискримінативні моделі вивчають умовну ймовірність – p(y|x).
• Дискримінативні моделі обчислюються дешево порівняно з генеративними моделями.
• Дискримінативні моделі корисні для задач машинного навчання з наглядом.
• Дискримінативні моделі мають перевагу у тому, що вони більш стійкі до аутлієрів, на відміну від генеративних моделей.
• Дискримінативні моделі більш стійкі до аутлієрів порівняно з генеративними моделями.

Тепер ми розглянемо деякі приклади генеративних та дискримінативних моделей машинного навчання.

Приклади генеративних моделей

Лінійний дискримінативний аналіз (LDA)

Моделі LDA функціонують шляхом оцінки дисперсії та середнього значення даних для кожного класу у наборі даних. Після того, як середнє значення та дисперсія для кожного класу були обчислені, передбачення можна зробити шляхом оцінки ймовірності того, що дана вхідна особливість належить до певного класу.

Приховані марковські моделі

Марковські ланцюги можна вважати графами з ймовірностями, які вказують на те, наскільки ймовірно, що ми переходимо з однієї точки ланцюга, “стану”, в інший стан. Марковські ланцюги використовуються для визначення ймовірності переходу з стану j до стану i, який можна позначити як p(i,j). Це просто спільна ймовірність, згадана вище. Прихована марковська модель – це така, де використовується невидимий, не спостережуваний марковський ланцюг. Вхідні дані подаються до моделі, а ймовірності для поточного стану та стану, який безпосередньо передує йому, використовуються для розрахунку найбільш ймовірного результату.

Баєсівські мережі

Баєсівські мережі – це тип ймовірнісної графічної моделі. Вони представляють умовні залежності між змінними, як представлено у вигляді орієнтованого ациклічного графу. У баєсівській мережі кожна грань графу представляє умовну залежність, а кожен вузол відповідає унікальній змінній. Умовна незалежність для унікальних відносин у графі можна використовувати для визначення спільного розподілу змінних та розрахунку спільної ймовірності. Інакше кажучи, баєсівська мережа захоплює підмножину незалежних відносин у певному спільному розподілі ймовірності.

Як тільки баєсівська мережа була створена та правильно визначена з випадковими змінними, умовними відносинами та розподілами ймовірності, її можна використовувати для оцінки ймовірності подій або результатів.

Одним з найпоширеніших типів баєсівських мереж є наївна модель Баєса. Наївна модель Баєса підходить до завдання розрахунку ймовірності для наборів даних з багатьма параметрами/змінними, вважаючи всі особливості незалежними одна від одної.

Приклади дискримінативних моделей

Машини опорних векторів

Машини опорних векторів діють шляхом vẽ межі рішення між даними, знаходячи межу рішення, яка найкраще розділяє різні класи у наборі даних. Алгоритм SVM малює лінії або гіперплани, які розділяють точки, для двовимірних та тривимірних просторів відповідно. SVM намагається знайти лінію/гіперплан, яка найкраще розділяє класи, намагаючись максимізувати відступ, або відстань між лінією/гіперпланом та найближчими точками. Моделі SVM також можна використовувати на наборах даних, які не лінійно роздільні, використовуючи “хитрість ядра” для визначення нелінійних меж рішення.

Логістична регресія

Логістична регресія – це алгоритм, який використовує логіт-функцію (лог-шанси) для визначення ймовірності того, що вхід належить до одного з двох станів. Сигмоїдальна функція використовується для “зміни” ймовірності до 0 або 1, істинного чи хибного. Ймовірності понад 0,50 вважаються класом 1, тоді як ймовірності 0,49 або нижче вважаються 0. Через це логістична регресія зазвичай використовується у задачах бінарної класифікації. Однак логістична регресія можна застосовувати до задач багатокласової класифікації, використовуючи підхід “все проти одного”, створюючи бінарну модель класифікації для кожного класу та визначення ймовірності того, що приклад належить до цільового класу чи іншого класу у наборі даних.

Дерево рішень

Дерево рішень функціонує шляхом розділення набору даних на дрібніші частини, і коли підмножини не можна розділити далі, результатом є дерево з вузлами та листками. Вузли у дереві рішень – це місця, де приймаються рішення про дані, використовуючи різні критерії фільтрації. Листки у дереві рішень – це дані, які були класифіковані. Алгоритми дерев рішень можуть обробляти як числові, так і категоріальні дані, а розгалуження у дереві ґрунтуються на конкретних змінних/особливостях.

Випадкові ліси

Модель випадкового лісу – це просто колекція дерев рішень, де передбачення окремих дерев усереднюються для прийняття остаточного рішення. Алгоритм випадкового лісу випадково вибирає спостереження та особливості, будуючи окремі дерева на основі цих виборів.