Генеративні та дискримінаційні моделі машинного навчання

Деякі моделі машинного навчання належать до категорій «генеративних» або «дискримінаційних». Та що є різниця між ці дві категорії моделей? Що означає для моделі бути дискримінаційною або генеративною?

Коротка відповідь полягає в тому, що генеративні моделі – це ті, які включають розподіл набору даних, повертаючи ймовірність для даного прикладу. Генеративні моделі часто використовуються для передбачення того, що відбувається далі в послідовності. Тим часом дискримінаційні моделі використовуються або для класифікації, або для регресії, і вони повертають прогноз на основі умов ймовірність. Давайте більш детально дослідимо відмінності між генеративними та дискримінаційними моделями, щоб ми могли справді зрозуміти, що розділяє два типи моделей і коли кожен тип слід використовувати.

Генеративна проти дискримінаційної моделей

Існує кілька способів класифікації моделі машинного навчання. Модель можна класифікувати як належну до різних категорій, таких як: генеративні моделі, дискримінаційні моделі, параметричні моделі, непараметричні моделі, моделі на основі дерева, моделі на основі дерева.

У цій статті мова піде про відмінності між генеративними моделями та дискримінаційними моделями. Ми почнемо з визначення як генеративної, так і дискримінаційної моделей, а потім розглянемо кілька прикладів кожного типу моделі.

Генеративні моделі

Генеративні моделі це ті, які зосереджені на розподілі класів у наборі даних. Алгоритми машинного навчання зазвичай моделюють розподіл точок даних. Генеративні моделі ґрунтуються на пошуку спільної ймовірності. Створення точок, де задана вхідна функція та бажаний вихід/мітка існують одночасно.

Генеративні моделі зазвичай використовуються для оцінки ймовірностей і правдоподібності, моделювання точок даних і розрізнення класів на основі цих ймовірностей. Оскільки модель вивчає розподіл ймовірностей для набору даних, вона може посилатися на цей розподіл ймовірностей для створення нових екземплярів даних. Генеративні моделі часто спираються на Теорема Байєса знайти спільну ймовірність, знайшовши p(x,y). По суті, генеративні моделі моделюють, як були згенеровані дані, відповідають на таке запитання:

«Яка ймовірність того, що цей або інший клас створив цю точку даних/примірник?»

Приклади генеративних моделей машинного навчання включають лінійний дискримінантний аналіз (LDA), приховані марковські моделі та байєсівські мережі, такі як наивний байєсівський аналіз.

Дискримінаційні моделі

У той час як генеративні моделі дізнаються про розподіл набору даних, дискримінаційні моделі дізнатися про межі між класами в наборі даних. Метою дискримінаційних моделей є ідентифікація межа рішення між класами для застосування надійних міток класів до екземплярів даних. Дискримінаційні моделі розділяють класи в наборі даних за допомогою умовної ймовірності, не роблячи жодних припущень щодо окремих точок даних.

Дискримінаційні моделі мають на меті відповісти на таке запитання:

«З якого боку межі прийняття рішення знаходиться цей екземпляр?»

Приклади дискримінаційних моделей у машинному навчанні включають опорні векторні машини, логістичну регресію, дерева рішень і випадкові ліси.

Відмінності між генеративним і дискримінативним

Ось короткий виклад основних відмінностей між генеративною та дискримінаційною моделями.

Генеративні моделі:

• Генеративні моделі мають на меті зафіксувати фактичний розподіл класів у наборі даних.
• Генеративні моделі передбачають спільний розподіл ймовірностей – p(x,y) – використовуючи теорему Байєса.
• Генеративні моделі обчислювальні дорогі порівняно з дискримінаційними моделями.
• Генеративні моделі корисні для завдань машинного навчання без нагляду.
• На генеративні моделі наявність викидів впливає більше, ніж на дискримінаційні моделі.

Дискримінаційні моделі:

• Дискримінаційні моделі моделюють межу прийняття рішень для класів набору даних.
• Дискримінаційні моделі вивчають умовну ймовірність – p(y|x).
• Дискримінаційні моделі дешеві в обчисленнях порівняно з генеративними моделями.
• Дискримінаційні моделі корисні для завдань машинного навчання під наглядом.
• Дискримінаційні моделі мають перевагу в тому, що вони більш стійкі до викидів, на відміну від генеративних моделей.
• Дискримінаційні моделі більш стійкі до викидів порівняно з генеративними моделями.

Зараз ми коротко розглянемо кілька різних прикладів генеративних і дискримінаційних моделей машинного навчання.

Приклади генеративних моделей

Лінійний дискримінантний аналіз (LDA)

Моделі LDA функцію шляхом оцінки дисперсії та середнього значення даних для кожного класу в наборі даних. Після обчислення середнього значення та дисперсії для кожного класу можна робити прогнози, оцінюючи ймовірність того, що даний набір вхідних даних належить до даного класу.

Приховані Маркові моделі

Ланцюги Маркова можна розглядати як графіки з ймовірностями, які показують, наскільки ймовірно, що ми перемістимося з однієї точки ланцюга, «стану», в інший стан. Ланцюги Маркова використовуються для визначення ймовірності переходу від стану j до стану i, яку можна позначити як p(i,j). Це лише спільна ймовірність, згадана вище. Прихована модель Маркова – це те, де використовується невидимий, невидимий ланцюг Маркова. Вхідні дані надаються моделі, а ймовірності для поточного стану та стану, що безпосередньо передує йому, використовуються для розрахунку найбільш імовірного результату.

Байєсівські мережі

Байєсовські мережі є різновидом імовірнісної графічної моделі. Вони представляють умовні залежності між змінними, представлені орієнтованим ациклічним графом. У байєсівській мережі кожне ребро графа представляє умовну залежність, а кожен вузол відповідає унікальній змінній. Умовну незалежність для унікальних зв’язків на графіку можна використовувати для визначення спільного розподілу змінних і обчислення спільної ймовірності. Іншими словами, байєсовська мережа фіксує підмножину незалежних зв’язків у конкретному спільному розподілі ймовірностей.

Коли байєсовська мережа була створена та належним чином визначена, з відомими випадковими величинами, умовними зв’язками та розподілами ймовірностей, її можна використовувати для оцінки ймовірності подій або результатів.

Одним із найбільш часто використовуваних типів байєсівських мереж є наївна модель Байєса. Наївна модель Байєса справляється з проблемою обчислення ймовірності для наборів даних із багатьма параметрами/змінними, розглядаючи всі функції як незалежні одна від одної.

Приклади дискримінаційних моделей

Підтримка векторних машин

Підтримка векторних машин працювати шляхом проведення межі рішення між точками даних, знаходження межі рішення, яка найкраще розділяє різні класи в наборі даних. Алгоритм SVM малює лінії або гіперплощини, які розділяють точки, для двовимірних і тривимірних просторів відповідно. SVM намагається знайти лінію/гіперплощину, яка найкраще розділяє класи, намагаючись максимізувати маржу або відстань між лінією/гіперплощиною до найближчих точок. Моделі SVM також можна використовувати для наборів даних, які не є лінійно роздільними, використовуючи «трюк ядра» для визначення нелінійних меж рішень.

Логістична регресія

Логістична регресія це алгоритм, який використовує функцію logit (log-odds) для визначення ймовірності того, що вхідний сигнал перебуває в одному з двох станів. Сигмоїдна функція використовується, щоб «стиснути» ймовірність до 0 або 1, істини чи хибності. Імовірності, що перевищують 0.50, вважаються класом 1, тоді як імовірності 0.49 або нижче вважаються рівними 0. З цієї причини логістична регресія зазвичай використовується в задачах двійкової класифікації. Однак логістичну регресію можна застосувати до проблем із кількома класами, використовуючи підхід «один проти всіх», створюючи бінарну модель класифікації для кожного класу та визначаючи ймовірність того, що приклад є цільовим класом або іншим класом у наборі даних.

Дерево рішень

A дерево рішень модель функціонує, розбиваючи набір даних на все менші й менші частини, і коли підмножини не можна далі розділити, результатом є дерево з вузлами та листками. Вузли в дереві рішень – це місце, де приймаються рішення щодо точок даних за допомогою різних критеріїв фільтрації. Листя в дереві рішень - це точки даних, які були класифіковані. Алгоритми дерева рішень можуть обробляти як числові, так і категоричні дані, а розбиття в дереві базується на конкретних змінних/функціях.

Випадкові ліси

A модель випадкового лісу це просто набір дерев рішень, де прогнози окремих дерев усереднюються для прийняття остаточного рішення. Алгоритм випадкового лісу вибирає спостереження та об’єкти випадковим чином, будуючи окремі дерева на основі цих виборів.

Ця стаття підручника дослідить, як створити діаграму коробки в Matplotlib. Коробкові діаграми використовуються для візуалізації підсумкових статистичних даних набору даних, відображення атрибутів розподілу, як-от діапазон і розподіл даних.