Що таке теорема Байєса?

Якщо ви вивчали науку про дані або машинне навчання, є велика ймовірність, що ви чули про це термін “теорема Байєса” раніше або «класифікатор Байєса». Ці концепції можуть бути дещо заплутаними, особливо якщо ви не звикли думати про ймовірність з точки зору традиційної, частотної статистики. У цій статті ми спробуємо пояснити принципи теореми Байєса та як вона використовується в машинному навчанні.

Що таке теорема Байєса?

Теорема Байєса є методом обчислення умовної ймовірності. Традиційний метод обчислення умовної ймовірності (ймовірності того, що відбудеться одна подія з огляду на настання іншої події) полягає у використанні формули умовної ймовірності, обчисленні спільної ймовірності першої та другої подій, що відбудуться одночасно, а потім її ділення за ймовірністю події два. Однак умовну ймовірність також можна обчислити дещо іншим способом за допомогою теореми Байєса.

Під час обчислення умовної ймовірності за теоремою Байєса виконайте такі дії:

• Визначте ймовірність того, що умова B є істинною, припускаючи, що умова A є істинною.
• Визначте ймовірність того, що подія А є істинною.
• Помножте дві ймовірності разом.
• Поділіть на ймовірність події B.

Це означає, що формулу для теореми Байєса можна виразити так:

P(A|B) = P(B|A)*P(A) / P(B)

Подібне обчислення умовної ймовірності особливо корисне, коли зворотну умовну ймовірність можна легко обчислити або коли обчислення спільної ймовірності було б надто складним.

Приклад теореми Байєса

Це може бути легше інтерпретувати, якщо ми витратимо деякий час на перегляд приклад як ви б застосували байєсівські міркування та теорему Байєса. Припустімо, ви граєте в просту гру, де кілька учасників розповідають вам історію, і ви повинні визначити, хто з учасників вам бреше. Давайте заповнимо рівняння для теореми Байєса змінними в цьому гіпотетичному сценарії.

Ми намагаємося передбачити, чи бреше кожна особа в грі, чи говорить правду, тому, якщо крім вас є три гравці, категоричні змінні можна виразити як A1, A2 і A3. Доказом їхньої брехні/правди є їхня поведінка. Як і під час гри в покер, ви шукаєте певні «підказки», що людина бреше, і використовуєте їх як фрагменти інформації, щоб повідомити про свою припущення. Або якби вам дозволили запитати їх, це було б доказом того, що їхня історія не відповідає дійсності. Ми можемо представити доказ того, що людина бреше, як Б.

Щоб було зрозуміло, ми прагнемо передбачити ймовірність (А бреше/говорить правду|враховуючи докази його поведінки). Щоб зробити це, ми хочемо визначити ймовірність того, що B за умови A, або ймовірність того, що його поведінка відбудеться, якщо людина щиро бреше або говорить правду. Ви намагаєтеся визначити, за яких умов поведінка, яку ви бачите, мала б найбільший сенс. Якщо є три типи поведінки, які ви спостерігаєте, ви повинні зробити розрахунок для кожної поведінки. Наприклад, P(B1, B2, B3 * A). Потім ви робите це для кожного входження A/для кожної особи в грі, окрім себе. Ось ця частина рівняння вище:

P(B1, B2, B3,|A) * P|A

Нарешті, ми просто ділимо це на ймовірність B.

Якби ми отримали будь-які докази щодо фактичних ймовірностей у цьому рівнянні, ми б відтворили нашу ймовірнісну модель, взявши до уваги нові докази. Це називається оновленням ваших попередніх даних, оскільки ви оновлюєте свої припущення щодо попередньої ймовірності виникнення спостережуваних подій.

Застосування машинного навчання для теореми Байєса

Найпоширенішим використанням теореми Байєса, коли йдеться про машинне навчання, є алгоритм Наївного Байєса.

Наивний Байєс використовується для класифікації як двійкових, так і багатокласових наборів даних. Наивний Байєс отримав свою назву через те, що значення, призначені свідкам/атрибутам – Bs у P(B1, B2, B3 * A) – вважаються незалежними. один одного. Передбачається, що ці атрибути не впливають один на одного, щоб спростити модель і зробити обчислення можливими, замість того, щоб намагатися виконувати складне завдання обчислення зв’язків між кожним із атрибутів. Незважаючи на цю спрощену модель, Наївний Байєс, як правило, досить добре працює як алгоритм класифікації, навіть якщо це припущення, ймовірно, не відповідає дійсності (а це найчастіше).

Існують також поширені варіанти наївного класифікатора Байєса, такого як багаточленний наївний Байєс, наївний Байєс Бернуллі та наївний Байєс за Гауссом.

Багаточлен наївного Байєса алгоритми часто використовуються для класифікації документів, оскільки вони ефективні для інтерпретації частоти слів у документі.

Бернуллі Наївний Байєс працює подібно до Multinomial Naive Bayes, але прогнози, які виконує алгоритм, є логічними. Це означає, що при прогнозуванні класу значення будуть двійковими, ні або так. У сфері класифікації тексту наивний алгоритм Бернуллі Байєса призначав би параметрам «так» або «ні» залежно від того, чи знайдено слово в текстовому документі.

Якщо значення предикторів/ознак не є дискретними, а натомість безперервними, Гаусівський наївний Байєс може бути використаний. Передбачається, що значення безперервних характеристик були відібрані з розподілу Гауса.