Шта је Бајесова теорема?

Ако сте учили о науци о подацима или машинском учењу, велика је шанса да сте чули термин "Бајесова теорема" пре или „Бајесов класификатор”. Ови концепти могу бити донекле збуњујући, посебно ако нисте навикли да размишљате о вероватноћи из традиционалне, фреквентне статистичке перспективе. Овај чланак ће покушати да објасни принципе иза Бајесове теореме и како се она користи у машинском учењу.

Шта је Бајесова теорема?

Бајесова теорема је метод за израчунавање условне вероватноће. Традиционални метод израчунавања условне вероватноће (вероватноће да се један догађај деси с обзиром на појаву другог догађаја) је употреба формуле условне вероватноће, израчунавање заједничке вероватноће да ће се догађај један и догађај два десити у исто време, а затим се подели вероватноћом да се догоди догађај два. Међутим, условна вероватноћа се такође може израчунати на нешто другачији начин коришћењем Бајесове теореме.

Када рачунате условну вероватноћу са Бајесовом теоремом, користите следеће кораке:

• Одредити вероватноћу да је услов Б тачан, под претпоставком да је услов А тачан.
• Одредити вероватноћу да је догађај А истинит.
• Помножите две вероватноће заједно.
• Поделите са вероватноћом да се деси догађај Б.

То значи да се формула за Бајесову теорему може изразити овако:

П(А|Б) = П(Б|А)*П(А) / П(Б)

Овакво израчунавање условне вероватноће је посебно корисно када се обрнута условна вероватноћа може лако израчунати или када би израчунавање заједничке вероватноће било превише изазовно.

Пример Бајесове теореме

Ово би могло бити лакше протумачити ако проведемо неко време гледајући пример о томе како бисте применили Бајесово резоновање и Бајесову теорему. Претпоставимо да сте играли једноставну игру у којој вам више учесника прича причу и морате да одредите који од учесника вас лаже. Хајде да попунимо једначину за Бајесову теорему са променљивим у овом хипотетичком сценарију.

Покушавамо да предвидимо да ли сваки појединац у игри лаже или говори истину, па ако осим вас постоје три играча, категоричке варијабле се могу изразити као А1, А2 и А3. Доказ за њихове лажи/истине је њихово понашање. Као када играте покер, тражили бисте одређене „знаке“ да особа лаже и користите их као делове информација да бисте нагађали. Или ако би вам било дозвољено да их испитујете, то би био доказ да њихова прича не одговара. Доказ да особа лаже можемо представљати као Б.

Да будемо јасни, циљ нам је да предвидимо вероватноћу (А лаже/говори истину|с обзиром на доказе њиховог понашања). Да бисмо то урадили, желели бисмо да откријемо вероватноћу Б датог А, или вероватноћу да ће се њихово понашање догодити ако особа искрено лаже или говори истину. Покушавате да одредите под којим условима би понашање које видите имало највише смисла. Ако постоје три понашања којима присуствујете, извршили бисте прорачун за свако понашање. На пример, П(Б1, Б2, Б3 * А). Онда бисте то урадили за свако појављивање А/за сваку особу у игри осим за себе. То је овај део горње једначине:

П(Б1, Б2, Б3,|А) * П|А

Коначно, само то поделимо са вероватноћом Б.

Ако бисмо добили било какав доказ о стварним вероватноћама у овој једначини, поново бисмо креирали наш модел вероватноће, узимајући у обзир нове доказе. Ово се зове ажурирање ваших приоритета, док ажурирате своје претпоставке о претходној вероватноћи да ће се посматрани догађаји догодити.

Примене машинског учења за Бајесову теорему

Најчешћа употреба Бајесове теореме када је у питању машинско учење је у облику наивног Бајесовог алгоритма.

Наивни Бајес се користи за класификацију и бинарних и вишекласних скупова података, Наивни Бајес је добио име јер се претпоставља да су вредности додељене доказима/атрибутима сведока – Бс у П(Б1, Б2, Б3 * А) – независне једни од других. Претпоставља се да ови атрибути не утичу једни на друге да би се модел поједноставио и омогућило израчунавање, уместо покушаја сложеног задатка израчунавања односа између сваког од атрибута. Упркос овом поједностављеном моделу, Наиве Баиес има тенденцију да се прилично добро понаша као класификациони алгоритам, чак и када ова претпоставка вероватно није тачна (што је већину времена).

Постоје најчешће коришћене варијанте наивног Бајесовог класификатора као што су Мултиномијални наивни Бајес, Бернули наивни Бајес и Гаусов наивни Бајес.

Мултиномиал Наиве Баиес алгоритми се често користе за класификацију докумената, јер је ефикасан у тумачењу учесталости речи у документу.

Бернули наивни Бајес функционише слично као Мултиномиал Наиве Баиес, али предвиђања приказана од стране алгоритма су логичка. То значи да ће приликом предвиђања класе вредности бити бинарне, не или да. У домену класификације текста, Бернули наивни Бајес алгоритам би доделио параметре да или не на основу тога да ли се реч налази у текстуалном документу или не.

Ако вредност предиктора/карактера није дискретна, већ је континуална, Гаусов наивни Бајес може се користити. Претпоставља се да су вредности континуираних карактеристика узорковане из Гаусове дистрибуције.