Co je Bayesova věta?

Pokud jste se učili o datové vědě nebo strojovém učení, je velká šance, že jste to slyšeli termín "Bayesův teorém" dříve nebo „Bayesův klasifikátor“. Tyto pojmy mohou být poněkud matoucí, zvláště pokud nejste zvyklí uvažovat o pravděpodobnosti z tradičního, častého statistického pohledu. Tento článek se pokusí vysvětlit principy Bayesova teorému a jak se používá ve strojovém učení.

Co je Bayesova věta?

Bayesova věta je metoda výpočet podmíněné pravděpodobnosti. Tradiční metodou výpočtu podmíněné pravděpodobnosti (pravděpodobnosti, že nastane jedna událost při výskytu jiné události) je použít vzorec podmíněné pravděpodobnosti, vypočítat společnou pravděpodobnost události jedna a události dvě, které nastanou ve stejnou dobu, a pak ji vydělit podle pravděpodobnosti, že nastane událost dvě. Podmíněnou pravděpodobnost však lze vypočítat také trochu jiným způsobem pomocí Bayesovy věty.

Při výpočtu podmíněné pravděpodobnosti pomocí Bayesovy věty použijete následující kroky:

• Určete pravděpodobnost, že podmínka B bude pravdivá, za předpokladu, že podmínka A je pravdivá.
• Určete pravděpodobnost, že událost A bude pravdivá.
• Vynásobte obě pravděpodobnosti dohromady.
• Vydělte pravděpodobností, že událost B nastane.

To znamená, že vzorec pro Bayesovu větu by mohl být vyjádřen takto:

P(A|B) = P(B|A)*P(A) / P(B)

Takovýto výpočet podmíněné pravděpodobnosti je zvláště užitečný, když lze snadno vypočítat reverzní podmíněnou pravděpodobnost nebo když by byl výpočet společné pravděpodobnosti příliš náročný.

Příklad Bayesovy věty

To může být snazší interpretovat, pokud strávíme nějaký čas prohlížením an příklad jak byste použili Bayesovské uvažování a Bayesovu větu. Předpokládejme, že jste hráli jednoduchou hru, kde vám více účastníků vypráví příběh a vy musíte určit, který z účastníků vám lže. Doplňme rovnici pro Bayesovu větu proměnnými v tomto hypotetickém scénáři.

Snažíme se předpovědět, zda každý jednotlivec ve hře lže nebo mluví pravdu, takže pokud jsou kromě vás tři hráči, kategorické proměnné lze vyjádřit jako A1, A2 a A3. Důkazem pro jejich lži/pravdu je jejich chování. Stejně jako při hraní pokeru byste hledali určité „vyprávění“, že někdo lže, a použijte je jako informace, které vám pomohou odhadnout. Nebo kdyby vám bylo dovoleno je vyslýchat, byl by to jakýkoli důkaz, že jejich příběh nesedí. Důkaz, že osoba lže, můžeme reprezentovat jako B.

Aby bylo jasno, naším cílem je předpovídat Pravděpodobnost (A lže/říká pravdu|vzhledem k důkazům jejich chování). Abychom to udělali, chtěli bychom zjistit pravděpodobnost B daného A nebo pravděpodobnost, že by k jejich chování došlo, pokud by osoba skutečně lhala nebo říkala pravdu. Snažíte se určit, za jakých podmínek by chování, které vidíte, dávalo největší smysl. Pokud jste svědky tří chování, provedli byste výpočet pro každé chování. Například P(B1, B2, B3 * A). Pak byste to udělali pro každý výskyt A/pro každou osobu ve hře kromě vás. Toto je část výše uvedené rovnice:

P(B1, B2, B3,|A) * P|A

Nakonec to vydělíme pravděpodobností B.

Pokud bychom obdrželi jakýkoli důkaz o skutečných pravděpodobnostech v této rovnici, znovu bychom vytvořili náš pravděpodobnostní model, přičemž bychom vzali v úvahu nové důkazy. Tomu se říká aktualizace vašich priorit, protože aktualizujete své předpoklady o předchozí pravděpodobnosti výskytu pozorovaných událostí.

Aplikace strojového učení pro Bayesův teorém

Nejběžnější použití Bayesova teorému, pokud jde o strojové učení, je ve formě naivního Bayesova algoritmu.

Naive Bayes se používá pro klasifikaci binárních i vícetřídních datových sad, Naive Bayes získal svůj název, protože hodnoty přiřazené důkazům/atributům svědků – Bs v P(B1, B2, B3 * A) – se považují za nezávislé. jeden druhého. Předpokládá se, že tyto atributy se vzájemně neovlivňují, aby se zjednodušil model a umožnily výpočty, místo toho, abychom se pokoušeli o složitý úkol výpočtu vztahů mezi jednotlivými atributy. Navzdory tomuto zjednodušenému modelu má Naive Bayes tendenci fungovat docela dobře jako klasifikační algoritmus, i když tento předpoklad pravděpodobně není pravdivý (což je většinou).

K dispozici jsou také běžně používané varianty klasifikátoru Naive Bayes, jako je Multinomial Naive Bayes, Bernoulli Naive Bayes a Gaussian Naive Bayes.

Multinomický naivní Bayes Algoritmy se často používají ke klasifikaci dokumentů, protože jsou účinné při interpretaci frekvence slov v dokumentu.

Bernoulli Naivní Bayes funguje podobně jako Multinomial Naive Bayes, ale předpovědi vykreslované algoritmem jsou booleovské. To znamená, že při predikci třídy budou hodnoty binární, ne nebo ano. V oblasti klasifikace textu by algoritmus Bernoulli Naive Bayes přiřadil parametry ano nebo ne na základě toho, zda je v textovém dokumentu slovo nalezeno či nikoli.

Pokud hodnota prediktorů/vlastností není diskrétní, ale je naopak spojitá, Gaussův naivní Bayes může být použito. Předpokládá se, že hodnoty spojitých prvků byly odebrány z gaussovského rozdělení.