Kaj je Bayesov izrek?

Če ste se učili o podatkovni znanosti ali strojnem učenju, obstaja velika verjetnost, da ste slišali izraz "Bayesov izrek" prej ali "Bayesov klasifikator". Ti pojmi so lahko nekoliko zmedeni, še posebej, če o verjetnosti niste vajeni razmišljati s tradicionalnega, pogostega statističnega vidika. Ta članek bo poskušal razložiti načela Bayesovega izreka in kako se uporablja v strojnem učenju.

Kaj je Bayesov izrek?

Bayesov izrek je metoda izračun pogojne verjetnosti. Tradicionalna metoda izračuna pogojne verjetnosti (verjetnost, da se zgodi en dogodek glede na pojav drugega dogodka) je uporaba formule pogojne verjetnosti, pri čemer se izračuna skupna verjetnost dogodka ena in dva, ki se pojavita hkrati, in nato deli z verjetnostjo dogodka dva. Vendar pa je pogojno verjetnost mogoče izračunati tudi na nekoliko drugačen način z uporabo Bayesovega izreka.

Pri izračunu pogojne verjetnosti z Bayesovim izrekom uporabite naslednje korake:

• Določite verjetnost, da je pogoj B resničen, ob predpostavki, da je pogoj A resničen.
• Določite verjetnost, da je dogodek A resničen.
• Pomnožite obe verjetnosti skupaj.
• Delite z verjetnostjo, da se zgodi dogodek B.

To pomeni, da bi formulo za Bayesov izrek lahko izrazili takole:

P(A|B) = P(B|A)*P(A) / P(B)

Izračun pogojne verjetnosti, kot je ta, je še posebej uporaben, kadar je obratno pogojno verjetnost mogoče enostavno izračunati ali ko bi bil izračun skupne verjetnosti prezahteven.

Primer Bayesovega izreka

To bi bilo morda lažje razlagati, če bi nekaj časa opazovali Primer kako bi uporabili Bayesovo razmišljanje in Bayesov izrek. Recimo, da ste igrali preprosto igro, kjer vam več udeležencev pove zgodbo in morate ugotoviti, kateri od udeležencev vam laže. Izpolnimo enačbo za Bayesov izrek s spremenljivkami v tem hipotetičnem scenariju.

Poskušamo predvideti, ali vsak posameznik v igri laže ali govori resnico, tako da, če so poleg vas trije igralci, lahko kategorične spremenljivke izrazimo kot A1, A2 in A3. Dokaz za njihove laži/resnice je njihovo obnašanje. Tako kot pri igranju pokra bi iskali določene "napovedi", da oseba laže, in jih uporabili kot delčke informacij, da bi ugibali. Ali če bi vam bilo dovoljeno, da jih sprašujete, bi to bil kakršen koli dokaz, da njihova zgodba ne ustreza. Dokaz, da oseba laže, lahko predstavimo kot B.

Če želimo biti jasni, nameravamo predvideti verjetnost (A laže/govori resnico|glede na dokaze o njihovem vedenju). Da bi to naredili, bi želeli ugotoviti verjetnost B glede na A ali verjetnost, da bi se njegovo vedenje zgodilo glede na to, da oseba resnično laže ali govori resnico. Poskušate ugotoviti, pod katerimi pogoji bi bilo vedenje, ki ga vidite, najbolj smiselno. Če ste priča trem vedenjem, bi naredili izračun za vsako vedenje. Na primer P(B1, B2, B3 * A). Nato bi to naredili za vsako pojavitev A/za vsako osebo v igri razen sebe. To je ta del zgornje enačbe:

P(B1, B2, B3,|A) * P|A

Končno to samo delimo z verjetnostjo B.

Če bi prejeli kakršne koli dokaze o dejanskih verjetnostih v tej enačbi, bi ponovno ustvarili naš verjetnostni model, pri čemer bi upoštevali nove dokaze. To se imenuje posodabljanje vaših predhodnih podatkov, saj posodobite svoje predpostavke o predhodni verjetnosti, da se opazovani dogodki zgodijo.

Aplikacije strojnega učenja za Bayesov izrek

Najpogostejša uporaba Bayesovega izreka, ko gre za strojno učenje, je v obliki naivnega Bayesovega algoritma.

Naivni Bayes se uporablja za klasifikacijo binarnih in večrazrednih naborov podatkov. Naivni Bayes je dobil svoje ime, ker se domneva, da so vrednosti, dodeljene dokazom/atributom prič – B v P(B1, B2, B3 * A) – neodvisne. drug drugega. Predpostavlja se, da ti atributi ne vplivajo drug na drugega, da bi poenostavili model in omogočili izračune, namesto da bi poskušali zapleteno nalogo izračunati razmerja med posameznimi atributi. Kljub temu poenostavljenemu modelu se naivni Bayes precej dobro obnese kot algoritem za razvrščanje, tudi če ta predpostavka verjetno ni resnična (kar je večino časa).

Obstajajo tudi pogosto uporabljene variante naivnega Bayesovega klasifikatorja, kot so multinomski naivni Bayes, Bernoullijev naivni Bayes in Gaussov naivni Bayes.

Multinomski naivni Bayes algoritmi se pogosto uporabljajo za razvrščanje dokumentov, saj so učinkoviti pri interpretaciji pogostosti besed v dokumentu.

Bernoullijev naivni Bayes deluje podobno kot Multinomial Naive Bayes, vendar so napovedi, ki jih upodobi algoritem, logične vrednosti. To pomeni, da bodo pri napovedovanju razreda vrednosti binarne, ne ali da. Na področju klasifikacije besedila bi Bernoullijev naivni Bayesov algoritem parametrom dodelil da ali ne glede na to, ali je beseda najdena v besedilnem dokumentu ali ne.

Če vrednost napovedovalcev/značilnosti ni diskretna, ampak je zvezna, Gaussov naivni Bayes je lahko uporabljen. Predpostavlja se, da so bile vrednosti zveznih značilnosti vzorčene iz Gaussove porazdelitve.