Mis on Bayesi teoreem?

Kui olete õppinud tundma andmeteadust või masinõpet, on hea võimalus, et olete sellest kuulnud termin "Bayesi teoreem" enne või "Bayesi klassifikaatorit". Need mõisted võivad olla mõnevõrra segadusttekitavad, eriti kui te pole harjunud mõtlema tõenäosusele traditsioonilisest, sagedasemast statistikast lähtudes. See artikkel püüab selgitada Bayesi teoreemi põhimõtteid ja seda, kuidas seda masinõppes kasutatakse.

Mis on Bayesi teoreem?

Bayesi teoreem on meetod tingliku tõenäosuse arvutamine. Traditsiooniline tingimusliku tõenäosuse (tõenäosus, et üks sündmus toimub erineva sündmuse toimumise korral) arvutamiseks on kasutada tingimusliku tõenäosuse valemit, arvutades sündmuse esimese ja teise sündmuse samaaegse toimumise ühise tõenäosuse ja seejärel jagades selle. teise sündmuse toimumise tõenäosusega. Kuid tingimuslikku tõenäosust saab arvutada ka veidi erineval viisil, kasutades Bayesi teoreemi.

Tingimusliku tõenäosuse arvutamisel Bayesi teoreemiga kasutage järgmisi samme:

• Määrake tingimuse B tõenemise tõenäosus, eeldades, et tingimus A on tõene.
• Määrake sündmuse A tõesuse tõenäosus.
• Korrutage need kaks tõenäosust kokku.
• Jagage sündmuse B toimumise tõenäosusega.

See tähendab, et Bayesi teoreemi valemit saab väljendada järgmiselt:

P(A|B) = P(B|A)*P(A) / P(B)

Selline tingimusliku tõenäosuse arvutamine on eriti kasulik, kui vastupidise tingimusliku tõenäosuse arvutamine on lihtne või kui liittõenäosuse arvutamine oleks liiga keeruline.

Bayesi teoreemi näide

Seda võib olla lihtsam tõlgendada, kui veedame mõnda aega selle vaatamisel näide kuidas rakendada Bayesi arutluskäiku ja Bayesi teoreemi. Oletame, et mängisite lihtsat mängu, kus mitu osalejat jutustavad teile loo ja te peate kindlaks tegema, milline osalejatest teile valetab. Täidame Bayesi teoreemi võrrandi selle hüpoteetilise stsenaariumi muutujatega.

Üritame ennustada, kas mängus iga inimene valetab või räägib tõtt, nii et kui peale sinu on kolm mängijat, saab kategoorilisi muutujaid väljendada kui A1, A2 ja A3. Nende valede/tõe tõestuseks on nende käitumine. Nagu pokkerit mängides, otsiksite teatud "ütlemisi", et inimene valetab, ja kasutaksite neid teabekildudena oma oletuse andmiseks. Või kui teil lubataks neid küsitleda, oleks see tõend, et nende lugu ei sobi kokku. Me võime esitada tõendeid selle kohta, et inimene valetab, kui B.

Selguse huvides on meie eesmärk ennustada tõenäosust (A valetab/räägib tõtt, võttes arvesse nende käitumist). Selleks tahaksime välja selgitada tõenäosuse, et B annab A, või tõenäosuse, et nende käitumine juhtub, kui inimene tõesti valetab või räägib tõtt. Püüate kindlaks teha, millistel tingimustel oleks teie nähtav käitumine kõige mõttekam. Kui näete kolme käitumist, arvutaksite iga käitumise kohta. Näiteks P(B1, B2, B3 * A). Seejärel teeksite seda iga A-juhtumi korral / kõigi mängus osalejate jaoks, välja arvatud teie ise. See on see osa ülaltoodud võrrandist:

P(B1, B2, B3, |A) * P|A

Lõpuks jagame selle lihtsalt B tõenäosusega.

Kui saaksime tõendeid selle võrrandi tegelike tõenäosuste kohta, looksime oma tõenäosusmudeli uuesti, võttes arvesse uusi tõendeid. Seda nimetatakse teie eelmiste ajakohastamiseks, kuna värskendate oma eeldusi vaadeldud sündmuste toimumise eelneva tõenäosuse kohta.

Masinõppe rakendused Bayesi teoreemi jaoks

Masinõppe puhul kasutatakse Bayesi teoreemi kõige sagedamini naiivse Bayesi algoritmi kujul.

Naive Bayesi kasutatakse nii binaarsete kui ka mitmeklassiliste andmekogumite klassifitseerimiseks, Naive Bayes sai oma nime seetõttu, et tunnistajate tõenditele/atribuutidele määratud väärtused – Bs P(B1, B2, B3 * A) – eeldatakse olevat sõltumatud. üksteisest. Eeldatakse, et need atribuudid ei mõjuta üksteist, et lihtsustada mudelit ja teha arvutused võimalikuks, selle asemel, et proovida keerukat ülesannet arvutada iga atribuudi vahelisi seoseid. Vaatamata sellele lihtsustatud mudelile kipub Naive Bayes klassifitseerimisalgoritmina üsna hästi toimima, isegi kui see eeldus tõenäoliselt ei vasta tõele (mis on enamasti nii).

On ka tavaliselt kasutatavad variandid Naive Bayesi klassifikaatorist, nagu Multinomial Naive Bayes, Bernoulli Naive Bayes ja Gaussian Naive Bayes.

Multinomaalne Naive Bayes Dokumentide klassifitseerimiseks kasutatakse sageli algoritme, kuna need on tõhusad sõnade sageduse tõlgendamisel dokumendis.

Bernoulli Naive Bayes töötab sarnaselt Multinomial Naive Bayesiga, kuid algoritmi ennustused on tõeväärtuslikud. See tähendab, et klassi ennustamisel on väärtused binaarsed, ei või jah. Teksti klassifitseerimise valdkonnas määraks Bernoulli Naive Bayesi algoritm parameetritele jah või ei, lähtudes sellest, kas tekstidokumendis leidub sõna või mitte.

Kui ennustajate/tunnuste väärtus ei ole diskreetne, vaid on pidev, Gaussi naiivne Bayes saab kasutada. Eeldatakse, et pidevate tunnuste väärtused on võetud Gaussi jaotusest.