Kas yra Bayes teorema?

Jei mokotės apie duomenų mokslą ar mašininį mokymąsi, yra didelė tikimybė, kad girdėjote terminas "Bayes teorema" arba „Bayes klasifikatorius“. Šios sąvokos gali būti šiek tiek klaidinančios, ypač jei nesate įpratę galvoti apie tikimybę iš tradicinės, dažnos statistikos perspektyvos. Šiame straipsnyje bus bandoma paaiškinti Bayes teoremos principus ir tai, kaip ji naudojama mašininiam mokymuisi.

Kas yra Bayes teorema?

Bayes teorema yra metodas skaičiuojant sąlyginę tikimybę. Tradicinis sąlyginės tikimybės (tikimybės, kad įvyks vienas įvykis įvykus kitam įvykiui) apskaičiavimo metodas yra naudoti sąlyginės tikimybės formulę, apskaičiuojant bendrą tikimybę, kad pirmasis ir antrasis įvyks įvyks tuo pačiu metu, ir tada ją padalijus. pagal tikimybę, kad įvyks antrasis įvykis. Tačiau sąlyginė tikimybė taip pat gali būti apskaičiuota šiek tiek kitaip, naudojant Bayes teoremą.

Skaičiuodami sąlyginę tikimybę pagal Bayes teoremą, naudokite šiuos veiksmus:

• Nustatykite tikimybę, kad sąlyga B bus teisinga, darant prielaidą, kad sąlyga A yra teisinga.
• Nustatykite įvykio A tikimybę.
• Padauginkite dvi tikimybes kartu.
• Padalinkite iš įvykio B tikimybės.

Tai reiškia, kad Bayeso teoremos formulė gali būti išreikšta taip:

P(A|B) = P(B|A)*P(A) / P(B)

Taip apskaičiuoti sąlyginę tikimybę ypač naudinga, kai galima lengvai apskaičiuoti atvirkštinę sąlyginę tikimybę arba kai jungtinės tikimybės apskaičiavimas būtų pernelyg sudėtingas.

Bayes teoremos pavyzdys

Tai gali būti lengviau interpretuoti, jei praleisime šiek tiek laiko žiūrėdami į pavyzdys kaip pritaikytumėte Bajeso samprotavimus ir Bayeso teoremą. Tarkime, kad žaidėte paprastą žaidimą, kuriame keli dalyviai pasakoja jums istoriją, o jūs turite nustatyti, kuris iš dalyvių jums meluoja. Užpildykime Bayes teoremos lygtį šio hipotetinio scenarijaus kintamaisiais.

Bandome nuspėti, ar kiekvienas žaidime dalyvaujantis asmuo meluoja, ar sako tiesą, taigi, jei be jūsų yra trys žaidėjai, kategoriniai kintamieji gali būti išreikšti kaip A1, A2 ir A3. Jų melo/tiesos įrodymas yra jų elgesys. Kaip ir žaisdami pokerį, jūs ieškotumėte tam tikrų „pasakymų“, kad asmuo meluoja, ir naudotumėte juos kaip informacijos fragmentus, kad pateiktumėte spėjimą. Arba jei jums būtų leista juos apklausti, tai būtų bet koks įrodymas, kad jų istorija nesutampa. Mes galime pateikti įrodymus, kad asmuo meluoja, kaip B.

Kad būtų aišku, mes siekiame numatyti tikimybę (A meluoja / sako tiesą| atsižvelgiant į jų elgesio įrodymus). Kad tai padarytume, norėtume išsiaiškinti B tikimybę, duotą A, arba tikimybę, kad jų elgesys pasireikš, jei asmuo nuoširdžiai meluotų arba sakytų tiesą. Bandote nustatyti, kokiomis sąlygomis elgesys, kurį matote, būtų prasmingiausias. Jei matote tris veiksmus, atlikite kiekvieno elgesio skaičiavimus. Pavyzdžiui, P(B1, B2, B3 * A). Tada tai darytumėte kiekvieną kartą, kai A / kiekvienam žaidime dalyvaujančiam asmeniui, išskyrus save. Tai yra aukščiau pateiktos lygties dalis:

P(B1, B2, B3,|A) * P|A

Galiausiai tai tiesiog padaliname iš B tikimybės.

Jei gautume kokių nors įrodymų apie faktines tikimybes šioje lygtyje, iš naujo sukurtume tikimybių modelį, atsižvelgdami į naujus įrodymus. Tai vadinama išankstinių įvykių atnaujinimu, kai atnaujinate savo prielaidas apie ankstesnę stebimų įvykių tikimybę.

Mašininio mokymosi programos Bayes teoremai

Kai kalbama apie mašininį mokymąsi, dažniausiai Bayes teorema naudojama Naive Bayes algoritmo forma.

Naive Bayes naudojamas tiek dvejetainiams, tiek kelių klasių duomenų rinkiniams klasifikuoti, o Naive Bayes gavo savo pavadinimą, nes liudytojų įrodymams / atributams priskirtos reikšmės – Bs P(B1, B2, B3 * A) – laikomos nepriklausomomis. vienas kito. Daroma prielaida, kad šie atributai neturi įtakos vienas kitam, kad būtų supaprastintas modelis ir būtų galima atlikti skaičiavimus, o ne bandyti atlikti sudėtingą užduotį – apskaičiuoti ryšius tarp kiekvieno atributo. Nepaisant šio supaprastinto modelio, Naive Bayes paprastai veikia gana gerai kaip klasifikavimo algoritmas, net jei ši prielaida tikriausiai nėra teisinga (o tai dažniausiai būna).

Taip pat yra dažniausiai naudojami variantai Naive Bayes klasifikatoriaus, pvz., Multinomial Naive Bayes, Bernoulli Naive Bayes ir Gaussian Naive Bayes.

Daugianomis Naive Bayes Dokumentams klasifikuoti dažnai naudojami algoritmai, nes jie veiksmingai interpretuoja žodžių dažnumą dokumente.

Bernoulli Naive Bayes veikia panašiai kaip Multinomial Naive Bayes, tačiau algoritmo pateiktos prognozės yra loginės. Tai reiškia, kad numatant klasę reikšmės bus dvejetainės, ne arba taip. Teksto klasifikavimo srityje Bernoulli Naive Bayes algoritmas priskirtų parametrams taip arba ne pagal tai, ar teksto dokumente rastas žodis, ar ne.

Jei prognozių / ypatybių reikšmės nėra atskiros, o tolydžios, Gauso naivusis Bayesas Gali būti naudojamas. Daroma prielaida, kad nuolatinių savybių reikšmės buvo paimtos iš Gauso skirstinio.