Kas ir Bayes teorēma?

Ja esat mācījies par datu zinātni vai mašīnmācīšanos, pastāv liela iespēja, ka esat dzirdējis termins "Beisa teorēma" vai “Bayes klasifikators”. Šie jēdzieni var būt zināmā mērā mulsinoši, it īpaši, ja neesat pieradis domāt par varbūtību no tradicionālās, bieži sastopamās statistikas perspektīvas. Šajā rakstā tiks mēģināts izskaidrot Bayes teorēmas principus un to, kā tā tiek izmantota mašīnmācībā.

Kas ir Bayes teorēma?

Bayes teorēma ir metode nosacītās varbūtības aprēķināšana. Tradicionālā nosacītās varbūtības (iespējamība, ka viens notikums notiek, ja notiek cits notikums) aprēķināšanas metode ir izmantot nosacītās varbūtības formulu, aprēķinot kopējo varbūtību, ka notikums pirmais un notikums otrais notiks vienlaicīgi, un pēc tam to dalot. pēc otrā notikuma varbūtības. Tomēr nosacīto varbūtību var aprēķināt arī nedaudz atšķirīgā veidā, izmantojot Bayes teorēmu.

Aprēķinot nosacīto varbūtību ar Beijesa teorēmu, izmantojiet šādas darbības:

• Nosakiet varbūtību, ka nosacījums B ir patiess, pieņemot, ka nosacījums A ir patiess.
• Nosakiet varbūtību, ka notikums A ir patiess.
• Reiziniet abas varbūtības kopā.
• Sadaliet ar notikuma B varbūtību.

Tas nozīmē, ka Bayes teorēmas formulu var izteikt šādi:

P(A|B) = P(B|A)*P(A)/P(B)

Šāda nosacītās varbūtības aprēķināšana ir īpaši noderīga, ja apgriezto nosacīto varbūtību var viegli aprēķināt vai ja kopīgās varbūtības aprēķināšana būtu pārāk sarežģīta.

Bayes teorēmas piemērs

To varētu būt vieglāk interpretēt, ja veltīsim kādu laiku, skatoties uz piemērs par to, kā jūs piemērotu Beijesa spriešanu un Beijesa teorēmu. Pieņemsim, ka spēlējāt vienkāršu spēli, kurā vairāki dalībnieki stāsta jums stāstu, un jums ir jānosaka, kurš no dalībniekiem jums melo. Aizpildīsim Bayes teorēmas vienādojumu ar mainīgajiem šajā hipotētiskajā scenārijā.

Mēs cenšamies paredzēt, vai katrs spēles dalībnieks melo vai stāsta patiesību, tādēļ, ja bez jums ir trīs spēlētāji, kategoriskos mainīgos var izteikt kā A1, A2 un A3. Pierādījums viņu meliem/patiesībai ir viņu uzvedība. Tāpat kā spēlējot pokeru, jums vajadzētu meklēt noteiktus “paziņojumus”, ka cilvēks melo, un izmantot tos kā informācijas fragmentus, lai informētu par savu minējumu. Vai arī, ja jums būtu atļauts viņus iztaujāt, tas būtu pierādījums, ka viņu stāsts neatbilst. Mēs varam pārstāvēt pierādījumus tam, ka cilvēks melo kā B.

Lai būtu skaidrs, mūsu mērķis ir paredzēt varbūtību (A melo/stāsta patiesību|ņemot vērā viņu uzvedības pierādījumus). Lai to izdarītu, mēs vēlamies izdomāt B iespējamību, ja A, vai varbūtību, ka viņu uzvedība notiks, ja persona patiesi melo vai stāsta patiesību. Jūs mēģināt noteikt, kādos apstākļos jūsu redzamā uzvedība būtu vispiemērotākā. Ja jūs novērojat trīs uzvedības veidus, aprēķini jāveic katrai uzvedībai. Piemēram, P(B1, B2, B3 * A). Pēc tam jūs to darītu ikreiz, kad parādās A/katrai personai spēlē, izņemot sevi. Šī ir šī iepriekš minētā vienādojuma daļa:

P(B1, B2, B3,|A) * P|A

Visbeidzot, mēs to vienkārši sadalām ar B varbūtību.

Ja mēs saņemtu pierādījumus par faktiskajām varbūtībām šajā vienādojumā, mēs no jauna izveidotu mūsu varbūtības modeli, ņemot vērā jaunos pierādījumus. To sauc par jūsu prioritāšu atjaunināšanu, jo jūs atjaunināt savus pieņēmumus par novēroto notikumu iepriekšējo varbūtību.

Mašīnmācīšanās lietojumprogrammas Beijesa teorēmai

Visbiežāk Beijesa teorēma tiek izmantota, kad runa ir par mašīnmācīšanos, izmantojot naivā Beijesa algoritmu.

Naive Bayes tiek izmantots gan bināro, gan vairāku klašu datu kopu klasifikācijai, Naive Bayes iegūst savu nosaukumu, jo tiek pieņemts, ka liecinieku pierādījumiem/atribūtiem piešķirtās vērtības – Bs P(B1, B2, B3 * A) ir neatkarīgas. viens no otra. Tiek pieņemts, ka šie atribūti neietekmē viens otru, lai vienkāršotu modeli un padarītu iespējamus aprēķinus, tā vietā, lai mēģinātu veikt sarežģīto uzdevumu aprēķināt attiecības starp katru no atribūtiem. Neskatoties uz šo vienkāršoto modeli, Naive Bayes parasti darbojas diezgan labi kā klasifikācijas algoritms, pat ja šis pieņēmums, iespējams, nav patiess (kas lielākoties tā ir).

Ir arī parasti izmantotie varianti no Naive Bayes klasifikatora, piemēram, Multinomial Naive Bayes, Bernoulli Naive Bayes un Gaussian Naive Bayes.

Multinomiāls Naive Bayes Dokumentu klasificēšanai bieži izmanto algoritmus, jo tie efektīvi interpretē vārdu biežumu dokumentā.

Bernulli Naive Bayes darbojas līdzīgi kā Multinomial Naive Bayes, taču algoritma sniegtās prognozes ir Būla vērtības. Tas nozīmē, ka, prognozējot klasi, vērtības būs bināras, nē vai jā. Teksta klasifikācijas jomā Bernulli Naive Bayes algoritms piešķirtu parametriem jā vai nē, pamatojoties uz to, vai teksta dokumentā ir atrasts vārds.

Ja prognozētāju/iezīmju vērtība nav diskrēta, bet gan nepārtraukta, Gausa naivais Bejs Var izmantot. Tiek pieņemts, ka nepārtraukto pazīmju vērtības ir atlasītas no Gausa sadalījuma.