Što je Bayesov teorem?

Ako ste učili o znanosti o podacima ili strojnom učenju, velika je vjerojatnost da ste čuli izraz “Bayesov teorem” prije ili "Bayesov klasifikator". Ovi koncepti mogu biti pomalo zbunjujući, osobito ako niste navikli razmišljati o vjerojatnosti iz tradicionalne, frekventne statističke perspektive. Ovaj će članak pokušati objasniti principe Bayesova teorema i kako se koristi u strojnom učenju.

Što je Bayesov teorem?

Bayesov teorem je metoda izračunavanje uvjetne vjerojatnosti. Tradicionalna metoda izračuna uvjetne vjerojatnosti (vjerojatnost da se jedan događaj dogodi s obzirom na pojavu drugog događaja) je korištenje formule uvjetne vjerojatnosti, izračunavanje zajedničke vjerojatnosti događaja jedan i događaja dva koji se dogode u isto vrijeme, a zatim dijeljenje vjerojatnošću događanja događaja dva. Međutim, uvjetna vjerojatnost također se može izračunati na malo drugačiji način korištenjem Bayesovog teorema.

Kada računate uvjetnu vjerojatnost s Bayesovim teoremom, koristite sljedeće korake:

• Odredite vjerojatnost da je uvjet B istinit, pod pretpostavkom da je uvjet A istinit.
• Odredite vjerojatnost da je događaj A istinit.
• Pomnožite dvije vjerojatnosti.
• Podijelite s vjerojatnošću da se događaj B dogodi.

To znači da se formula za Bayesov teorem može izraziti ovako:

P(A|B) = P(B|A)*P(A) / P(B)

Ovakvo izračunavanje uvjetne vjerojatnosti posebno je korisno kada se obrnuta uvjetna vjerojatnost može lako izračunati ili kada bi izračunavanje zajedničke vjerojatnosti bilo previše zahtjevno.

Primjer Bayesove teoreme

Ovo bi moglo biti lakše protumačiti ako provedemo neko vrijeme promatrajući primjer kako biste primijenili Bayesovo razmišljanje i Bayesov teorem. Pretpostavimo da ste igrali jednostavnu igru ​​u kojoj vam više sudionika priča priču, a vi morate odrediti koji vam od sudionika laže. Ispunimo jednadžbu za Bayesov teorem s varijablama u ovom hipotetskom scenariju.

Pokušavamo predvidjeti laže li svaki pojedinac u igri ili govori istinu, pa ako postoje tri igrača osim vas, kategoričke varijable mogu se izraziti kao A1, A2 i A3. Dokaz za njihove laži/istine je njihovo ponašanje. Kao kad igrate poker, tražili biste određene "naznake" da osoba laže i koristili ih kao dijelove informacija za svoju pretpostavku. Ili kad bi vam bilo dopušteno da ih ispitujete, to bi bio dokaz da njihova priča ne odgovara. Dokaz da osoba laže možemo prikazati kao B.

Da budemo jasni, cilj nam je predvidjeti Vjerojatnost (A laže/govori istinu|s obzirom na dokaze o njihovom ponašanju). Da bismo to učinili, željeli bismo odrediti vjerojatnost B s obzirom na A, ili vjerojatnost da bi se njihovo ponašanje dogodilo s obzirom da osoba iskreno laže ili govori istinu. Pokušavate odrediti pod kojim bi uvjetima ponašanje koje vidite imalo najviše smisla. Ako postoje tri ponašanja kojima svjedočite, izvršili biste izračun za svako ponašanje. Na primjer, P(B1, B2, B3 * A). Tada biste to učinili za svako pojavljivanje A/za svaku osobu u igri osim sebe. To je ovaj dio gornje jednadžbe:

P(B1, B2, B3,|A) * P|A

Konačno, samo to dijelimo s vjerojatnošću B.

Kad bismo dobili bilo kakav dokaz o stvarnim vjerojatnostima u ovoj jednadžbi, ponovno bismo stvorili naš model vjerojatnosti, uzimajući u obzir nove dokaze. To se zove ažuriranje vaših prethodnih događaja, jer ažurirate svoje pretpostavke o prethodnoj vjerojatnosti događanja promatranih događaja.

Primjene strojnog učenja za Bayesov teorem

Bayesov teorem se najčešće koristi kada je u pitanju strojno učenje u obliku Naivnog Bayesovog algoritma.

Naivni Bayes koristi se za klasifikaciju binarnih skupova podataka i skupova podataka s više klasa, Naivni Bayes je dobio svoje ime jer se pretpostavlja da su vrijednosti dodijeljene dokazima/atributima svjedoka – B u P(B1, B2, B3 * A) – neovisne jedni od drugih. Pretpostavlja se da ti atributi ne utječu jedni na druge kako bi se pojednostavio model i omogućili izračuni, umjesto pokušaja složenog zadatka izračunavanja odnosa između svakog od atributa. Unatoč ovom pojednostavljenom modelu, Naive Bayes ima tendenciju da prilično dobro funkcionira kao algoritam za klasifikaciju, čak i kada ova pretpostavka vjerojatno nije točna (što je u većini slučajeva).

Tu su i često korištene varijante naivnog Bayesovog klasifikatora kao što su Multinomski naivni Bayes, Bernoullijev naivni Bayes i Gaussov naivni Bayes.

Multinomski naivni Bayes algoritmi se često koriste za klasifikaciju dokumenata, jer su učinkoviti u tumačenju učestalosti riječi unutar dokumenta.

Bernoulli Naivni Bayes radi slično kao Multinomial Naive Bayes, ali su predviđanja algoritma Booleova. To znači da će kod predviđanja klase vrijednosti biti binarne, ne ili da. U domeni klasifikacije teksta, Bernoullijev naivni Bayesov algoritam dodijelio bi parametrima da ili ne na temelju toga nalazi li se riječ unutar tekstualnog dokumenta ili ne.

Ako vrijednost prediktora/značajki nije diskretna nego je umjesto toga kontinuirana, Gaussov naivni Bayes može se koristiti. Pretpostavlja se da su vrijednosti kontinuiranih značajki uzorkovane iz Gaussove distribucije.