Ce este teorema Bayes?

Dacă ați învățat despre știința datelor sau învățarea automată, există șanse mari să fi auzit termenul „teorema Bayes” înainte sau un „clasificator Bayes”. Aceste concepte pot fi oarecum confuze, mai ales dacă nu sunteți obișnuit să vă gândiți la probabilitate dintr-o perspectivă tradițională a statisticii frecventiste. Acest articol va încerca să explice principiile din spatele teoremei Bayes și modul în care este utilizată în învățarea automată.

Ce este teorema Bayes?

Teorema Bayes este o metodă de calcularea probabilității condiționate. Metoda tradițională de calculare a probabilității condiționate (probabilitatea ca un eveniment să se producă având în vedere apariția unui eveniment diferit) este de a folosi formula probabilității condiționate, calculând probabilitatea comună ca evenimentul unu și evenimentul doi să se producă în același timp și apoi împărțind-o. prin probabilitatea producerii evenimentului doi. Cu toate acestea, probabilitatea condiționată poate fi calculată și într-un mod ușor diferit folosind teorema Bayes.

Când calculați probabilitatea condiționată cu teorema Bayes, utilizați următorii pași:

• Determinați probabilitatea ca condiția B să fie adevărată, presupunând că condiția A este adevărată.
• Determinați probabilitatea ca evenimentul A să fie adevărat.
• Înmulțiți cele două probabilități împreună.
• Împărțiți la probabilitatea ca evenimentul B să se producă.

Aceasta înseamnă că formula pentru teorema Bayes ar putea fi exprimată astfel:

P(A|B) = P(B|A)*P(A) / P(B)

Calcularea probabilității condiționate astfel este utilă în special atunci când probabilitatea condiționată inversă poate fi calculată cu ușurință sau când calcularea probabilității comune ar fi prea dificilă.

Exemplu de teorema Bayes

Acest lucru ar putea fi mai ușor de interpretat dacă petrecem ceva timp privind un exemplu despre modul în care ați aplica raționamentul bayesian și teorema Bayes. Să presupunem că jucați un joc simplu în care mai mulți participanți vă spun o poveste și trebuie să determinați care dintre participanți vă minte. Să completăm ecuația pentru teorema Bayes cu variabilele din acest scenariu ipotetic.

Încercăm să anticipăm dacă fiecare individ din joc minte sau spune adevărul, așa că dacă există trei jucători în afară de tine, variabilele categoriale pot fi exprimate ca A1, A2 și A3. Dovada minciunilor/adevărului lor este comportamentul lor. La fel ca atunci când jucați poker, ați căuta anumite „spune” că o persoană minte și le-ați folosi ca fragmente de informații pentru a vă informa ipoteza. Sau dacă ți s-ar permite să-i pui la întrebări, ar fi vreo dovadă că povestea lor nu se adaugă. Putem reprezenta dovada că o persoană minte ca B.

Pentru a fi clar, ne propunem să prezicăm Probabilitatea (A minte/spune adevărul | având în vedere dovezile comportamentului lor). Pentru a face acest lucru, am dori să ne dăm seama care este probabilitatea ca B dat A, sau probabilitatea ca comportamentul lor să apară, având în vedere că persoana minte cu adevărat sau spune adevărul. Încercați să determinați în ce condiții comportamentul pe care îl vedeți ar avea cel mai mult sens. Dacă sunt trei comportamente la care asistați, ați face calculul pentru fiecare comportament. De exemplu, P(B1, B2, B3 * A). Apoi ai face acest lucru pentru fiecare apariție a lui A/pentru fiecare persoană din joc în afară de tine. Aceasta este această parte a ecuației de mai sus:

P(B1, B2, B3,|A) * P|A

În cele din urmă, împărțim asta la probabilitatea lui B.

Dacă am primi vreo dovadă despre probabilitățile reale din această ecuație, am recrea modelul nostru de probabilitate, ținând cont de noile dovezi. Aceasta se numește actualizarea priorităților, deoarece actualizați ipotezele despre probabilitatea anterioară de apariție a evenimentelor observate.

Aplicații de învățare automată pentru teorema Bayes

Cea mai comună utilizare a teoremei Bayes atunci când vine vorba de învățarea automată este sub forma algoritmului Naive Bayes.

Naive Bayes este folosit pentru clasificarea atât a seturilor de date binare, cât și a celor multi-clasă, Naive Bayes își primește numele deoarece valorile atribuite probelor/atributelor martorilor – Bs în P(B1, B2, B3 * A) – se presupune că sunt independente unul de altul. Se presupune că aceste atribute nu se impactează reciproc pentru a simplifica modelul și a face posibile calculele, în loc să încercăm sarcina complexă de a calcula relațiile dintre fiecare dintre atribute. În ciuda acestui model simplificat, Naive Bayes tinde să funcționeze destul de bine ca algoritm de clasificare, chiar și atunci când această presupunere probabil nu este adevărată (ceea ce este de cele mai multe ori).

Există, de asemenea variante utilizate în mod obișnuit ale clasificatorului Naive Bayes, cum ar fi Multinomial Naive Bayes, Bernoulli Naive Bayes și Gaussian Naive Bayes.

Bayes naiv multinomial algoritmii sunt adesea folosiți pentru a clasifica documentele, deoarece este eficient în interpretarea frecvenței cuvintelor dintr-un document.

Bernoulli naiv Bayes funcționează similar cu Multinomial Naive Bayes, dar predicțiile redate de algoritm sunt booleene. Aceasta înseamnă că atunci când preziceți o clasă, valorile vor fi binare, nu sau da. În domeniul clasificării textului, un algoritm Bernoulli Naive Bayes ar atribui parametrilor un da sau un nu, în funcție de faptul că un cuvânt este găsit sau nu în documentul text.

Dacă valoarea predictorilor/caracteristicilor nu este discretă, ci este continuă, Bayes naiv gaussian poate fi folosit. Se presupune că valorile caracteristicilor continue au fost eșantionate dintr-o distribuție gaussiană.