Què és el teorema de Bayes?

Si has estat aprenent sobre ciència de dades o aprenentatge automàtic, és molt probable que hagis sentit terme "teorema de Bayes" abans, o un “classificador Bayes”. Aquests conceptes poden ser una mica confusos, sobretot si no esteu acostumats a pensar en la probabilitat des d'una perspectiva tradicional i freqüentista de l'estadística. Aquest article intentarà explicar els principis del teorema de Bayes i com s'utilitza en l'aprenentatge automàtic.

Què és el teorema de Bayes?

El teorema de Bayes és un mètode de càlcul de probabilitat condicional. El mètode tradicional de càlcul de la probabilitat condicional (la probabilitat que es produeixi un esdeveniment donada l'ocurrència d'un esdeveniment diferent) és utilitzar la fórmula de probabilitat condicional, calculant la probabilitat conjunta que l'esdeveniment un i el dos succeeixin al mateix temps i després dividint-la. per la probabilitat que es produeixi l'esdeveniment dos. Tanmateix, la probabilitat condicional també es pot calcular d'una manera lleugerament diferent utilitzant el teorema de Bayes.

Quan calculeu la probabilitat condicional amb el teorema de Bayes, feu servir els passos següents:

• Determineu la probabilitat que la condició B sigui certa, suposant que la condició A és certa.
• Determineu la probabilitat que l'esdeveniment A sigui cert.
• Multiplica les dues probabilitats juntes.
• Dividiu per la probabilitat que succeeixi l'esdeveniment B.

Això vol dir que la fórmula del teorema de Bayes es podria expressar així:

P(A|B) = P(B|A)*P(A) / P(B)

Calcular la probabilitat condicional d'aquesta manera és especialment útil quan la probabilitat condicional inversa es pot calcular fàcilment, o quan calcular la probabilitat conjunta seria massa difícil.

Exemple del teorema de Bayes

Això podria ser més fàcil d'interpretar si passem una estona mirant un exemple de com aplicaries el raonament bayesià i el teorema de Bayes. Suposem que estàveu jugant a un joc senzill on diversos participants us expliquen una història i heu de determinar quin dels participants us menteix. Omplim l'equació del teorema de Bayes amb les variables d'aquest escenari hipotètic.

Estem intentant predir si cada individu del joc menteix o diu la veritat, de manera que si hi ha tres jugadors a part de tu, les variables categòriques es poden expressar com A1, A2 i A3. L'evidència de les seves mentides/veritat és el seu comportament. Igual que quan es juga al pòquer, buscaríeu certs "dius" que una persona menteix i els utilitzareu com a fragments d'informació per informar de la vostra conjectura. O si se't permetés qüestionar-los, seria qualsevol prova que la seva història no s'adiu. Podem representar l'evidència que una persona menteix com a B.

Per ser clars, pretenem predir la probabilitat (A menteix/diu la veritat | tenint en compte l'evidència del seu comportament). Per fer-ho, voldríem esbrinar la probabilitat de B donat A, o la probabilitat que el seu comportament es produeixi si la persona menteix o diu la veritat de veritat. Esteu intentant determinar en quines condicions el comportament que esteu veient tindria més sentit. Si hi ha tres comportaments que esteu presenciant, fareu el càlcul per a cada comportament. Per exemple, P(B1, B2, B3 * A). Aleshores ho faries per a cada aparició d'A/per a cada persona del joc a part de tu. Aquesta és aquesta part de l'equació anterior:

P(B1, B2, B3,|A) * P|A

Finalment, només dividim això per la probabilitat de B.

Si rebéssim alguna evidència sobre les probabilitats reals en aquesta equació, recrearíem el nostre model de probabilitat, tenint en compte la nova evidència. Això s'anomena actualitzar els vostres a priori, ja que actualitzeu les vostres hipòtesis sobre la probabilitat prèvia que es produeixin els esdeveniments observats.

Aplicacions d'aprenentatge automàtic per al teorema de Bayes

L'ús més comú del teorema de Bayes quan es tracta d'aprenentatge automàtic és en forma de l'algorisme de Bayes Naive.

Naive Bayes s'utilitza per a la classificació de conjunts de dades binaris i multiclasse, Naive Bayes rep el seu nom perquè els valors assignats a les evidències/atributs dels testimonis (Bs a P(B1, B2, B3 * A)) se suposa que són independents. l'un de l'altre. Se suposa que aquests atributs no s'impacten entre si per simplificar el model i fer possibles càlculs, en lloc d'intentar la complexa tasca de calcular les relacions entre cadascun dels atributs. Malgrat aquest model simplificat, Naive Bayes acostuma a funcionar força bé com a algorisme de classificació, fins i tot quan aquesta hipòtesi probablement no és certa (que és la majoria de les vegades).

També hi ha variants d'ús habitual del classificador Naive Bayes com ara Multinomial Naive Bayes, Bernoulli Naive Bayes i Gaussian Naive Bayes.

Bayes naïf multinomial Sovint s'utilitzen algorismes per classificar documents, ja que és eficaç per interpretar la freqüència de les paraules dins d'un document.

Bernoulli Naive Bayes funciona de manera semblant a Multinomial Naive Bayes, però les prediccions realitzades per l'algoritme són booleans. Això vol dir que en predir una classe els valors seran binaris, no o sí. En el domini de la classificació del text, un algorisme de Bernoulli Naive Bayes assignaria als paràmetres un sí o un no en funció de si es troba o no una paraula dins del document de text.

Si el valor dels predictors/característiques no és discret sinó que és continu, Bayes ingenu gaussià pot ser utilitzat. Se suposa que els valors de les característiques contínues s'han mostrat a partir d'una distribució gaussiana.