Cos'è il teorema di Bayes?

Se hai imparato a conoscere la scienza dei dati o l'apprendimento automatico, ci sono buone probabilità che tu abbia sentito parlare di termine “Teorema di Bayes” prima, o un “classificatore Bayes”. Questi concetti possono creare un po' di confusione, soprattutto se non si è abituati a pensare alla probabilità da una prospettiva statistica tradizionale e frequentista. Questo articolo tenterà di spiegare i principi alla base del Teorema di Bayes e come viene utilizzato nell'apprendimento automatico.

Cos'è il teorema di Bayes?

Il teorema di Bayes è un metodo di calcolo della probabilità condizionale. Il metodo tradizionale di calcolo della probabilità condizionata (la probabilità che si verifichi un evento dato il verificarsi di un evento diverso) consiste nell'utilizzare la formula della probabilità condizionata, calcolando la probabilità congiunta dell'evento uno e dell'evento due che si verificano contemporaneamente, e quindi dividendola dalla probabilità che si verifichi l'evento due. Tuttavia, la probabilità condizionata può anche essere calcolata in modo leggermente diverso utilizzando il teorema di Bayes.

Quando si calcola la probabilità condizionale con il teorema di Bayes, si utilizzano i seguenti passaggi:

• Determina la probabilità che la condizione B sia vera, supponendo che la condizione A sia vera.
• Determina la probabilità che l'evento A sia vero.
• Moltiplica le due probabilità insieme.
• Dividi per la probabilità che si verifichi l'evento B.

Ciò significa che la formula per il teorema di Bayes potrebbe essere espressa in questo modo:

P(A|B) = P(B|A)*P(A) / P(B)

Il calcolo della probabilità condizionata in questo modo è particolarmente utile quando la probabilità condizionata inversa può essere facilmente calcolata o quando il calcolo della probabilità congiunta sarebbe troppo impegnativo.

Esempio del teorema di Bayes

Questo potrebbe essere più facile da interpretare se passiamo un po' di tempo a guardare un file esempio di come applicheresti il ​​ragionamento bayesiano e il teorema di Bayes. Supponiamo che tu stia giocando a un gioco semplice in cui più partecipanti ti raccontano una storia e devi determinare quale dei partecipanti ti sta mentendo. Compiliamo l'equazione per il teorema di Bayes con le variabili in questo scenario ipotetico.

Stiamo cercando di prevedere se ogni individuo nel gioco sta mentendo o dicendo la verità, quindi se ci sono tre giocatori oltre a te, le variabili categoriche possono essere espresse come A1, A2 e A3. La prova delle loro bugie/verità è il loro comportamento. Come quando giochi a poker, cercheresti alcuni "racconti" che una persona sta mentendo e li useresti come bit di informazione per informare la tua ipotesi. O se ti fosse permesso di interrogarli, sarebbe una prova che la loro storia non torna. Possiamo rappresentare la prova che una persona sta mentendo come B.

Per essere chiari, miriamo a prevedere la probabilità (A sta mentendo/dice la verità | data l'evidenza del suo comportamento). Per fare questo vorremmo capire la probabilità di B dato A, o la probabilità che il loro comportamento si verifichi dato che la persona mente o dice sinceramente la verità. Stai cercando di determinare in quali condizioni il comportamento che stai vedendo avrebbe più senso. Se ci sono tre comportamenti a cui stai assistendo, faresti il ​​calcolo per ogni comportamento. Ad esempio, P(B1, B2, B3 * A). Quindi lo faresti per ogni occorrenza di A/per ogni persona nel gioco a parte te stesso. Questa è questa parte dell'equazione sopra:

P(B1, B2, B3,|A) * P|A

Infine, lo dividiamo semplicemente per la probabilità di B.

Se ricevessimo qualche prova sulle effettive probabilità in questa equazione, ricreeremmo il nostro modello di probabilità, tenendo conto delle nuove prove. Questo si chiama aggiornare i tuoi precedenti, mentre aggiorni le tue ipotesi sulla probabilità a priori che si verifichino gli eventi osservati.

Applicazioni di Machine Learning per il teorema di Bayes

L'uso più comune del teorema di Bayes quando si tratta di apprendimento automatico è nella forma dell'algoritmo Naive Bayes.

Naive Bayes viene utilizzato per la classificazione di set di dati sia binari che multiclasse, Naive Bayes prende il nome perché i valori assegnati alle prove/attributi dei testimoni - Bs in P(B1, B2, B3 * A) - si presume siano indipendenti l'uno dell'altro. Si presuppone che questi attributi non si influenzino a vicenda per semplificare il modello e rendere possibili i calcoli, invece di tentare il complesso compito di calcolare le relazioni tra ciascuno degli attributi. Nonostante questo modello semplificato, Naive Bayes tende a funzionare abbastanza bene come algoritmo di classificazione, anche quando questa ipotesi probabilmente non è vera (che è la maggior parte delle volte).

Ci sono anche varianti di uso comune del classificatore Naive Bayes come Multinomial Naive Bayes, Bernoulli Naive Bayes e Gaussian Naive Bayes.

Naive Bayes multinomiale gli algoritmi sono spesso usati per classificare i documenti, poiché è efficace nell'interpretare la frequenza delle parole all'interno di un documento.

Bernoulli Ingenuo Bayes funziona in modo simile a Multinomial Naive Bayes, ma le previsioni rese dall'algoritmo sono booleane. Ciò significa che quando si prevede una classe i valori saranno binari, no o sì. Nel dominio della classificazione del testo, un algoritmo Bernoulli Naive Bayes assegnerebbe ai parametri un sì o un no in base al fatto che una parola venga trovata o meno all'interno del documento di testo.

Se il valore dei predittori/caratteristiche non è discreto ma è invece continuo, Bayes ingenuo gaussiano può essere utilizzata. Si presume che i valori delle caratteristiche continue siano stati campionati da una distribuzione gaussiana.