¿Qué es el teorema de Bayes?

Si ha estado aprendiendo sobre ciencia de datos o aprendizaje automático, es muy probable que haya escuchado la término “Teorema de Bayes” antes, o un “clasificador Bayes”. Estos conceptos pueden resultar algo confusos, especialmente si no está acostumbrado a pensar en la probabilidad desde una perspectiva estadística tradicional y frecuentista. Este artículo intentará explicar los principios detrás del teorema de Bayes y cómo se utiliza en el aprendizaje automático.

¿Qué es el teorema de Bayes?

El teorema de Bayes es un método de calcular la probabilidad condicional. El método tradicional para calcular la probabilidad condicional (la probabilidad de que un evento ocurra dada la ocurrencia de un evento diferente) es usar la fórmula de probabilidad condicional, calculando la probabilidad conjunta de que el evento uno y el evento dos ocurran al mismo tiempo, y luego dividiéndola por la probabilidad de que ocurra el evento dos. Sin embargo, la probabilidad condicional también se puede calcular de una manera ligeramente diferente utilizando el Teorema de Bayes.

Al calcular la probabilidad condicional con el teorema de Bayes, utiliza los siguientes pasos:

• Determine la probabilidad de que la condición B sea verdadera, suponiendo que la condición A es verdadera.
• Determine la probabilidad de que el evento A sea verdadero.
• Multiplica las dos probabilidades juntas.
• Divida por la probabilidad de que ocurra el evento B.

Esto significa que la fórmula del Teorema de Bayes podría expresarse así:

P(A|B) = P(B|A)*P(A) / P(B)

Calcular la probabilidad condicional de esta manera es especialmente útil cuando la probabilidad condicional inversa se puede calcular fácilmente o cuando calcular la probabilidad conjunta sería demasiado difícil.

Ejemplo del Teorema de Bayes

Esto podría ser más fácil de interpretar si pasamos algún tiempo mirando un ejemplo de cómo aplicaría el razonamiento bayesiano y el teorema de Bayes. Supongamos que está jugando un juego simple en el que varios participantes le cuentan una historia y tiene que determinar cuál de los participantes le está mintiendo. Rellenemos la ecuación del Teorema de Bayes con las variables de este escenario hipotético.

Estamos tratando de predecir si cada individuo en el juego está mintiendo o diciendo la verdad, por lo que si hay tres jugadores además de usted, las variables categóricas se pueden expresar como A1, A2 y A3. La evidencia de sus mentiras/verdades es su comportamiento. Al igual que cuando juegas al póquer, buscarías ciertos "indicadores" de que una persona está mintiendo y los usarías como fragmentos de información para informar tu conjetura. O si se le permitiera interrogarlos, sería una evidencia de que su historia no cuadra. Podemos representar la evidencia de que una persona miente como B.

Para ser claros, nuestro objetivo es predecir la Probabilidad (A está mintiendo/diciendo la verdad|dada la evidencia de su comportamiento). Para hacer esto, nos gustaría calcular la probabilidad de B dado A, o la probabilidad de que su comportamiento ocurra si la persona miente o dice la verdad de manera genuina. Está tratando de determinar bajo qué condiciones el comportamiento que está viendo tendría más sentido. Si hay tres comportamientos que está presenciando, haría el cálculo para cada comportamiento. Por ejemplo, P(B1, B2, B3 * A). Entonces harías esto para cada ocurrencia de A/para cada persona en el juego, excepto para ti. Esa es esta parte de la ecuación anterior:

P(B1, B2, B3,|A) * P|A

Finalmente, simplemente dividimos eso por la probabilidad de B.

Si recibiésemos alguna evidencia sobre las probabilidades reales en esta ecuación, recrearíamos nuestro modelo de probabilidad, teniendo en cuenta la nueva evidencia. Esto se llama actualizar sus antecedentes, ya que actualiza sus suposiciones sobre la probabilidad previa de que ocurran los eventos observados.

Aplicaciones de aprendizaje automático para el teorema de Bayes

El uso más común del teorema de Bayes cuando se trata de aprendizaje automático es el algoritmo Naive Bayes.

Naive Bayes se utiliza para la clasificación de conjuntos de datos tanto binarios como multiclase. Naive Bayes recibe su nombre porque los valores asignados a las pruebas/atributos de los testigos (Bs en P(B1, B2, B3 * A)) se supone que son independientes. el uno del otro Se supone que estos atributos no se impactan entre sí para simplificar el modelo y hacer posibles los cálculos, en lugar de intentar la compleja tarea de calcular las relaciones entre cada uno de los atributos. A pesar de este modelo simplificado, Naive Bayes tiende a funcionar bastante bien como algoritmo de clasificación, incluso cuando esta suposición probablemente no sea cierta (que es la mayor parte del tiempo).

También hay variantes de uso común del clasificador Naive Bayes como Multinomial Naive Bayes, Bernoulli Naive Bayes y Gaussian Naive Bayes.

Bayes ingenuos multinomiales Los algoritmos se utilizan a menudo para clasificar documentos, ya que son efectivos para interpretar la frecuencia de las palabras dentro de un documento.

Bernoulli Bayes ingenuo opera de manera similar a Multinomial Naive Bayes, pero las predicciones generadas por el algoritmo son booleanas. Esto significa que al predecir una clase los valores serán binarios, no o sí. En el dominio de la clasificación de texto, un algoritmo Bernoulli Naive Bayes asignaría a los parámetros un sí o un no en función de si se encuentra o no una palabra dentro del documento de texto.

Si el valor de los predictores/características no son discretos sino continuos, Bayes ingenuo gaussiano puede ser usado. Se supone que los valores de las características continuas se han muestreado a partir de una distribución gaussiana.