Wat is Bayes’ Theorem?

Als je over datawetenschap of machine learning hebt geleerd, is de kans groot dat je de term “Bayes’ Theorem” hebt gehoord, of een “Bayes-classificatie”. Deze concepten kunnen enigszins verwarrend zijn, vooral als je niet gewend bent om over waarschijnlijkheid te denken vanuit een traditioneel, frequentistisch statistisch perspectief. Dit artikel zal proberen de principes achter Bayes’ Theorem uit te leggen en hoe het wordt gebruikt in machine learning.

Wat is Bayes’ Theorem?

Bayes’ Theorem is een methode voor het berekenen van voorwaardelijke waarschijnlijkheid. De traditionele methode voor het berekenen van voorwaardelijke waarschijnlijkheid (de waarschijnlijkheid dat een gebeurtenis optreedt, gegeven de optreding van een andere gebeurtenis) is om de voorwaardelijke waarschijnlijkheidsformule te gebruiken, door de gezamenlijke waarschijnlijkheid van gebeurtenis één en gebeurtenis twee te berekenen en deze vervolgens te delen door de waarschijnlijkheid van gebeurtenis twee. Echter, voorwaardelijke waarschijnlijkheid kan ook op een iets andere manier worden berekend door Bayes’ Theorem te gebruiken.

Wanneer je Bayes’ Theorem gebruikt om voorwaardelijke waarschijnlijkheid te berekenen, volg je de volgende stappen:

• Bepaal de waarschijnlijkheid dat conditie B waar is, onder de voorwaarde dat conditie A waar is.
• Bepaal de waarschijnlijkheid dat gebeurtenis A waar is.
• Vermeerder de twee waarschijnlijkheden met elkaar.
• Deel door de waarschijnlijkheid dat gebeurtenis B optreedt.

Dit betekent dat de formule voor Bayes’ Theorem als volgt kan worden uitgedrukt:

P(A|B) = P(B|A)*P(A) / P(B)

Het berekenen van de voorwaardelijke waarschijnlijkheid op deze manier is vooral nuttig wanneer de omgekeerde voorwaardelijke waarschijnlijkheid gemakkelijk kan worden berekend, of wanneer het berekenen van de gezamenlijke waarschijnlijkheid te moeilijk zou zijn.

Voorbeeld van Bayes’ Theorem

Dit kan gemakkelijker te begrijpen zijn als we een voorbeeld bekijken van hoe je Bayesiaanse redenering en Bayes’ Theorem zou toepassen. Laten we aannemen dat je een eenvoudig spel speelt waarbij meerdere deelnemers je een verhaal vertellen en je moet bepalen wie van de deelnemers tegen je liegt. Laten we de variabelen in dit hypothetische scenario invullen in de formule voor Bayes’ Theorem.

We proberen te voorspellen of elke individu in het spel liegt of de waarheid spreekt, dus als er drie spelers zijn, exclusief jij, kunnen de categorische variabelen worden uitgedrukt als A1, A2 en A3. Het bewijs voor hun leugens of waarheid is hun gedrag. Net zoals bij poker zou je naar bepaalde “tells” kijken die aangeven dat iemand liegt en deze gebruiken als informatie om je gok te informeren. Of, als je ze mag ondervragen, zou het elk bewijs zijn dat hun verhaal niet klopt. We kunnen het bewijs dat iemand liegt als B representeren.

Om duidelijk te zijn, we proberen de waarschijnlijkheid te voorspellen dat A liegt of de waarheid spreekt, gegeven het bewijs van hun gedrag. Om dit te doen, zouden we de waarschijnlijkheid van B gegeven A willen berekenen, of de waarschijnlijkheid dat hun gedrag zou optreden, gegeven dat de persoon echt liegt of de waarheid spreekt. Je probeert te bepalen onder welke omstandigheden het gedrag dat je ziet het meest zinvol zou zijn. Als je drie gedragingen waarneemt, zou je de berekening voor elk gedrag doen. Bijvoorbeeld, P(B1, B2, B3 * A). Je zou dit doen voor elke optreding van A, voor elke persoon in het spel, exclusief jij. Dat is dit deel van de formule hierboven:

P(B1, B2, B3,|A) * P|A

Uiteindelijk delen we dit alleen door de waarschijnlijkheid van B.

Als we enig bewijs zouden ontvangen over de werkelijke waarschijnlijkheden in deze formule, zouden we ons waarschijnlijkheidsmodel opnieuw maken, met de nieuwe bewijzen in aanmerking genomen. Dit wordt onze voorlopers bijwerken genoemd, omdat we onze aannamen over de voorlopige waarschijnlijkheid van de waargenomen gebeurtenissen bijwerken.

Machine Learning-toepassingen voor Bayes’ Theorem

De meest voorkomende toepassing van Bayes’ Theorem in machine learning is in de vorm van de Naive Bayes-algoritme.

Naive Bayes wordt gebruikt voor de classificatie van zowel binaire als multiklassen-datasets. Naive Bayes krijgt zijn naam omdat de waarden die zijn toegewezen aan de getuigenbewijs/kenmerken – B’s in P(B1, B2, B3 * A) – worden verondersteld onafhankelijk te zijn van elkaar. Er wordt aangenomen dat deze kenmerken elkaar niet beïnvloeden om het model te vereenvoudigen en berekeningen mogelijk te maken, in plaats van te proberen de complexe taak van het berekenen van de relaties tussen elk van de kenmerken. Ondanks dit vereenvoudigde model, presteert Naive Bayes over het algemeen goed als classificatie-algoritme, zelfs wanneer deze veronderstelling waarschijnlijk niet waar is (wat meestal het geval is).

Er zijn ook veelgebruikte varianten van de Naive Bayes-classificator, zoals Multinomiale Naive Bayes, Bernoulli Naive Bayes en Gaussian Naive Bayes.

Multinomiale Naive Bayes-algoritmen worden vaak gebruikt om documenten te classificeren, omdat het effectief is in het interpreteren van de frequentie van woorden in een document.

Bernoulli Naive Bayes werkt op een soortgelijke manier als Multinomiale Naive Bayes, maar de voorspellingen die door het algoritme worden gegenereerd, zijn booleans. Dit betekent dat wanneer een klasse wordt voorspeld, de waarden binair zullen zijn, nee of ja. In het domein van tekstclassificatie zou een Bernoulli Naive Bayes-algoritme de parameters een ja of nee toewijzen op basis van of een woord wel of niet in het tekstdocument wordt gevonden.

Als de waarden van de voorspellers/kenmerken niet discreet zijn, maar continu zijn, kan Gaussian Naive Bayes worden gebruikt. Het wordt aangenomen dat de waarden van de continue kenmerken zijn bemonsterd uit een normale verdeling.