Hvad er Bayes sætning?

Hvis du har lært om datavidenskab eller maskinlæring, er der en god chance for, at du har hørt det begrebet "Bayes sætning" før, eller en "Bayes-klassifikator". Disse begreber kan være noget forvirrende, især hvis du ikke er vant til at tænke på sandsynlighed fra et traditionelt, hyppigt statistisk perspektiv. Denne artikel vil forsøge at forklare principperne bag Bayes Theorem, og hvordan det bruges i maskinlæring.

Hvad er Bayes sætning?

Bayes sætning er en metode til beregning af betinget sandsynlighed. Den traditionelle metode til at beregne betinget sandsynlighed (sandsynligheden for, at én hændelse indtræffer givet forekomsten af ​​en anden hændelse) er at bruge den betingede sandsynlighedsformel, beregne den fælles sandsynlighed for, at hændelse et og hændelse to indtræffer på samme tid, og derefter dividere den. ved sandsynligheden for, at begivenhed to indtræffer. Imidlertid kan betinget sandsynlighed også beregnes på en lidt anderledes måde ved at bruge Bayes-sætningen.

Når du beregner betinget sandsynlighed med Bayes sætning, bruger du følgende trin:

• Bestem sandsynligheden for, at betingelse B er sand, idet det antages, at betingelse A er sand.
• Bestem sandsynligheden for, at begivenhed A er sand.
• Multiplicer de to sandsynligheder sammen.
• Divider med sandsynligheden for, at begivenhed B indtræffer.

Dette betyder, at formlen for Bayes sætning kunne udtrykkes sådan:

P(A|B) = P(B|A)*P(A) / P(B)

Beregning af den betingede sandsynlighed på denne måde er især nyttig, når den omvendte betingede sandsynlighed let kan beregnes, eller når det ville være for udfordrende at beregne den fælles sandsynlighed.

Eksempel på Bayes sætning

Dette kan være lettere at fortolke, hvis vi bruger lidt tid på at se på en eksempel af, hvordan du ville anvende Bayesiansk ræsonnement og Bayes-sætning. Lad os antage, at du spillede et simpelt spil, hvor flere deltagere fortæller dig en historie, og du skal bestemme, hvilken af ​​deltagerne der lyver for dig. Lad os udfylde ligningen for Bayes sætning med variablerne i dette hypotetiske scenario.

Vi forsøger at forudsige, om hver enkelt person i spillet lyver eller taler sandt, så hvis der er tre spillere bortset fra dig, kan de kategoriske variabler udtrykkes som A1, A2 og A3. Beviset for deres løgne/sandhed er deres adfærd. Ligesom når du spiller poker, vil du kigge efter visse "fortæller", at en person lyver og bruge dem som informationer til at informere om dit gæt. Eller hvis du fik lov til at udspørge dem, ville det være ethvert bevis på, at deres historie ikke stemmer overens. Vi kan repræsentere beviserne for, at en person lyver som B.

For at være klar, sigter vi efter at forudsige Sandsynlighed (A lyver/fortæller sandheden|ud fra beviserne for deres adfærd). For at gøre dette vil vi gerne finde ud af sandsynligheden for B givet A, eller sandsynligheden for, at deres adfærd ville forekomme, hvis personen oprigtigt lyver eller fortæller sandheden. Du forsøger at bestemme, under hvilke forhold den adfærd, du ser, ville give mest mening. Hvis der er tre adfærd, du er vidne til, ville du lave beregningen for hver adfærd. For eksempel P(B1, B2, B3 * A). Du ville så gøre dette for hver forekomst af A/for hver person i spillet bortset fra dig selv. Det er denne del af ligningen ovenfor:

P(B1, B2, B3,|A) * P|A

Til sidst dividerer vi det med sandsynligheden for B.

Hvis vi modtog nogen beviser om de faktiske sandsynligheder i denne ligning, ville vi genskabe vores sandsynlighedsmodel under hensyntagen til de nye beviser. Dette kaldes at opdatere dine priors, da du opdaterer dine antagelser om den forudgående sandsynlighed for, at de observerede hændelser indtræffer.

Maskinlæringsapplikationer til Bayes sætning

Den mest almindelige brug af Bayes teorem, når det kommer til maskinlæring, er i form af den naive Bayes-algoritme.

Naive Bayes bruges til klassificering af både binære og multi-klasse datasæt, Naive Bayes får sit navn, fordi de værdier, der er tildelt vidnernes beviser/attributter – Bs i P(B1, B2, B3 * A) – antages at være uafhængige af hinanden. Det antages, at disse attributter ikke påvirker hinanden for at forenkle modellen og gøre beregninger mulige, i stedet for at prøve den komplekse opgave at beregne relationerne mellem hver af attributterne. På trods af denne forenklede model har Naive Bayes en tendens til at fungere ret godt som klassifikationsalgoritme, selv når denne antagelse sandsynligvis ikke er sand (hvilket er det meste af tiden).

Der er også almindeligt anvendte varianter af Naive Bayes-klassifikatoren såsom Multinomial Naive Bayes, Bernoulli Naive Bayes og Gaussian Naive Bayes.

Multinomial Naive Bayes Algoritmer bruges ofte til at klassificere dokumenter, da det er effektivt til at fortolke hyppigheden af ​​ord i et dokument.

Bernoulli Naive Bayes fungerer på samme måde som Multinomial Naive Bayes, men forudsigelserne gengivet af algoritmen er boolske. Dette betyder, at når man forudsiger en klasse, vil værdierne være binære, nej eller ja. Inden for tekstklassificeringsdomæne vil en Bernoulli Naive Bayes-algoritme tildele parametrene et ja eller nej baseret på, om et ord findes i tekstdokumentet eller ej.

Hvis værdien af ​​prædiktorerne/funktionerne ikke er diskrete, men i stedet er kontinuerlige, Gaussisk naiv Bayes Kan bruges. Det antages, at værdierne for de kontinuerlige funktioner er blevet samplet fra en gaussisk fordeling.