Mi az a Bayes-tétel?

Ha már tanult az adattudományról vagy a gépi tanulásról, akkor jó eséllyel hallott már erről "Bayes-tétel" kifejezés előtt, vagy egy „Bayes-osztályozó”. Ezek a fogalmak kissé zavaróak lehetnek, különösen, ha nem szokta a valószínűséget hagyományos, gyakori statisztikai szemszögből gondolni. Ez a cikk megpróbálja elmagyarázni a Bayes-tétel mögött meghúzódó elveket és azt, hogy hogyan használják a gépi tanulásban.

Mi az a Bayes-tétel?

A Bayes-tétel egy módszer feltételes valószínűség kiszámítása. A feltételes valószínűség kiszámításának hagyományos módszere (annak valószínűsége, hogy egy esemény bekövetkezik egy másik esemény bekövetkezése esetén) a feltételes valószínűségi képlet alkalmazása, amely során kiszámítjuk az első és a második esemény együttes valószínűségét, hogy egy időben bekövetkezzen, majd elosztjuk azt. a második esemény bekövetkezésének valószínűségével. A feltételes valószínűség azonban kissé eltérő módon is kiszámítható a Bayes-tétel segítségével.

A feltételes valószínűség Bayes-tétellel történő kiszámításakor a következő lépéseket kell követnie:

• Határozza meg annak valószínűségét, hogy a B feltétel igaz, feltételezve, hogy az A feltétel igaz.
• Határozza meg annak valószínűségét, hogy A esemény igaz!
• Szorozd meg a két valószínűséget.
• Oszd el a B esemény bekövetkezésének valószínűségével.

Ez azt jelenti, hogy a Bayes-tétel képlete a következőképpen fejezhető ki:

P(A|B) = P(B|A)*P(A) / P(B)

A feltételes valószínűség ilyen módon történő kiszámítása különösen akkor hasznos, ha a fordított feltételes valószínűség könnyen kiszámítható, vagy ha az együttes valószínűség kiszámítása túl nagy kihívást jelentene.

Példa a Bayes-tételre

Ez talán könnyebben értelmezhető, ha egy kis időt töltünk egy példa hogyan alkalmaznád a Bayes-féle érvelést és a Bayes-tételt. Tételezzük fel, hogy egy egyszerű játékot játszottál, amelyben több résztvevő mesél neked, és meg kell határoznod, hogy melyik résztvevő hazudik neked. Töltsük ki a Bayes-tétel egyenletét a hipotetikus forgatókönyv változóival.

Megpróbáljuk megjósolni, hogy a játékban résztvevők hazudnak-e vagy igazat mondanak, tehát ha rajtad kívül három játékos van, akkor a kategorikus változókat A1, A2 és A3 formában fejezhetjük ki. Hazugságuk/igazságuk bizonyítéka a viselkedésük. A pókerhez hasonlóan bizonyos „mondatokat” kell keresnie, amelyek arra utalnak, hogy egy személy hazudik, és ezeket információként használja fel a találgatások megalapozására. Vagy ha kikérdezhetnéd őket, az bármi bizonyíték lenne, hogy a történetük nem áll össze. Azt a bizonyítékot képviselhetjük, hogy egy személy hazudik, mint B.

Az egyértelműség kedvéért a valószínűség megjósolására törekszünk (A hazudik/igazságot mond| viselkedésük bizonyítékai alapján). Ehhez azt szeretnénk kitalálni, hogy B-nek mekkora a valószínűsége A-nak, vagy annak a valószínűsége, hogy a viselkedésük akkor következne be, ha a személy valóban hazudik vagy igazat mond. Megpróbálja meghatározni, hogy milyen körülmények között lenne a legértelmesebb az Ön által tapasztalt viselkedés. Ha három viselkedésnek van szemtanúja, akkor mindegyik viselkedésre végezze el a számítást. Például P(B1, B2, B3 * A). Ezt követően minden A-esetnél ezt tennéd/minden személynél a játékban, kivéve magadat. A fenti egyenletnek ez a része:

P(B1, B2, B3,|A) * P|A

Végül csak elosztjuk ezt B valószínűségével.

Ha bármilyen bizonyítékot kapnánk az egyenletben szereplő tényleges valószínűségekre vonatkozóan, akkor az új bizonyítékok figyelembevételével újra létrehoznánk a valószínűségi modellünket. Ezt az előzmények frissítésének nevezik, mivel frissíti a megfigyelt események bekövetkezésének előzetes valószínűségére vonatkozó feltételezéseit.

Gépi tanulási alkalmazások Bayes-tételhez

A gépi tanulás során a Bayes-tétel leggyakrabban a Naiv Bayes-algoritmus formájában kerül felhasználásra.

A Naive Bayes a bináris és a többosztályú adatkészletek osztályozására is használatos, a Naive Bayes azért kapta a nevét, mert a tanúvallomásokhoz/attribútumokhoz rendelt értékek – Bs in P(B1, B2, B3 * A) – függetlenek. egymásról. Feltételezzük, hogy ezek az attribútumok nem hatnak egymásra a modell egyszerűsítése és a számítások lehetővé tétele érdekében, ahelyett, hogy megpróbálnánk az egyes attribútumok közötti kapcsolatok kiszámítását. Az egyszerűsített modell ellenére a Naive Bayes meglehetősen jól teljesít osztályozási algoritmusként, még akkor is, ha ez a feltevés valószínűleg nem igaz (ami legtöbbször így van).

Vannak még általánosan használt változatai a Naive Bayes osztályozó, például a Multinomial Naive Bayes, a Bernoulli Naive Bayes és a Gaussian Naive Bayes.

Multinomiális Naive Bayes algoritmusokat gyakran használnak dokumentumok osztályozására, mivel hatékonyan értelmezik a szavak gyakoriságát a dokumentumon belül.

Bernoulli Naive Bayes hasonlóan működik, mint a Multinomial Naive Bayes, de az algoritmus által megjelenített előrejelzések logikai értékek. Ez azt jelenti, hogy egy osztály előrejelzésekor az értékek binárisak, nem vagy igen. A szövegosztályozás területén egy Bernoulli Naive Bayes-algoritmus igennel vagy nemmel rendeli hozzá a paramétereket az alapján, hogy található-e szó a szöveges dokumentumban vagy sem.

Ha a prediktorok/jellemzők értéke nem diszkrét, hanem folytonos, Gauss naiv Bayes használható. Feltételezzük, hogy a folytonos jellemzők értékeit Gauss-eloszlásból vettük minta.