Çfarë është teorema e Bayes?

Nëse keni mësuar rreth shkencës së të dhënave ose mësimit të makinerive, ka shumë mundësi që ta keni dëgjuar termi "teorema e Bayes" përpara, ose një "klasifikues Bayes". Këto koncepte mund të jenë disi konfuze, veçanërisht nëse nuk jeni mësuar të mendoni për probabilitetin nga një këndvështrim statistikor tradicional, frekuentues. Ky artikull do të përpiqet të shpjegojë parimet pas teoremës së Bayes dhe se si përdoret në mësimin e makinerive.

Çfarë është teorema e Bayes?

Teorema e Bayes është një metodë e duke llogaritur probabilitetin e kushtëzuar. Metoda tradicionale e llogaritjes së probabilitetit të kushtëzuar (probabiliteti që një ngjarje të ndodhë duke pasur parasysh ndodhjen e një ngjarjeje tjetër) është përdorimi i formulës së probabilitetit të kushtëzuar, duke llogaritur probabilitetin e përbashkët të ngjarjes një dhe ngjarjes dy që ndodhin në të njëjtën kohë, dhe më pas duke e ndarë atë. nga probabiliteti i ndodhjes së ngjarjes së dytë. Sidoqoftë, probabiliteti i kushtëzuar gjithashtu mund të llogaritet në një mënyrë paksa të ndryshme duke përdorur teoremën e Bayes.

Kur llogaritni probabilitetin e kushtëzuar me teoremën e Bayes, përdorni hapat e mëposhtëm:

• Përcaktoni probabilitetin që kushti B të jetë i vërtetë, duke supozuar se kushti A është i vërtetë.
• Përcaktoni probabilitetin që ngjarja A të jetë e vërtetë.
• Shumëzoni të dy probabilitetet së bashku.
• Pjestojeni me probabilitetin e ndodhjes së ngjarjes B.

Kjo do të thotë se formula për teoremën e Bayes mund të shprehet si kjo:

P(A|B) = P(B|A)*P(A) / P(B)

Llogaritja e probabilitetit të kushtëzuar si kjo është veçanërisht e dobishme kur probabiliteti i kushtëzuar i kundërt mund të llogaritet lehtësisht, ose kur llogaritja e probabilitetit të përbashkët do të ishte shumë sfiduese.

Shembull i teoremës së Bayes

Kjo mund të jetë më e lehtë për t'u interpretuar nëse kalojmë pak kohë duke parë një shembull se si do të zbatonit arsyetimin Bayesian dhe Teoremën e Bayes. Le të supozojmë se po luani një lojë të thjeshtë ku shumë pjesëmarrës ju tregojnë një histori dhe ju duhet të përcaktoni se cili prej pjesëmarrësve po ju gënjen. Le të plotësojmë ekuacionin për teoremën e Bayes me variablat në këtë skenar hipotetik.

Ne po përpiqemi të parashikojmë nëse secili individ në lojë gënjen apo thotë të vërtetën, kështu që nëse ka tre lojtarë përveç jush, variablat kategorikë mund të shprehen si A1, A2 dhe A3. Dëshmi për gënjeshtrat/të vërtetën e tyre është sjellja e tyre. Ashtu si kur luani poker, ju do të kërkoni disa "tregime" që një person gënjen dhe i përdorni ato si pjesë të informacionit për të informuar supozimin tuaj. Ose nëse do t'ju lejohej t'i pyesni ata, do të ishte ndonjë provë që historia e tyre nuk përputhet. Ne mund të paraqesim provat që një person gënjen si B.

Për të qenë të qartë, ne synojmë të parashikojmë Probabilitetin (A po gënjen/thotë të vërtetën|duke pasur parasysh provat e sjelljes së tyre). Për ta bërë këtë, ne do të donim të kuptonim probabilitetin e B-së të dhënë A, ose probabilitetin që sjellja e tyre të ndodhte duke pasur parasysh që personi me të vërtetë gënjen ose thotë të vërtetën. Ju po përpiqeni të përcaktoni se në cilat kushte sjellja që po shihni do të kishte më shumë kuptim. Nëse ka tre sjellje që jeni dëshmitarë, ju do të bëni llogaritjen për secilën sjellje. Për shembull, P(B1, B2, B3 * A). Më pas do ta bëni këtë për çdo ndodhi të A/për çdo person në lojë, përveç vetes suaj. Kjo është kjo pjesë e ekuacionit të mësipërm:

P(B1, B2, B3,|A) * P|A

Së fundi, ne thjesht e ndajmë atë me probabilitetin e B.

Nëse do të merrnim ndonjë provë në lidhje me probabilitetet aktuale në këtë ekuacion, ne do të rikrijonim modelin tonë të probabilitetit, duke marrë parasysh provat e reja. Ky quhet përditësimi i të parëve tuaj, pasi ju përditësoni supozimet tuaja në lidhje me probabilitetin paraprak të ndodhjes së ngjarjeve të vëzhguara.

Aplikime të mësimit të makinerisë për teoremën e Bayes

Përdorimi më i zakonshëm i teoremës Bayes kur bëhet fjalë për mësimin e makinerive është në formën e algoritmit Naive Bayes.

Naive Bayes përdoret për klasifikimin e grupeve të të dhënave binare dhe me shumë klasa, Naive Bayes e ka marrë emrin sepse vlerat e caktuara për dëshmitë/atributet e dëshmitarëve - B në P(B1, B2, B3 * A) - supozohen të jenë të pavarura. të njëri-tjetrit. Supozohet se këto atribute nuk ndikojnë njëra-tjetrën për të thjeshtuar modelin dhe për të bërë të mundur llogaritjet, në vend që të tentohet detyra komplekse e llogaritjes së marrëdhënieve ndërmjet secilit prej atributeve. Pavarësisht këtij modeli të thjeshtuar, Naive Bayes tenton të performojë mjaft mirë si një algoritëm klasifikimi, edhe kur ky supozim ndoshta nuk është i vërtetë (që është në shumicën e rasteve).

Ka edhe variantet e përdorura zakonisht të klasifikuesit Naive Bayes si Multinomial Naive Bayes, Bernoulli Naive Bayes dhe Gaussian Naive Bayes.

Multinomial Naive Bayes algoritmet përdoren shpesh për të klasifikuar dokumentet, pasi janë efektive në interpretimin e shpeshtësisë së fjalëve brenda një dokumenti.

Bernoulli Naive Bayes funksionon në mënyrë të ngjashme me Multinomial Naive Bayes, por parashikimet e dhëna nga algoritmi janë boolean. Kjo do të thotë që kur parashikohet një klasë, vlerat do të jenë binare, jo ose po. Në fushën e klasifikimit të tekstit, një algoritëm Bernoulli Naive Bayes do t'i caktonte parametrat një po ose jo bazuar në faktin nëse një fjalë gjendet ose jo brenda dokumentit të tekstit.

Nëse vlerat e parashikuesve/veçorive nuk janë diskrete, por janë të vazhdueshme, Gaussian Naive Bayes mund të përdoret. Supozohet se vlerat e tipareve të vazhdueshme janë kampionuar nga një shpërndarje Gaussian.