Τι είναι το θεώρημα Bayes;

Εάν έχετε μάθει για την επιστήμη των δεδομένων ή τη μηχανική μάθηση, υπάρχει μεγάλη πιθανότητα να το έχετε ακούσει όρος «Θεώρημα Bayes» πριν ή έναν «ταξινομητή Bayes». Αυτές οι έννοιες μπορεί να είναι κάπως συγκεχυμένες, ειδικά αν δεν έχετε συνηθίσει να σκέφτεστε τις πιθανότητες από μια παραδοσιακή, συχνή στατιστική προοπτική. Αυτό το άρθρο θα προσπαθήσει να εξηγήσει τις αρχές πίσω από το θεώρημα Bayes και πώς χρησιμοποιείται στη μηχανική μάθηση.

Τι είναι το θεώρημα Bayes;

Το θεώρημα Bayes είναι μια μέθοδος τον υπολογισμό της υπό όρους πιθανότητας. Η παραδοσιακή μέθοδος υπολογισμού της πιθανότητας υπό όρους (η πιθανότητα να συμβεί ένα γεγονός δεδομένης της εμφάνισης ενός διαφορετικού γεγονότος) είναι η χρήση του τύπου πιθανοτήτων υπό όρους, υπολογίζοντας την κοινή πιθανότητα του γεγονότος ένα και του γεγονότος δύο να συμβαίνουν ταυτόχρονα και στη συνέχεια διαιρώντας το με την πιθανότητα να συμβεί το δεύτερο συμβάν. Ωστόσο, η υπό όρους πιθανότητα μπορεί επίσης να υπολογιστεί με ελαφρώς διαφορετικό τρόπο χρησιμοποιώντας το θεώρημα Bayes.

Κατά τον υπολογισμό της υπό όρους πιθανότητας με το θεώρημα Bayes, χρησιμοποιείτε τα ακόλουθα βήματα:

• Προσδιορίστε την πιθανότητα η συνθήκη Β να είναι αληθής, υποθέτοντας ότι η συνθήκη Α είναι αληθής.
• Προσδιορίστε την πιθανότητα το γεγονός Α να είναι αληθές.
• Πολλαπλασιάστε τις δύο πιθανότητες μαζί.
• Διαιρέστε με την πιθανότητα να συμβεί το συμβάν Β.

Αυτό σημαίνει ότι ο τύπος για το θεώρημα Bayes θα μπορούσε να εκφραστεί ως εξής:

P(A|B) = P(B|A)*P(A) / P(B)

Ο υπολογισμός της υπό όρους πιθανότητας όπως αυτός είναι ιδιαίτερα χρήσιμος όταν η αντίστροφη υπό όρους πιθανότητα μπορεί να υπολογιστεί εύκολα ή όταν ο υπολογισμός της κοινής πιθανότητας θα ήταν πολύ δύσκολος.

Παράδειγμα Θεωρήματος Bayes

Αυτό μπορεί να είναι ευκολότερο να ερμηνευθεί αν αφιερώσουμε λίγο χρόνο κοιτάζοντας ένα παράδειγμα για το πώς θα εφαρμόσατε τον συλλογισμό του Μπεϋζ και το Θεώρημα Bayes. Ας υποθέσουμε ότι παίζατε ένα απλό παιχνίδι όπου πολλοί συμμετέχοντες σας λένε μια ιστορία και πρέπει να καθορίσετε ποιος από τους συμμετέχοντες σας λέει ψέματα. Ας συμπληρώσουμε την εξίσωση για το θεώρημα Bayes με τις μεταβλητές σε αυτό το υποθετικό σενάριο.

Προσπαθούμε να προβλέψουμε εάν κάθε άτομο στο παιχνίδι λέει ψέματα ή λέει την αλήθεια, οπότε αν υπάρχουν τρεις παίκτες εκτός από εσάς, οι κατηγορικές μεταβλητές μπορούν να εκφραστούν ως A1, A2 και A3. Η απόδειξη για τα ψέματα/αλήθεια τους είναι η συμπεριφορά τους. Όπως όταν παίζετε πόκερ, θα αναζητούσατε ορισμένα «λέει» ότι ένα άτομο λέει ψέματα και τα χρησιμοποιούσατε ως κομμάτια πληροφοριών για να ενημερώσετε την εικασία σας. Ή αν σας επιτρεπόταν να τους ρωτήσετε, θα ήταν οποιαδήποτε απόδειξη ότι η ιστορία τους δεν αθροίζεται. Μπορούμε να αναπαραστήσουμε την απόδειξη ότι ένα άτομο λέει ψέματα ως Β.

Για να είμαστε σαφείς, στοχεύουμε να προβλέψουμε την Πιθανότητα (Ο Α λέει ψέματα/λέει την αλήθεια|δεδομένων των αποδείξεων της συμπεριφοράς του). Για να το κάνουμε αυτό, θα θέλαμε να υπολογίσουμε την πιθανότητα του Β δεδομένου του Α ή την πιθανότητα να συμβεί η συμπεριφορά του, δεδομένου ότι το άτομο λέει πραγματικά ψέματα ή λέει την αλήθεια. Προσπαθείτε να προσδιορίσετε υπό ποιες συνθήκες η συμπεριφορά που βλέπετε θα ήταν πιο λογική. Εάν υπάρχουν τρεις συμπεριφορές που παρακολουθείτε, θα κάνατε τον υπολογισμό για κάθε συμπεριφορά. Για παράδειγμα, P(B1, B2, B3 * A). Θα το κάνατε αυτό για κάθε εμφάνιση Α/για κάθε άτομο στο παιχνίδι εκτός από τον εαυτό σας. Αυτό είναι αυτό το μέρος της παραπάνω εξίσωσης:

P(B1, B2, B3,|A) * P|A

Τέλος, απλώς το διαιρούμε με την πιθανότητα του Β.

Εάν λαμβάναμε στοιχεία σχετικά με τις πραγματικές πιθανότητες σε αυτήν την εξίσωση, θα αναδημιουργούσαμε το μοντέλο πιθανοτήτων, λαμβάνοντας υπόψη τα νέα στοιχεία. Αυτό ονομάζεται ενημέρωση των προτεραιοτήτων σας, καθώς ενημερώνετε τις υποθέσεις σας σχετικά με την προηγούμενη πιθανότητα να συμβούν τα παρατηρούμενα γεγονότα.

Εφαρμογές Μηχανικής Μάθησης για το θεώρημα Bayes

Η πιο κοινή χρήση του θεωρήματος Bayes όταν πρόκειται για μηχανική μάθηση είναι με τη μορφή του αλγορίθμου Naive Bayes.

Το Naive Bayes χρησιμοποιείται για την ταξινόμηση συνόλων δεδομένων τόσο δυαδικών όσο και πολλαπλών κλάσεων. Το Naive Bayes πήρε το όνομά του επειδή οι τιμές που αποδίδονται στα αποδεικτικά στοιχεία/τα χαρακτηριστικά των μαρτύρων – B στο P(B1, B2, B3 * A) – θεωρούνται ανεξάρτητες ο ένας του άλλου. Υποτίθεται ότι αυτά τα χαρακτηριστικά δεν επηρεάζουν το ένα το άλλο προκειμένου να απλοποιηθεί το μοντέλο και να γίνουν δυνατοί οι υπολογισμοί, αντί να επιχειρείται η περίπλοκη εργασία του υπολογισμού των σχέσεων μεταξύ καθενός από τα χαρακτηριστικά. Παρά αυτό το απλοποιημένο μοντέλο, ο Naive Bayes τείνει να αποδίδει αρκετά καλά ως αλγόριθμος ταξινόμησης, ακόμη και όταν αυτή η υπόθεση πιθανότατα δεν είναι αληθινή (που είναι τις περισσότερες φορές).

Υπάρχουν επίσης παραλλαγές που χρησιμοποιούνται συνήθως του ταξινομητή Naive Bayes όπως το Multinomial Naive Bayes, το Bernoulli Naive Bayes και το Gaussian Naive Bayes.

Πολυεθνικές Naive Bayes Οι αλγόριθμοι χρησιμοποιούνται συχνά για την ταξινόμηση εγγράφων, καθώς είναι αποτελεσματικοί στην ερμηνεία της συχνότητας των λέξεων μέσα σε ένα έγγραφο.

Bernoulli Naive Bayes λειτουργεί παρόμοια με το Multinomial Naive Bayes, αλλά οι προβλέψεις που αποδίδονται από τον αλγόριθμο είναι booleans. Αυτό σημαίνει ότι κατά την πρόβλεψη μιας κλάσης οι τιμές θα είναι δυαδικές, όχι ή ναι. Στον τομέα της ταξινόμησης κειμένου, ένας αλγόριθμος Bernoulli Naive Bayes θα αντιστοιχούσε στις παραμέτρους ένα ναι ή όχι με βάση το αν βρίσκεται ή όχι μια λέξη στο έγγραφο κειμένου.

Εάν η τιμή των προβλέψεων/χαρακτηριστικών δεν είναι διακριτή αλλά είναι συνεχής, Gaussian Naive Bayes μπορεί να χρησιμοποιηθεί. Υποτίθεται ότι οι τιμές των συνεχών χαρακτηριστικών έχουν δειγματιστεί από μια γκαουσιανή κατανομή.