Γεννητικές εναντίον Διακριτικές Μοντέλα Μηχανικής Μάθησης

Ορισμένα μοντέλα μηχανικής μάθησης ανήκουν είτε στην κατηγορία “γεννητικών” είτε σε αυτή των “διακριτικών” μοντέλων. Tuy nhiên, ποια είναι η διαφορά μεταξύ αυτών των δύο κατηγοριών μοντέλων; Τι σημαίνει για ένα μοντέλο να είναι διακριτικό ή γεννητικό;

Η σύντομη απάντηση είναι ότι τα γεννητικά μοντέλα είναι αυτά που περιλαμβάνουν την κατανομή του συνόλου δεδομένων, επιστρέφοντας μια πιθανότητα για ένα δεδομένο παράδειγμα. Τα γεννητικά μοντέλα χρησιμοποιούνται συχνά για να προβλέψουν τι συμβαίνει επόμενο σε μια ακολουθία. Εν τω μεταξύ, τα διακριτικά μοντέλα χρησιμοποιούνται είτε για ταξινόμηση είτε για παλινδρόμηση και επιστρέφουν μια πρόβλεψη βασισμένη σε συνθήκη πιθανότητα. Ας εξερευνήσουμε τις διαφορές μεταξύ γεννητικών και διακριτικών μοντέλων σε περισσότερες λεπτομέρειες, ώστε να κατανοήσουμε πραγματικά τι χωρίζει τα δύο είδη μοντέλων και πότε πρέπει να χρησιμοποιηθεί κάθε είδος.

Γεννητικά vs Διακριτικά Μοντέλα

Υπάρχουν διάφοροι τρόποι για να κατηγοριοποιήσετε ένα μοντέλο μηχανικής μάθησης. Ένα μοντέλο μπορεί να ταξινομηθεί ως ανήκον σε διαφορετικές κατηγορίες όπως: γεννητικά μοντέλα, διακριτικά μοντέλα, παραμετρικά μοντέλα, μη παραμετρικά μοντέλα, μοντέλα βασισμένα σε δέντρα, μη δέντρα μοντέλα.

Αυτό το άρθρο θα επικεντρωθεί στις διαφορές μεταξύ γεννητικών και διακριτικών μοντέλων. Θα αρχίσουμε ορίζοντας και τα δύο, γεννητικά και διακριτικά μοντέλα, και στη συνέχεια θα εξερευνήσουμε κάποια παραδείγματα κάθε είδους μοντέλου.

Γεννητικά Μοντέλα

Γεννητικά μοντέλα είναι αυτά που επικεντρώνονται στην κατανομή των κλάσεων μέσα στο σύνολο δεδομένων. Οι αλγόριθμοι μηχανικής μάθησης συνήθως μοντελοποιούν την κατανομή των σημείων δεδομένων. Τα γεννητικά μοντέλα βασίζονται στην εύρεση της συνδυαστικής πιθανότητας. Δημιουργούν σημεία όπου μια δεδομένη είσοδος και μια επιθυμητή έξοδος/ετικέτα υπάρχουν ταυτόχρονα.

Τα γεννητικά μοντέλα χρησιμοποιούνται συνήθως για να εκτιμήσουν πιθανότητες και πιθανότητες, μοντελοποιώντας σημεία δεδομένων και διακρίνοντας μεταξύ κλάσεων με βάση αυτές τις πιθανότητες. Επειδή το μοντέλο μαθαίνει μια κατανομή πιθανότητας για το σύνολο δεδομένων, μπορεί να αναφερθεί σε αυτήν την κατανομή για να δημιουργήσει новые περιπτώσεις δεδομένων. Τα γεννητικά μοντέλα συχνά βασίζονται στην θεώρημα Bayes για να βρουν την συνδυαστική πιθανότητα, βρίσκοντας p(x,y). Ουσιαστικά, τα γεννητικά μοντέλα μοντελοποιούν πώς δημιουργήθηκαν τα δεδομένα, απαντώντας στο ερώτημα:

«Ποια είναι η πιθανότητα ότι αυτή η κλάση ή μια άλλη κλάση δημιούργησε αυτά τα δεδομένα/περίπτωση;»

Παραδείγματα γεννητικών μοντέλων μηχανικής μάθησης περιλαμβάνουν την Ανάλυση Διακριτικής Lineαρότητας (LDA), Κρυφά Μοντέλα Markov και Bayes δικτυα, όπως το Naive Bayes.

Διακριτικά Μοντέλα

Ενώ τα γεννητικά μοντέλα μαθαίνουν για την κατανομή του συνόλου δεδομένων, διακριτικά μοντέλα μαθαίνουν για το όριο μεταξύ κλάσεων μέσα στο σύνολο δεδομένων. Με διακριτικά μοντέλα, ο στόχος είναι να αναγνωριστεί το όριο απόφασης μεταξύ κλάσεων για να εφαρμοστούν αξιόπιστες ετικέτες κλάσεων σε περιπτώσεις δεδομένων. Τα διακριτικά μοντέλα χωρίζουν τις κλάσεις στο σύνολο δεδομένων χρησιμοποιώντας την συνθήκη πιθανότητας, χωρίς να κάνουν καμιά υπόθεση για μεμονωμένα σημεία δεδομένων.

Τα διακριτικά μοντέλα επιδιώκουν να απαντήσουν στο ερώτημα:

«Ποια πλευρά του ορίου απόφασης βρίσκεται αυτή η περίπτωση;»

Παραδείγματα διακριτικών μοντέλων στη μηχανική μάθηση περιλαμβάνουν τις υποστηρικτικές μηχανές διανυσμάτων, τη λογιστική παλινδρόμηση, τα δέντρα απόφασης και τα τυχαία δάση.

Διαφορές μεταξύ Γεννητικών και Διακριτικών

Εδώ είναι μια γρήγορη επισκόπηση των основных διαφορών μεταξύ γεννητικών και διακριτικών μοντέλων.

Γεννητικά Μοντέλα:

• Τα γεννητικά μοντέλα στοχεύουν να καταγράψουν την πραγματική κατανομή των κλάσεων στο σύνολο δεδομένων.
• Τα γεννητικά μοντέλα προβλέπουν την συνδυαστική κατανομή πιθανότητας – p(x,y) – χρησιμοποιώντας το θεώρημα Bayes.
• Τα γεννητικά μοντέλα είναι υπολογιστικά ακριβά σε σύγκριση με τα διακριτικά μοντέλα.
• Τα γεννητικά μοντέλα είναι χρήσιμα για εργασίες μηχανικής μάθησης χωρίς εποπτεία.
• Τα γεννητικά μοντέλα επηρεάζονται από την παρουσία εκκεντρικών τιμών περισσότερο από τα διακριτικά μοντέλα.

Διακριτικά Μοντέλα:

• Τα διακριτικά μοντέλα μοντελοποιούν το όριο απόφασης για τις κλάσεις του συνόλου δεδομένων.
• Τα διακριτικά μοντέλα μαθαίνουν την συνθήκη πιθανότητας – p(y|x).
• Τα διακριτικά μοντέλα είναι υπολογιστικά φτηνά σε σύγκριση με τα γεννητικά μοντέλα.
• Τα διακριτικά μοντέλα είναι χρήσιμα για εργασίες μηχανικής μάθησης με εποπτεία.
• Τα διακριτικά μοντέλα έχουν το πλεονέκτημα της αντοχής στις εκκεντρικές τιμές, σε αντίθεση με τα γεννητικά μοντέλα.
• Τα διακριτικά μοντέλα είναι πιο ανθεκτικά στις εκκεντρικές τιμές σε σύγκριση με τα γεννητικά μοντέλα.

Θα εξερευνήσουμε σύντομα κάποια διαφορετικά παραδείγματα γεννητικών και διακριτικών μοντέλων μηχανικής μάθησης.

Παραδείγματα Γεννητικών Μοντέλων

Ανάλυση Διακριτικής Lineαρότητας (LDA)

Τα μοντέλα LDA λειτουργούν εκτιμώντας τη διακύμανση και το μέσο των δεδομένων για κάθε κλάση στο σύνολο δεδομένων. Μετά την εκτίμηση του μέσου και της διακύμανσης για κάθε κλάση, γίνονται προβλέψεις εκτιμώντας την πιθανότητα ότι ένα δεδομένο σύνολο εισόδων ανήκει σε μια δεδομένη κλάση.

Κρυφά Μοντέλα Markov

Οι αλυσίδες Markov μπορούν να θεωρηθούν ως γραφικά με πιθανότητες που δείχνουν πόσο πιθανό είναι να μεταβούμε από ένα σημείο στην αλυσίδα, ένα “κατάσταση”, σε μια άλλη κατάσταση. Οι αλυσίδες Markov χρησιμοποιούνται για να καθορίσουν την πιθανότητα να μεταβούμε από την κατάσταση j στην κατάσταση i, η οποία μπορεί να σημειωθεί ως p(i,j). Αυτό είναι απλά η συνδυαστική πιθανότητα που αναφέρθηκε παραπάνω. Ένα Κρυφό Μοντέλο Markov είναι όπου μια αόρατη, μη παρατηρήσιμη αλυσίδα Markov χρησιμοποιείται. Τα δεδομένα εισόδου δίνονται στο μοντέλο και οι πιθανότητες για την τρέχουσα κατάσταση και την κατάσταση που προηγήθηκε χρησιμοποιούνται για να υπολογιστεί το πιθανότερο αποτέλεσμα.

Δικτυα Bayes

Τα δίκτυα Bayes είναι ένα είδος προβαλλομένου γραφικού μοντέλου. Αντιπροσωπεύουν τις συντηρημένες εξαρτήσεις μεταξύ μεταβλητών, όπως αντιπροσωπεύονται από ένα κατευθυνόμενο αцикλικό γράφο. Σε ένα δίκτυο Bayes, κάθε ακμή του γραφήματος αντιπροσωπεύει μια συνθήκη εξάρτησης, και κάθε κόμβος αντιστοιχεί σε μια μοναδική μεταβλητή. Η συνθήκη ανεξαρτησίας για τις μοναδικές σχέσεις στο γράφο μπορεί να χρησιμοποιηθεί για να καθορίσει την κατανομή πιθανότητας των μεταβλητών και να υπολογίσει την συνδυαστική πιθανότητα. Με άλλα λόγια, ένα δίκτυο Bayes κατέχει ένα υποσύνολο των ανεξάρτητων σχέσεων σε μια συγκεκριμένη συνδυαστική κατανομή πιθανότητας.

Μόλις δημιουργηθεί και οριστεί σωστά ένα δίκτυο Bayes, με τυχαίες μεταβλητές, συνθήκες και κατανομές πιθανότητας, μπορεί να χρησιμοποιηθεί για να εκτιμήσει την πιθανότητα συμβάντων ή αποτελεσμάτων.

Ένα από τα πιο συχνά χρησιμοποιούμενα είδη δικτύων Bayes είναι το μοντέλο Naive Bayes. Ένα μοντέλο Naive Bayes αντιμετωπίζει την πρόκληση της υπολογίστης πιθανότητας για σύνολα δεδομένων με πολλά χαρακτηριστικά/μεταβλητές, αντιμετωπίζοντας όλα τα χαρακτηριστικά ως ανεξάρτητα το ένα από το άλλο.

Παραδείγματα Διακριτικών Μοντέλων

Υποστηρικτικές Μηχανές Διανυσμάτων

Οι υποστηρικτικές μηχανές διανυσμάτων λειτουργούν σχεδιάζοντας ένα όριο απόφασης μεταξύ των σημείων δεδομένων, βρίσκοντας το όριο απόφασης που καλύτερα χωρίζει τις διαφορετικές κλάσεις στο σύνολο δεδομένων. Ο αλγόριθμος SVM σχεδιάζει είτε γραμμές είτε υπερεπίπεδα που χωρίζουν τα σημεία, για 2-διαστατικά και 3-διαστατικά χώρους αντίστοιχα. Ο αλγόριθμος SVM επιδιώκει να βρει τη γραμμή/υπερεπίπεδο που καλύτερα χωρίζει τις κλάσεις, προσπαθώντας να μεγιστοποιήσει το περιθώριο, ή την απόσταση μεταξύ της γραμμής/υπερεπίπλου και των κοντινότερων σημείων. Τα μοντέλα SVM μπορούν επίσης να χρησιμοποιηθούν σε σύνολα δεδομένων που δεν είναι γραμμικά χωριστά, χρησιμοποιώντας το “kernel trick” για να αναγνωρίσουν μη γραμμικά όρια απόφασης.

Λογιστική Παλινδρόμηση

Η λογιστική παλινδρόμηση είναι ένας αλγόριθμος που χρησιμοποιεί μια logit (log-πιθανότητα) συνάρτηση για να καθορίσει την πιθανότητα ότι μια είσοδος βρίσκεται σε μια από τις δύο καταστάσεις. Μια σιγμοειδής συνάρτηση χρησιμοποιείται για να “πιέσει” την πιθανότητα προς το 0 ή 1, αληθές ή ψευδές. Πιθανότητες μεγαλύτερες από 0,50 θεωρούνται ως κλάση 1, ενώ πιθανότητες 0,49 ή χαμηλότερες θεωρούνται ως 0. Για αυτόν τον λόγο, η λογιστική παλινδρόμηση χρησιμοποιείται συνήθως σε δυαδικά προβλήματα ταξινόμησης. Ωστόσο, η λογιστική παλινδρόμηση μπορεί να εφαρμοστεί σε πολυταξικά προβλήματα χρησιμοποιώντας μια προσέγγιση “ένα ενάντια σε όλα”, δημιουργώντας ένα δυαδικό μοντέλο ταξινόμησης για κάθε κλάση και καθορίζοντας την πιθανότητα ότι ένα παράδειγμα είναι η στόχος κλάση ή μια άλλη κλάση στο σύνολο δεδομένων.

Δέντρα Απόφασης

Ένα δέντρο απόφασης λειτουργεί χωρίζοντας το σύνολο δεδομένων σε μικρότερα και μικρότερα τμήματα, και όταν τα υποσύνολα δεν μπορούν να χωριστούν περαιτέρω, το αποτέλεσμα είναι ένα δέντρο με κόμβους και φύλλα. Οι κόμβοι σε ένα δέντρο απόφασης είναι όπου οι αποφάσεις για τα σημεία δεδομένων λαμβάνονται χρησιμοποιώντας διαφορετικά κριτήρια φιλτράρου. Τα φύλλα σε ένα δέντρο απόφασης είναι τα σημεία δεδομένων που έχουν ταξινομηθεί. Οι αλγόριθμοι δέντρων απόφασης μπορούν να χειριστούν τόσο αριθμητικά όσο και κατηγορικά δεδομένα, και οι διαιρέσεις στο δέντρο βασίζονται σε συγκεκριμένα χαρακτηριστικά/μεταβλητές.

Τυχαία Δάση

Ένα τυχαίο δάσος είναι βασικά μια συλλογή δέντρων απόφασης όπου οι προβλέψεις των μεμονωμένων δέντρων μέσω του μέσου όρου για να φτάσουν σε μια τελική απόφαση. Ο αλγόριθμος τυχαίου δάσους επιλέγει τυχαία παρατηρήσεις και χαρακτηριστικά, χτίζοντας τα μεμονωμένα δέντρα με βάση αυτές τις επιλογές.

Αυτό το διδακτικό άρθρο θα εξερευνήσει πώς να δημιουργήσετε ένα Γραφικό Κουτί σε Matplotlib. Τα γραφικά κουτιά χρησιμοποιούνται για να οπτικοποιήσουν στατιστικά στοιχεία του συνόλου δεδομένων, εμφανίζοντας ιδιότητες της κατανομής όπως το εύρος και η κατανομή των δεδομένων.