Επιβλεπόμενη vs Μη Επιβλεπόμενη Μάθηση

Η επιβλεπόμενη μάθηση μαθαίνει από παραδείγματα που συνοδεύονται από επιθυμητές απαντήσεις. Η μη επιβλεπόμενη μάθηση αναζητά δομή στα δεδομένα χωρίς ετικέτες στόχου. Η διαφορά δεν είναι ποια προσέγγιση είναι πιο έξυπνη ή ακριβής· είναι το είδος του σήματος μάθησης που είναι διαθέσιμο και η ερώτηση στην οποία σχεδιάζεται να απαντήσει το σύστημα.

Αυτά είναι δύο κύρια παραδείγματα μέσα στην μηχανική μάθηση, αλλά τα σύγχρονα συστήματα χρησιμοποιούν επίσης ημιαντιβλεπόμενη, αυτοεπιβλεπόμενη και ενισχυτική μάθηση.

Βασικά σημεία

• Η επιβλεπόμενη μάθηση προβλέπει έναν γνωστό στόχο· η μη επιβλεπόμενη μάθηση ανακαλύπτει μοτίβα ή αντιπροσωπείες.
• Η ταξινόμηση και η παλινδρόμηση είναι επιβλεπόμενες εργασίες· η ομαδοποίηση, η εκτίμηση πυκνότητας και πολλές μέθοδοι μείωσης διαστάσεων είναι μη επιβλεπόμενες.
• Τα αποτελέσματα της μη επιβλεπόμενης μάθησης δεν είναι αυτόματα πραγματικές κατηγορίες και μπορεί να είναι πιο δύσκολο να αξιολογηθούν.
• Το κόστος υπολογισμού και η ακρίβεια εξαρτώνται από τον αλγόριθμο, τα δεδομένα, την εργασία και την αξιολόγηση· όχι μόνο από το παράδειγμα.

Πώς λειτουργεί η επιβλεπόμενη μάθηση

Ένα επιβλεπόμενο σύνολο δεδομένων περιέχει χαρακτηριστικά X και έναν στόχο y. Η εκπαίδευση προσαρμόζει το μοντέλο ώστε οι προβλέψεις του να προσεγγίζουν τους στόχους. Η αξιολόγηση χρησιμοποιεί απομονωμένα επισημασμένα παραδείγματα για να εκτιμήσει πόσο καλά γενικεύει.

Ταξινόμηση

Η ταξινόμηση προβλέπει μια κατηγορία: ανεπιθύμητο ή όχι, ένα θέμα εγγράφου μεταξύ πολλών, ή ένα ή περισσότερα αντικείμενα σε μια εικόνα. Σχετικές μετρικές περιλαμβάνουν την ακρίβεια (precision), την ανάκληση (recall), το F1, την βαθμονόμηση και τα μέτρα ευαισθησίας στο κόστος. Η ακρίβεια μπορεί να είναι παραπλανητική όταν μια κατηγορία είναι σπάνια· ένα πίνακας σύγχυσης αποκαλύπτει ποιες κατηγορίες συγχέονται.

Παλινδρόμηση

Η παλινδρόμηση προβλέπει μια συνεχόμενη τιμή, όπως τη ζήτηση, τη διάρκεια ή τη θερμοκρασία. Η γραμμική παλινδρόμηση μπορεί να χρησιμοποιήσει ένα ή πολλά χαρακτηριστικά· δεν περιορίζεται στη σχεδίαση σχέσης μεταξύ δύο μεταβλητών. Οι μετρικές παλινδρόμησης περιλαμβάνουν το μέσο απόλυτο σφάλμα, τη ρίζα του μέσου τετραγωνικού σφάλματος και κόστη ειδικά για την εργασία.

Συνηθισμένοι επιβλεπόμενοι αλγόριθμοι

Οι επιβλεπόμενες μέθοδοι περιλαμβάνουν γραμμικά και λογιστικά μοντέλα, δέντρα απόφασης, τυχαία δάση, ενίσχυση βαθμίδας (gradient boosting), μηχανές διανυσματικού υποστήριξης, k-πλησιέστερους γείτονες, και νευρωνικά δίκτυα.

Η λογιστική παλινδρόμηση παράγει μια βαθμολογία ή πιθανότητα που μπορεί να μετατραπεί σε κατηγορία χρησιμοποιώντας ένα επιλεγμένο όριο. Ένα φύλλο δέντρου απόφασης περιέχει μια πρόβλεψη βασισμένη σε μια περιοχή του χώρου χαρακτηριστικών, όχι απαραίτητα σε μία παρατήρηση εκπαίδευσης. Η KNN προβλέπει από κοντινά επισημασμένα παραδείγματα εκπαίδευσης και απαιτεί ακόμη μια σωστή σχεδίαση εκπαίδευσης/επαλήθευσης/δοκιμής.

Πώς λειτουργεί η μη επιβλεπόμενη μάθηση

Η μη επιβλεπόμενη μάθηση λαμβάνει χαρακτηριστικά χωρίς στήλη στόχου. Ο σκοπός της ορίζεται έμμεσα· για παράδειγμα, ελαχιστοποίηση της απόστασης εντός ομάδων, ανασύνθεση μιας εισόδου, εκτίμηση πυκνότητας δεδομένων ή διατήρηση όσο το δυνατόν μεγαλύτερης διασποράς σε λιγότερες διαστάσεις.

Ομαδοποίηση

K-means αντιστοιχίζει σημεία σε έναν επιλεγμένο αριθμό ομάδων και ενημερώνει τα κέντρα των ομάδων για να μειώσει την τετραγωνική απόσταση εντός ομάδας. Ο αλγόριθμος ανακαλύπτει γεωμετρικές ομάδες βάσει μιας συγκεκριμένης απόστασης και αναπαράστασης χαρακτηριστικών. Αυτές οι ομάδες δεν αντιστοιχούν αυτόματα σε σημαντικούς τύπους πελατών, διαγνώσεις ή άλλες ετικέτες τομέα.

Μείωση διαστάσεων

Η μείωση διαστάσεων αναπαριστά τα δεδομένα χρησιμοποιώντας λιγότερες μεταβλητές. Η ανάλυση κύριων συνιστωσών (PCA) βρίσκει ορθογώνιες κατευθύνσεις που διατηρούν όσο το δυνατόν μεγαλύτερη διασπορά υπό γραμμική προβολή. Άλλες μέθοδοι διατηρούν διαφορετικές έννοιες δομής και μπορούν να παράγουν πολύ διαφορετικές οπτικοποιήσεις.

Ανίχνευση ανωμαλιών και εκτίμηση πυκνότητας

Οι μη επιβλεπόμενες μέθοδοι μπορούν να εκτιμήσουν πού είναι πυκνά τα δεδομένα και να επισημάνουν ασυνήθιστα παρατηρήσεις. Ένα σκορ ανωμαλίας δεν αποδεικνύει απάτη, αποτυχία ή κακόβουλη συμπεριφορά· εντοπίζει μια απόκλιση βάσει της επιλεγμένης αναπαράστασης και του μοντέλου.

Πώς αξιολογείται η μη επιβλεπόμενη μάθηση

Δεν υπάρχει καθολική έννοια «ακρίβειας» για τη μη επιβλεπόμενη μάθηση. Ένας επαγγελματίας μπορεί να χρησιμοποιήσει εσωτερικές μετρικές όπως το σκορ σιλουέτας, να συγκρίνει τη σταθερότητα μεταξύ δειγμάτων, να δοκιμάσει τη χρησιμότητα σε επόμενη εργασία ή να ρωτήσει ειδικούς του τομέα αν η ανακαλυφθείσα δομή είναι σημαντική. Εάν υπάρχουν πραγματικές ετικέτες για αξιολόγηση, μπορούν να χρησιμοποιηθούν εξωτερικές μετρικές ομαδοποίησης χωρίς να μετατραπεί η διαδικασία εκπαίδευσης σε επιβλεπόμενη μάθηση.

Πέρα από τη δίπλευρη σύγκριση

Ημιαντιβλεπόμενη μάθηση

Η ημιαντιβλεπόμενη μάθηση συνδυάζει ένα μικρότερο σύνολο επισημασμένων δεδομένων με ένα μεγαλύτερο σύνολο μη επισημασμένων. Παραδείγματα είναι η ψευδο-ετικετοποίηση, η κανονικοποίηση συνέπειας και οι μέθοδοι βάσει γράφων. Τα μη επισημασμένα δεδομένα πρέπει ακόμη να μοιάζουν αρκετά με την κατανομή του στόχου ώστε να βοηθούν.

Αυτοεπιβλεπόμενη μάθηση

Η αυτοεπιβλεπόμενη μάθηση εξάγει στόχους από την ίδια την είσοδο, όπως η πρόβλεψη κρυφών συμβόλων ή η αντιστοίχιση μετασχηματισμένων προβολών. Αποτελεί τη βάση για σύγχρονα μοντέλα γλώσσας, όρασης και πολυμεσικών δεδομένων, συμπεριλαμβανομένων των transformer.

Ενισχυτική μάθηση

Η ενισχυτική μάθηση βελτιστοποιεί αποφάσεις μέσω ανταμοιβών που παράγονται από αλληλεπίδραση. Διαφέρει τόσο από την προβλεπτική επιβλεπόμενη μάθηση όσο και από την στατική ανακάλυψη προτύπων.

Επιλογή της κατάλληλης προσέγγισης

Ξεκινήστε με την απόφαση ή την αντίληψη που πρέπει να παράγει το σύστημα. Εάν υπάρχουν αξιόπιστοι στόχοι και ο σκοπός είναι η πρόβλεψη, η επιβλεπόμενη μάθηση είναι φυσική. Εάν ο στόχος είναι η εξερεύνηση, η αναπαράσταση ή η ομαδοποίηση, μια μη επιβλεπόμενη μέθοδος μπορεί να ταιριάζει. Όταν οι ετικέτες είναι σπάνιες, η αυτοεπιβλεπόμενη ή η ημιαντιβλεπόμενη προεκπαίδευση, ακολουθούμενη από επιβλεπόμενη αξιολόγηση, μπορεί να είναι πιο αποτελεσματική.

Σε κάθε περίπτωση, η διαρροή δεδομένων, η μεροληπτική δειγματοληψία, οι αδύναμοι αντιπρόσωποι και η μετατόπιση κατανομής μπορούν να κυριαρχήσουν στην επιλογή αλγορίθμου. Ένα τεχνικά σωστό μοντέλο που εκπαιδεύεται με λάθος στόχο μπορεί ακόμη να αποτύχει.

Σήματα μάθησης, στόχοι και αντιπροσωπευτικές μέθοδοι

Η επιβλεπόμενη μάθηση χρησιμοποιεί παραδείγματα που συνοδεύονται από ετικέτες ή τιμές στόχου και βελτιστοποιεί το προβλεπτικό σφάλμα. Η ταξινόμηση, η παλινδρόμηση, η κατάταξη και η δομημένη πρόβλεψη διαφέρουν στο αποτέλεσμα και τη λειτουργία απώλειας. Η μη επιβλεπόμενη μάθηση αναζητά δομή χωρίς ετικέτες στόχου μέσω ομαδοποίησης, εκτίμησης πυκνότητας, μείωσης διαστάσεων, μάθησης αναπαράστασης ή γενετικού μοντέλου. Η αυτοεπιβλεπόμενη μάθηση δημιουργεί στόχους πρόβλεψης από τα ίδια τα δεδομένα, ενώ η ημιαντιβλεπόμενη μάθηση συνδυάζει ένα μικρό σύνολο επισημασμένων δεδομένων με μεγαλύτερο σύνολο μη επισημασμένων. Αυτές οι κατηγορίες περιγράφουν το σήμα μάθησης· η ίδια νευρωνική αρχιτεκτονική μπορεί να εκπαιδευτεί υπό διάφορα παραδείγματα.

Οι ετικέτες καθιστούν έναν στόχο σαφή, αλλά εισάγουν κόστος σήμανσης, θόρυβο, υποθέσεις πολιτικής και χρονική καθυστέρηση. Τα μη επισημασμένα δεδομένα είναι πιο εύκολο να συλλεχθούν, αλλά δεν λένε σε έναν αλγόριθμο ποια ανακαλυφθείσα δομή είναι χρήσιμη. Μια ομάδα μπορεί να αντανακλά φωτισμό, μήκος εγγράφου ή πηγή απόκτησης αντί για μια σημαντική κατηγορία. Ορίστε την αξιολόγηση ανεξάρτητα: τα επιβλεπόμενα μοντέλα χρησιμοποιούν απομονωμένα επισημασμένα αποτελέσματα, ενώ τα μη επιβλεπόμενα μοντέλα χρειάζονται σταθερότητα, ανασύνθεση, πιθανότητα, ανάκτηση, χρησιμότητα σε επόμενη εργασία ή επικύρωση από ειδικούς. Η οπτική διαχωρισιμότητα από μόνη της δεν αποτελεί απόδειξη έγκυρης δομής.

Επιλογή παραδείγματος και πρόληψη κοινών σφαλμάτων

Χρησιμοποιήστε την επιβλεπόμενη μάθηση όταν υπάρχει σταθερός στόχος και αντιπροσωπευτικές ετικέτες. Χρησιμοποιήστε την μη επιβλεπόμενη εξερεύνηση για να συνοψίσετε, να εντοπίσετε καινοτομίες, να συμπιέσετε ή να δημιουργήσετε υποθέσεις, αλλά αντιμετωπίστε τα αποτελέσματα ως προσωρινά. Η προεκπαίδευση αυτοεπιβλεπόμενη είναι πολύτιμη όταν τα ακατέργαστα δεδομένα είναι άφθονα και οι επόμενες εργασίες μοιράζονται τις αναπαραστάσεις. Οι ημιαντιβλεπόμενες μέθοδοι βοηθούν μόνο όταν ισχύουν οι υποθέσεις για τα μη επισημασμένα δεδομένα και τη δομή των κατηγοριών. Συγκρίνετε με απλά βασικά μοντέλα και λάβετε υπόψη το συνολικό κόστος συλλογής, σήμανσης, ελέγχου, υπολογισμού και σφαλμάτων αντί να υποθέτετε ότι τα μη επισημασμένα είναι αυτόματα φθηνά.

Αποτρέψτε τη διαρροή διαχωρίζοντας σχετικές οντότητες πριν την παραγωγή ετικετών, επεκτάσεων ή ψευδο-ετικετών. Παρακολουθήστε την ισορροπία των κατηγοριών, τη συμφωνία σήμανσης, τη σταθερότητα των ομάδων, την κατάρρευση και τη μετατόπιση. Οι ψευδο-ετικέτες μπορούν να ενισχύσουν πρώτα σφάλματα· η ομαδοποίηση μπορεί να κωδικοποιήσει ευαίσθητα χαρακτηριστικά· μια προεκπαιδευμένη αναπαράσταση μπορεί να μεταφέρει προκατάληψη της πηγής. Η ανθρώπινη αξιολόγηση πρέπει να εστιάζει σε περιπτώσεις ορίων και συνέπειες. Σε παραγωγή, τεκμηριώστε πώς δημιουργήθηκε το σήμα μάθησης και πότε γίνεται παρωχημένο. Το παράδειγμα καθορίζει πού εισέρχεται η επίβλεψη στο σύστημα, όχι αν υπάρχουν ανθρώπινες επιλογές και αξίες.

Παράδειγμα εφαρμογής: ανακάλυψη και ετικετοποίηση θεμάτων υποστήριξης

Μια εταιρεία αρχικά χρησιμοποιεί μη επιβλεπόμενες ενσωματώσεις και ομαδοποίηση για να εξερευνήσει θέματα σε ανώνυμα μηνύματα υποστήριξης. Οι αναλυτές εξετάζουν αντιπροσωπευτικά και άκρια παραδείγματα και διαπιστώνουν ότι ορισμένες ομάδες αντανακλούν το μήκος του μηνύματος και το κανάλι αντί για προβλήματα. Αναπτύσσουν μια επιβλεπόμενη ταξινομία με άγνωστη κατηγορία, οδηγίες σήμανσης και μετρημένη συμφωνία. Ένας ταξινομητής αξιολογείται στη συνέχεια σε μεταγενέστερες χρονικές περιόδους, γλώσσες και προϊόντα έναντι βασικών μεθόδων λέξεων-κλειδιών και k-πλησιέστερων γειτόνων.

Τα μη επισημασμένα νέα μηνύματα υποστηρίζουν την ανίχνευση μεταβολής, αλλά δεν επανεκπαιδεύουν αυτόματα τον ταξινομητή. Οι ελεγκτές ετικετοποιούν επιλεγμένες αβέβαιες και αναδυόμενες περιπτώσεις μέσω ενεργού μάθησης, με ελέγχους ποιότητας και ένα κλειδωμένο σύνολο αξιολόγησης. Η παρακολούθηση καταγράφει την επικράτηση των θεμάτων, την εμπιστοσύνη, τη διαφωνία και τα αποτελέσματα δρομολόγησης. Όταν λανσάρεται νέο προϊόν, η ταξινομία και η δυνατότητα των επόμενων ομάδων ενημερώνονται ταυτόχρονα. Η ροή εργασίας χρησιμοποιεί μη επιβλεπόμενες μεθόδους για δημιουργία υποθέσεων και επιβλεπόμενη απόδειξη για λειτουργική δρομολόγηση.

Απόδειξη υλοποίησης και ετοιμότητα λειτουργίας

Μια απόφαση παραγωγής απαιτεί περισσότερα από μια επιτυχημένη επίδειξη. Ορίστε τους προορισμένους χρήστες, το λειτουργικό περιβάλλον, τις εισόδους, τις εξόδους, τις εξαρτήσεις, τον υπεύθυνο και τις συνέπειες κάθε σημαντικού σφάλματος. Καθιερώστε ένα αναπαραγώγιμο βασικό επίπεδο και ένα εκδοσιακό σύνολο αξιολόγησης πριν τη βελτιστοποίηση. Δοκιμάστε τυπικές περιπτώσεις, όρια, εσφαλμένες ή ελλιπείς εισόδους, μετατόπιση κατανομής, διακοπή εξαρτήσεων, κακή χρήση και τις ομάδες ή τα περιβάλλοντα που είναι πιο πιθανό να υπολειτουργούν. Μετρήστε την ποιότητα της εργασίας μαζί με τη βαθμονόμηση ή την αβεβαιότητα, την καθυστέρηση, το ρυθμό επεξεργασίας, το κόστος πόρων, την προσβασιμότητα, το απόρρητο και την ασφάλεια. Καταγράψτε κάθε μετασχηματισμό και όριο ώστε ένας ανεξάρτητος αξιολογητής να μπορεί να αναπαράγει το αποτέλεσμα και να διακρίνει την απόδειξη από ένα ελκυστικό πρωτότυπο.

Πριν την εκκίνηση, ορίστε την εξουσία για κυκλοφορία, εξαιρέσεις, αλλαγές, επαναφορά και λήξη. Χρησιμοποιήστε σταδιακή κυκλοφορία, διατηρήστε ασφαλή εναλλακτική λύση και επαληθεύστε την παρακολούθηση με σκόπιμα ενσωματωμένες αποτυχίες. Η λειτουργική τηλεμετρία πρέπει να αποκαλύπτει την ποιότητα των εισόδων, τη συμπεριφορά των εξόδων, την έκδοση του μοντέλου ή του κανόνα, την υγεία των εξαρτήσεων, τις ανθρώπινες παρεμβάσεις και τα επιβεβαιωμένα αποτελέσματα χωρίς τη συλλογή περιττών ευαίσθητων δεδομένων. Ορίστε όρια ειδοποίησης και υπεύθυνο αντίδρασης, έπειτα ελέγξτε τις αποδείξεις πραγματικού κόσμου μετά την ανάπτυξη αντί να υποθέτετε ότι η εκτός σύνδεσης απόδοση θα παραμείνει. Επαναξιολογήστε όποτε αλλάξουν οι πηγές δεδομένων, οι χρήστες, τα μοντέλα, οι προμηθευτές, οι πολιτικές, το υλικό ή οι στόχοι. Ένα συντηρημένο σύστημα χρειάζεται επίσης τεκμηριωμένη αποκατάσταση, εκμάθηση από περιστατικά, διαδικασίες διαγραφής και διατήρησης, και ένα σαφές σημείο στο οποίο πρέπει να απενεργοποιηθεί ή να αντικατασταθεί.

Κύριες αναφορές

• scikit-learn: Επιβλεπόμενη μάθηση
• scikit-learn: Μη επιβλεπόμενη μάθηση
• scikit-learn: Αξιολόγηση απόδοσης ομαδοποίησης