Βασικές αρχές της AI
Τι είναι η Μείωση Διαστάσεων;
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Η μείωση διαστάσεων αναπαριστά δεδομένα με λιγότερες μεταβλητές διατηρώντας τις πληροφορίες χρήσιμες για μια εργασία. Μπορεί να μειώσει την αποθήκευση και τον θόρυβο, να βελτιώσει την οπτικοποίηση, να περιορίσει τις πλεονασματικές ιδιότητες και να κάνει τα επακόλουθα μοντέλα πιο εύκολα στην εκπαίδευση.
Καμία μέθοδος δεν διατηρεί κάθε σχέση. Μια χρήσιμη μείωση ξεκινά με τον ορισμό του τι πρέπει να παραμείνει: η διακύμανση, ο διαχωρισμός κλάσεων, οι τοπικές γειτονιές, η παγκόσμια γεωμετρία, η ποιότητα ανακατασκευής ή η ερμηνευσιμότητα.
Βασικά σημεία
- Η επιλογή χαρακτηριστικών διατηρεί τις αρχικές μεταβλητές· η εξαγωγή χαρακτηριστικών δημιουργεί νέες συντεταγμένες χαμηλότερης διάστασης.
- Η PCA είναι γραμμική και προσανατολισμένη στη διακύμανση· τα t‑SNE και UMAP δίνουν έμφαση στη δομή των γειτονιών για οπτικοποίηση.
- Οι ενσωματώσεις οπτικοποίησης μπορούν να παραμορφώσουν αποστάσεις, μεγέθη ομάδων και παγκόσμιο διαχωρισμό.
- Εφαρμόστε τη μείωση μόνο στα δεδομένα εκπαίδευσης και, στη συνέχεια, εφαρμόστε τον εκπαιδευμένο μετασχηματισμό στα δεδομένα επικύρωσης και δοκιμής.
Επιλογή χαρακτηριστικών έναντι προβολής
Η επιλογή χαρακτηριστικών αφαιρεί μεταβλητές χρησιμοποιώντας κανόνες τομέα, ελλιπείς τιμές, πλεονασμούς, προβλεπτικές δοκιμές ή κανονικοποίηση. Διατηρεί τις αρχικές σημασίες, κάτι που μπορεί να βοηθήσει τη διακυβέρνηση και την εξήγηση.
Οι μέθοδοι προβολής συνδυάζουν τις μεταβλητές σε νέες συντεταγμένες. Μπορούν να συλλάβουν κατανεμημένη δομή, αλλά μπορεί να κάνουν κάθε συντεταγμένη πιο δύσκολη στην ερμηνεία. Ένα autoencoder μαθαίνει μια μη γραμμική προβολή μέσω ανακατασκευής.
PCA και SVD
Η ανάλυση κύριων συνιστωσών (PCA) εντοπίζει ορθογώνιες κατευθύνσεις μειούμενης διακύμανσης μετά την κεντράρισμα των δεδομένων. Η αποσύνθεση μοναδιαίων τιμών (SVD) παρέχει μια κοινή αριθμητική διαδρομή. Η κλιμάκωση έχει σημασία: μια μονάδα μέτρησης με υψηλή διακύμανση μπορεί να κυριαρχήσει στις συνιστώσες.
Η PCA είναι ντετερμινιστική εκτός από το πρόσημο και τις επαναλαμβανόμενες ιδιοτιμές, υποστηρίζει μετασχηματισμό εκτός δείγματος και παρέχει περιλήψεις εξηγούμενης διακύμανσης. Η υψηλή διακύμανση δεν είναι πάντα σχετική με την εργασία, και οι γραμμικές συνιστώσες δεν μπορούν να αποσυμπτύξουν κάθε κυρτή πολλαπλότητα.
t‑SNE και UMAP
Το t‑SNE δημιουργεί κατανομές πιθανότητας πάνω στις γειτονιές και βελτιστοποιεί έναν χαμηλής διάστασης χάρτη που δίνει έμφαση στην τοπική ομοιότητα. Το UMAP κατασκευάζει ένα βαρυμένο γράφημα γειτονιάς και βελτιστοποιεί μια χαμηλότερης διάστασης αναπαράσταση με σχετικούς στόχους τοπικής δομής.
Και τα δύο είναι ισχυρά εργαλεία εξερεύνησης, αλλά είναι ευαίσθητα στην προεπεξεργασία, τη μετρική απόστασης και τις υπερπαραμέτρους. Ο κενός χώρος, η περιοχή ομάδας και η απόσταση μεταξύ ομάδων σε ένα 2Δ γράφημα δεν πρέπει αυτόματα να ερμηνεύονται ως πραγματικές.
Επιβλεπόμενες μέθοδοι και αναπαραστάσεις ευαισθητοποιημένες στην εργασία
Η γραμμική διακριτική ανάλυση (LDA) χρησιμοποιεί ετικέτες κλάσεων για να αναζητήσει διαχωρισμό, καθιστώντας την διαφορετική από την μη επιβλεπόμενη PCA. Η νευρωνική μάθηση αναπαραστάσεων μπορεί να βελτιστοποιήσει στόχους πρόβλεψης ή αντιπαραθετικούς αντί της ανακατασκευής.
Εάν οι ετικέτες καθοδηγούν τη μείωση, όλη η προσαρμογή και η ρύθμιση πρέπει να παραμένουν εντός της διαδικασίας εκπαίδευσης. Διαφορετικά, πληροφορίες από το σύνολο δοκιμής μπορούν να διαρρεύσουν στην επιλογή μοντέλου και να δημιουργήσουν ένα αισιόδοξο αποτέλεσμα.
Επιλογή και επικύρωση μεθόδου
Ξεκινήστε με προεπεξεργασία και μια απλή βάση. Για συμπίεση, μετρήστε την ανακατασκευή ή την απόδοση στο επόμενο στάδιο διαμέσου διαστάσεων. Για οπτικοποίηση, δοκιμάστε τη σταθερότητα διαφόρων σπόρων και υπερπαραμέτρων και συγκρίνετε τη διατήρηση γειτονιάς με τη γνώση του τομέα.
Για παραγωγή, ερωτηθείτε αν η μέθοδος μπορεί να μετασχηματίσει νέα αρχεία, πώς διαχειρίζεται τις ελλιπείς τιμές, αν αλλάζει κατά την επανεκπαίδευση και αν οι χρήστες χρειάζονται εξηγήσεις των αρχικών χαρακτηριστικών. Το Overfitting μπορεί να συμβεί στο βήμα της μείωσης όπως και στο τελικό μοντέλο.
Γραμμικές και μη γραμμικές μέθοδοι μείωσης
Η μείωση διαστάσεων χαρτογραφεί δεδομένα υψηλής διάστασης σε λιγότερες συντεταγμένες διατηρώντας την επιλεγμένη δομή. Η ανάλυση κύριων συνιστωσών βρίσκει ορθογώνιες κατευθύνσεις μέγιστης διακύμανσης μετά το κεντράρισμα· η κλιμάκωση απαιτείται όταν οι μονάδες πρέπει να συμβάλλουν συγκρίσιμα. Η αποσύνθεση μοναδιαίων τιμών υπολογίζει σχετική χαμηλής τάξης δομή και υποστηρίζει αραιές μήτρες. Η γραμμική διακριτική ανάλυση χρησιμοποιεί ετικέτες για να βρει κατευθύνσεις διαχωρισμού κλάσεων. Αυτές οι μέθοδοι παρέχουν σαφείς μετασχηματισμούς, αλλά η διακύμανση ή ο διαχωρισμός κλάσεων ενδέχεται να μην διατηρούν τις πληροφορίες που απαιτούνται για μια επακόλουθη εργασία.
Οι μέθοδοι πολλαπλότητας όπως το t‑SNE και το UMAP δημιουργούν γειτονιές και βελτιστοποιούν μια χαμηλής διάστασης διάταξη. Είναι ισχυρές για εξερεύνηση, αλλά παραμορφώνουν την παγκόσμια απόσταση, την πυκνότητα, το μέγεθος ομάδων και μερικές φορές το διαχωρισμό. Τα αποτελέσματα εξαρτώνται από την προεπεξεργασία, τη μετρική, τις γειτονιές ή την περιπλοκότητα, την αρχικοποίηση και το σπόρο. Μια ελκυστική ομάδα σε δύο διαστάσεις μπορεί να εμφανιστεί ακόμη και χωρίς διακριτές ομάδες. Χρησιμοποιήστε πολλαπλές ρυθμίσεις, χρωματίστε μόνο με μεταδεδομένα που δεν χρησιμοποιούνται στην προσαρμογή και επικυρώστε την φαινομενική δομή στον αρχικό χώρο ή με ανεξάρτητες ετικέτες.
Επιλογή χαρακτηριστικών, ενσωματώσεις και αξιολόγηση
Η επιλογή χαρακτηριστικών διατηρεί τις αρχικές μεταβλητές μέσω φίλτρων, περιτυλιγμάτων ή σημαντικότητας βάσει μοντέλου· η μάθηση αναπαράστασης δημιουργεί νέα λανθάνοντα χαρακτηριστικά χρησιμοποιώντας autoencoders ή επιβλεπόμενα μοντέλα. Οι τυχαίες προβολές διατηρούν τις αποστάσεις κατά προσέγγιση υπό ορισμένες συνθήκες και προσφέρουν αποδοτικά βασικά σημεία. Επιλέξτε μέθοδο βάσει συμπίεσης, οπτικοποίησης, μείωσης θορύβου, ταχύτητας, αποθήκευσης ή απόδοσης μοντέλου. Εκπαιδεύστε τον μειωτή μόνο στα δεδομένα εκπαίδευσης, στη συνέχεια μετασχηματίστε τα σύνολα επικύρωσης και δοκιμής. Η επιβλεπόμενη μείωση πρέπει να είναι ενσωματωμένη μέσα στη διασταυρούμενη επικύρωση για να αποφευχθεί η διαρροή ετικετών.
Αξιολογήστε την εξηγούμενη διακύμανση ή την ανακατασκευή για γραμμική συμπίεση, την αξιοπιστία και τη διατήρηση γειτονιάς για οπτικοποίηση, και την ακρίβεια, την βαθμονόμηση, την καθυστέρηση και την ανθεκτικότητα για πρόβλεψη. Μετρήστε τη σταθερότητα μεταξύ δειγμάτων και σπόρων. Εξετάστε αν σπάνιες κλάσεις ή ευαίσθητες ομάδες συμπιέζονται και αν είναι δυνατή η αντίστροφη απεικόνιση. Οι μειωμένες συντεταγμένες μπορούν ακόμη να περιέχουν ιδιωτικές πληροφορίες· ένα δισδιάστατο γράφημα δεν αποτελεί ανωνυμοποίηση. Καταγράψτε τον μετασχηματισμό, τον κλιμακωτή, τη σειρά χαρακτηριστικών και τους περιορισμούς.
Χρήση στην παραγωγή
Η εξυπηρέτηση απαιτεί τον ακριβή προσαρμοσμένο μετασχηματισμό και το σχήμα εισόδου. Παρακολουθήστε τις ελλιπείς ιδιότητες, την αλλαγή εύρους, την κατανομή των βαθμολογιών των συνιστωσών, το σφάλμα ανακατασκευής και τα επακόλουθα αποτελέσματα. Εάν εμφανιστούν νέες κατηγορίες ή αισθητήρες, επανεκπαιδεύστε και δημιουργήστε έκδοση ολόκληρης της αλυσίδας επεξεργασίας αντί να προσθέτετε στήλες σιωπηρά. Η μείωση μπορεί να βελτιώσει τον υπολογισμό και να αφαιρέσει θόρυβο από ένα μοντέλο, αλλά μπορεί επίσης να απορρίψει αδύναμα σήματα σημαντικά για σπάνια γεγονότα. Θεωρήστε το ως ένα βήμα μετρήσεων που έχει μάθει, του οποίου οι διατηρημένες και οι χαμένες πληροφορίες πρέπει να δοκιμαστούν σε σχέση με την απόφαση.
Παραδειγματική εφαρμογή: μείωση χαρακτηριστικών συμπεριφοράς πελατών
Ένας αναλυτής τυποποιεί 200 μετρήσεις συμπεριφοράς και εφαρμόζει PCA μόνο στους πελάτες εκπαίδευσης. Η διασταυρούμενη επικύρωση επιλέγει τον αριθμό των συνιστωσών βάσει της απόδοσης αποχώρησης και της σταθερότητας, όχι ενός δισδιάστατου διαγράμματος διασποράς. Οι συντελεστές ελέγχονται για κυριαρχημένες πηγές και ελλιπείς τιμές. Η PCA, η επιλογή χαρακτηριστικών, η τυχαία προβολή και ένα μη μειωμένο κανονικοποιημένο μοντέλο συγκρίνονται ως προς τη βαθμονόμηση, την καθυστέρηση και τα αποτελέσματα για σπάνια τμήματα πελατών. Επαναλαμβανόμενα δείγματα ελέγχουν επίσης αν οι κυριότερες συνιστώσες και τα επακόλουθα συμπεράσματα παραμένουν σταθερά.
Η υλοποιημένη αλυσίδα επεξεργασίας καθορίζει τη σειρά των χαρακτηριστικών, τον κλιμακωτή και τις συνιστώσες και απορρίπτει ελλιπείς εκδόσεις σχήματος. Η παρακολούθηση καταγράφει τις κατανομές των συνιστωσών, το σφάλμα ανακατασκευής και τα επακόλουθα αποτελέσματα. Μια οπτικοποίηση με φαινομενικές ομάδες χρησιμοποιείται για τη δημιουργία ερωτήσεων, όχι για την ανάθεση προσωπικοτήτων πελατών. Επειδή οι λανθάνοντες συνιστώσες εξακολουθούν να κωδικοποιούν τη συμπεριφορά, η πρόσβαση και η διατήρηση παραμένουν ελεγχόμενες. Εάν αλλάξουν οι ορισμοί πηγής, ο πλήρης μετασχηματισμός και το μοντέλο ξαναχτίζονται και επικυρώνονται αντί να προβάλουν ασυμβίβαστα δεδομένα σε παλιές συνιστώσες.
Απόδειξη υλοποίησης και ετοιμότητα λειτουργίας
Μια απόφαση παραγωγής απαιτεί περισσότερα από μια επιτυχημένη επίδειξη. Ορίστε τους προοριζόμενους χρήστες, το περιβάλλον λειτουργίας, τις εισόδους, τις εξόδους, τις εξαρτήσεις, τον ιδιοκτήτη και τις συνέπειες κάθε σημαντικής αποτυχίας. Καθιερώστε μια αναπαραγώγιμη βάση και ένα εκδοτικό σύνολο αξιολόγησης πριν από τη ρύθμιση. Δοκιμάστε κανονικές περιπτώσεις, όρια, εσφαλμένες ή ελλιπείς εισόδους, αλλαγή κατανομής, διακοπή εξαρτήσεων, κακή χρήση και τις ομάδες ή τα περιβάλλοντα που είναι πιο πιθανό να παραμελούνται. Μετρήστε την ποιότητα της εργασίας μαζί με τη βαθμονόμηση ή την αβεβαιότητα, την καθυστέρηση, την απόδοση, το κόστος πόρων, την προσβασιμότητα, την ιδιωτικότητα και την ασφάλεια. Καταγράψτε κάθε μετασχηματισμό και όριο ώστε ένας ανεξάρτητος ελεγκτής να μπορεί να αναπαράγει το αποτέλεσμα και να διακρίνει την απόδειξη από ένα ελκυστικό πρωτότυπο.
Πριν την κυκλοφορία, αναθέστε εξουσιοδότηση για την έκδοση, τις εξαιρέσεις, τις αλλαγές, την επαναφορά και τη συνταγιά. Χρησιμοποιήστε σταδιακή κυκλοφορία, διατηρήστε ασφαλή εναλλακτική λύση και επαληθεύστε την παρακολούθηση με σκόπιμα ενσωματωμένες αποτυχίες. Η λειτουργική τηλεμετρία πρέπει να αποκαλύπτει την ποιότητα εισόδου, τη συμπεριφορά εξόδου, την έκδοση μοντέλου ή κανόνα, την υγεία εξαρτήσεων, τις ανθρώπινες παρεμβάσεις και τα επιβεβαιωμένα αποτελέσματα χωρίς τη συλλογή περιττών ευαίσθητων δεδομένων. Ορίστε όρια ειδοποιήσεων και υπεύθυνο απόκρισης, στη συνέχεια ελέγξτε τα πραγματικά αποδεικτικά στοιχεία μετά την υλοποίηση αντί να υποθέτετε ότι η εκτός σύνδεσης απόδοση θα παραμείνει. Επαναξιολογήστε όποτε αλλάξουν οι πηγές δεδομένων, οι χρήστες, τα μοντέλα, οι προμηθευτές, οι πολιτικές, το υλικό ή οι στόχοι. Ένα συντηρημένο σύστημα χρειάζεται επίσης τεκμηριωμένη αποκατάσταση, εκμάθηση περιστατικών, διαδικασίες διαγραφής και διατήρησης, και ένα σαφές σημείο όπου πρέπει να απενεργοποιηθεί ή να αντικατασταθεί.
Συχνές ερωτήσεις
Βελτιώνει πάντα η μείωση διαστάσεων ένα μοντέλο;
Όχι. Μπορεί να απορρίψει προβλεπτικές πληροφορίες ή να δυσκολέψει την ερμηνεία. Συγκρίνετε με μια βάση χωρίς μείωση σε δεδομένα που κρατήθηκαν εκτός εκπαίδευσης.
Αποδεικνύουν τα χωριστά clusters του t‑SNE ότι υπάρχουν πραγματικές κλάσεις;
Όχι. Ο χάρτης είναι μια βελτιστοποιημένη οπτικοποίηση των σχέσεων γειτονιάς και μπορεί να δημιουργήσει φαινομενικό διαχωρισμό. Επικυρώστε τα clusters με ανεξάρτητες αποδείξεις.
Κύριες αναφορές
