Τι είναι η Μείωση Διαστατικότητας;

Τι είναι η Μείωση Διαστατικότητας;

Μείωση διαστατικότητας είναι μια διαδικασία που χρησιμοποιείται για να μειώσει τη διαστατικότητα ενός συνόλου δεδομένων, λαμβάνοντας πολλές ιδιότητες και τις αντιπροσωπεύοντας ως λιγότερες ιδιότητες. Για παράδειγμα, η μείωση διαστατικότητας θα μπορούσε να χρησιμοποιηθεί για να μειώσει ένα σύνολο δεδομένων από είκοσι ιδιότητες σε μόνο quelques ιδιότητες. Η μείωση διαστατικότητας χρησιμοποιείται συνήθως σε ακαδημαϊκές εργασίες μη επιβλεπόμενης μάθησης για να δημιουργήσει αυτόματα τάξεις από πολλές ιδιότητες. Για να κατανοήσουμε καλύτερα γιατί και πώς χρησιμοποιείται η μείωση διαστατικότητας, θα εξετάσουμε τα προβλήματα που σχετίζονται με υψηλές διαστάσεις δεδομένων και τις πιο δημοφιλείς μεθόδους μείωσης διαστατικότητας.

Περισσότερες Διαστάσεις Οδηγούν σε Υπερπροσαρμογή

Η διαστατικότητα αναφέρεται στον αριθμό των ιδιοτήτων/στηλών μέσα σε ένα σύνολο δεδομένων.

Συχνά υποθέτουμε ότι στην μηχανική μάθηση, περισσότερες ιδιότητες είναι καλύτερες, καθώς δημιουργούν ένα πιο ακριβές μοντέλο. Ωστόσο, περισσότερες ιδιότητες δεν μεταφράζονται απαραίτητα σε καλύτερο μοντέλο.

Οι ιδιότητες του συνόλου δεδομένων possono να ποικίλλουν ευρέως όσον αφορά την उपयσιμότητά τους για το μοντέλο, με πολλές ιδιότητες να έχουν μικρή σημασία. Επιπλέον, όσο περισσότερες ιδιότητες περιέχει το σύνολο δεδομένων, τόσο περισσότερα δείγματα απαιτούνται για να διασφαλιστεί ότι οι διάφορες συνδυασμοί ιδιοτήτων αντιπροσωπεύονται καλά μέσα στα δεδομένα. Έτσι, ο αριθμός των δειγμάτων αυξάνεται αναλογικά με τον αριθμό των ιδιοτήτων. Περισσότερα δείγματα και περισσότερες ιδιότητες σημαίνουν ότι το μοντέλο πρέπει να είναι πιο σύνθετο, και καθώς τα μοντέλα γίνονται πιο σύνθετα, γίνονται πιο ευαίσθητα στην υπερπροσαρμογή. Το μοντέλο μαθαίνει τα πρότυπα στα δεδομένα εκπαίδευσης πολύ καλά και αποτυγχάνει να γενικευθεί σε δεδομένα εκτός δειγμάτων.

Η μείωση της διαστατικότητας του συνόλου δεδομένων έχει πολλά οφέλη. Όπως αναφέρθηκε, απλούστερα μοντέλα είναι λιγότερο ευαίσθητα στην υπερπροσαρμογή, καθώς το μοντέλο δεν πρέπει να κάνει τόσο πολλές υποθέσεις σχετικά με τον τρόπο που οι ιδιότητες σχετίζονται μεταξύ τους. Επιπλέον, λιγότερες διαστάσεις σημαίνουν ότι λιγότερη υπολογιστική ισχύς απαιτείται για την εκπαίδευση των αλγορίθμων. Παρόμοια, λιγότερος χώρος αποθήκευσης απαιτείται για ένα σύνολο δεδομένων που έχει μικρότερη διαστατικότητα. Η μείωση της διαστατικότητας του συνόλου δεδομένων μπορεί επίσης να σας επιτρέψει να χρησιμοποιήσετε αλγορίθμους που δεν είναι κατάλληλοι για συνόλου δεδομένων με πολλές ιδιότητες.

Κοινές Μέθοδοι Μείωσης Διαστατικότητας

Η μείωση διαστατικότητας μπορεί να γίνει με επιλογή ιδιοτήτων ή μηχανική ιδιοτήτων. Η επιλογή ιδιοτήτων είναι όπου ο μηχανικός αναγνωρίζει τις πιο σχετικές ιδιότητες του συνόλου δεδομένων, ενώ η μηχανική ιδιοτήτων είναι η διαδικασία δημιουργίας νέων ιδιοτήτων συνδυάζοντας ή μετατρέποντας άλλες ιδιότητες.

Η επιλογή και η μηχανική ιδιοτήτων possono να γίνουν προγραμματιστικά ή χειροκίνητα. Όταν επιλέγουμε και μηχανίζουμε ιδιότητες χειροκίνητα, το να οραματίζουμε τα δεδομένα για να ανακαλύψουμε συσχετίσεις μεταξύ ιδιοτήτων και τάξεων είναι τυπικό. Η διεξαγωγή μείωσης διαστατικότητας με αυτόν τον τρόπο μπορεί να είναι khá χρονοβόρα και इसलिए einige από τις πιο κοινές μεθόδους μείωσης διαστατικότητας περιλαμβάνουν τη χρήση αλγορίθμων που είναι διαθέσιμοι σε βιβλιοθήκες όπως η Scikit-learn για Python. Αυτοί οι κοινές αλγόριθμοι μείωσης διαστατικότητας περιλαμβάνουν: Ανάλυση Πρωταρχικών Συστατικών (PCA), Singular Value Decomposition (SVD) και Lineαρική Αναλυτική Διακρίνουσα (LDA).

Οι αλγόριθμοι που χρησιμοποιούνται στη μείωση διαστατικότητας για ακαδημαϊκές εργασίες μη επιβλεπόμενης μάθησης είναι συνήθως η PCA και η SVD, ενώ αυτοί που χρησιμοποιούνται για ακαδημαϊκές εργασίες επιβλεπόμενης μάθησης είναι συνήθως η LDA και η PCA. Σε περίπτωση επιβλεπόμενης μάθησης, οι νέες ιδιότητες που δημιουργούνται εισάγονται απλά στο ταξινομητή μηχανικής μάθησης. Σημειώστε ότι οι χρήσεις που περιγράφονται εδώ είναι μόνο γενικές περιπτώσεις και όχι οι μόνοι όροι που μπορούν να χρησιμοποιηθούν αυτές οι τεχνικές. Οι αλγόριθμοι μείωσης διαστατικότητας που περιγράφονται παραπάνω είναι απλά στατιστικές μεθόδους και χρησιμοποιούνται εκτός μοντέλων μηχανικής μάθησης.

Ανάλυση Πρωταρχικών Συστατικών

Φωτογραφία: Πίνακας με πρωταρχικά συστατικά που έχουν αναγνωριστεί

Ανάλυση Πρωταρχικών Συστατικών (PCA) είναι μια στατιστική μέθοδος που αναλύει τα χαρακτηριστικά/ιδιότητες του συνόλου δεδομένων και συνοψίζει τις ιδιότητες που είναι οι πιο επικρατές. Οι ιδιότητες του συνόλου δεδομένων συνδυάζονται μαζί σε αναπαραστάσεις που διατηρούν τα περισσότερα από τα χαρακτηριστικά των δεδομένων αλλά διασκορπίζονται σε λιγότερες διαστάσεις. Μπορείτε να σκεφτείτε αυτό ως “σπάσιμο” των δεδομένων από μια υψηλότερη διαστατική αναπαράσταση σε μια με μόνο quelques διαστάσεις.

Ως παράδειγμα μιας κατάστασης όπου η PCA μπορεί να είναι χρήσιμη, σκεφτείτε τους διάφορους τρόπους με τους οποίους θα μπορούσατε να περιγράψετε το κρασί. Ενώ είναι δυνατό να περιγράψετε το κρασί χρησιμοποιώντας πολλές πολύ συγκεκριμένες ιδιότητες όπως τα επίπεδα CO2, τέτοιες συγκεκριμένες ιδιότητες μπορεί να είναι σχετικά άχρηστες όταν προσπαθείτε να αναγνωρίσετε ένα συγκεκριμένο είδος κρασιού. Αντίθετα, θα ήταν πιο σωστό να αναγνωρίσετε το είδος με βάση πιο γενικές ιδιότητες όπως η γεύση, το χρώμα και η ηλικία. Η PCA μπορεί να χρησιμοποιηθεί για να συνδυάσει πιο συγκεκριμένες ιδιότητες και να δημιουργήσει ιδιότητες που είναι πιο γενικές, χρήσιμες και λιγότερο πιθανό να προκαλέσουν υπερπροσαρμογή.

Η PCA πραγματοποιείται με τον προσδιορισμό του πώς οι εισαγόμενοι ιδιότητες διαφέρουν από το μέσο σε σχέση με το ένα το άλλο, προσδιορίζοντας εάν υπάρχουν σχέσεις μεταξύ των ιδιοτήτων. Για να το κάνετε αυτό, δημιουργείται ένας πίνακας συσχετίσεων, ο οποίος είναι ένας πίνακας που αποτελείται από τις συσχετίσεις σε σχέση με τα πιθανά ζευγάρια των ιδιοτήτων του συνόλου δεδομένων. Αυτό χρησιμοποιείται για να καθορίσει τις συσχετίσεις μεταξύ των μεταβλητών, με μια αρνητική συσχετίση να υποδηλώνει μια αντίστροφη συσχετίση και μια θετική συσχετίση να υποδηλώνει μια θετική συσχετίση.

Οι πρωταρχικοί (οι πιο επικρατούντες) συντελεστές του συνόλου δεδομένων δημιουργούνται με τη δημιουργία γραμμικών συνδυασμών των αρχικών μεταβλητών, το οποίο γίνεται με τη βοήθεια της γραμμικής άλγεβρας που ονομάζεται ειγenvectors και εigneτιμές. Οι συνδυασμοί δημιουργούνται έτσι ώστε οι πρωταρχικοί συντελεστές να είναι μη συσχετισμένοι μεταξύ τους. Τα περισσότερα από τα δεδομένα που περιέχονται στις αρχικές μεταβλητές συμπιέζονται στους πρώτους quelques πρωταρχικούς συντελεστές, που σημαίνει ότι έχουν δημιουργηθεί νέες ιδιότητες (οι πρωταρχικοί συντελεστές) που περιέχουν τις πληροφορίες από το αρχικό σύνολο δεδομένων σε ένα μικρότερο διαστατικό χώρο.

Αποσύνθεση Singular Value

Φωτογραφία: Από Cmglee – Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=67853297

Αποσύνθεση Singular Value (SVD) είναι χρησιμοποιείται για να απλοποιήσει τις τιμές μέσα σε einen πίνακα, μειώνοντας τον πίνακα στα συνθετικά του μέρη και κάνωντας τις υπολογισμοί με αυτόν τον πίνακα ευκολότερους. Η SVD μπορεί να χρησιμοποιηθεί για πραγματικές και复雑ες πίνακες, αλλά για τους σκοπούς αυτής της εξήγησης, θα εξετάσουμε πώς να αποσυνθέσουμε einen πίνακα πραγματικών τιμών.

Υποθέτουμε ότι έχουμε einen πίνακα που αποτελείται από πραγματικές τιμές και ο στόχος μας είναι να μειώσουμε τον αριθμό των στηλών/ιδιοτήτων μέσα στον πίνακα, παρόμοια με τον στόχο της PCA. Όπως και η PCA, η SVD θα συμπιέσει τη διαστατικότητα του πίνακα ενώ διατηρώντας όσο το δυνατόν περισσότερη από τη μεταβλητότητα του πίνακα. Αν θέλουμε να εργαστούμε στον πίνακα A, μπορούμε να αντιπροσωπεύσουμε τον πίνακα A ως τρεις άλλους πίνακες που ονομάζονται U, D και V. Ο πίνακας A αποτελείται από τα αρχικά x * y στοιχεία ενώ ο πίνακας U αποτελείται από στοιχεία X * X (είναι ένας ορθογώνιος πίνακας). Ο πίνακας V είναι ένας άλλος ορθογώνιος πίνακας που περιέχει y * y στοιχεία. Ο πίνακας D περιέχει τα στοιχεία x * y και είναι ένας διαγώνιος πίνακας.

Για να αποσυνθέσουμε τις τιμές για τον πίνακα A, πρέπει να μετατρέψουμε τις αρχικές singular πίνακες σε διαγώνιες τιμές που βρίσκονται σε einen νέο πίνακα. Όταν εργαζόμαστε με ορθογώνιους πίνακες, οι ιδιότητές τους δεν αλλάζουν αν πολλαπλασιαστούν με άλλα αριθμούς. Έτσι, μπορούμε να προσεγγίσουμε τον πίνακα A λαμβάνοντας τους ορθογώνιους πίνακες μαζί με την μεταστροφή του πίνακα V. Το αποτέλεσμα είναι ένας πίνακας ισοδύναμος με τον αρχικό μας A.

Όταν ο πίνακας A αποσυντεθεί σε πίνακες U, D και V, αυτοί οι πίνακες περιέχουν τα δεδομένα που βρίσκονται στον πίνακα A. Ωστόσο, οι αριστερές στήλες των πινάκων θα περιέχουν την πλειοψηφία των δεδομένων. Μπορούμε να πάρουμε μόνο τις πρώτες quelques στήλες και να έχουμε μια αναπαράσταση του πίνακα A που έχει πολύ λιγότερες διαστάσεις και τα περισσότερα δεδομένα μέσα στο A.

Λινεαρική Αναλυτική Διακρίνουσα

Αριστερά: Πίνακας πριν από την LDA, Δεξιά: Άξονας μετά από LDA, τώρα διαχωρίσιμος

Λινεαρική Αναλυτική Διακρίνουσα (LDA) είναι μια διαδικασία που λαμβάνει δεδομένα από einen πολυπαραμετρικό γράφο και τα προβάλει σε einen γραμμικό γράφο. Μπορείτε να το φανταστείτε σκέφτοντας einen二二-dimensional γράφο γεμάτο με σημεία που ανήκουν σε δύο διαφορετικές τάξεις. Υποθέτουμε ότι τα σημεία είναι σκορπισμένα così που δεν μπορεί να γραφτεί μια γραμμή που θα τα χωρίσει καλά. Για να αντιμετωπίσουμε αυτήν την κατάσταση, τα σημεία που βρίσκονται στον二二-dimensional γράφο μπορούν να μειωθούν σε einen BİR-dimensional γράφο (μία γραμμή). Αυτή η γραμμή θα έχει όλα τα σημεία που είναι κατανεμημένα σε αυτήν και μπορεί να χωριστεί σε δύο τμήματα που αντιπροσωπεύουν την καλύτερη δυνατή διάκριση των δεδομένων.

Όταν πραγματοποιούμε LDA, υπάρχουν δύο πρωταρχικοί στόχοι. Ο πρώτος στόχος είναι η ελαχιστοποίηση της διακύμανσης για τις τάξεις, ενώ ο δεύτερος στόχος είναι η μεγιστοποίηση της απόστασης μεταξύ των μέσων των δύο τάξεων. Αυτοί οι στόχοι επιτυγχάνονται με τη δημιουργία ενός νέου άξονα που θα υπάρχει στον二二-dimensional γράφο. Ο νέος άξονας που δημιουργείται λειτουργεί για να χωρίσει τις δύο τάξεις με βάση τους στόχους που περιγράφηκαν προηγουμένως. Μετά τη δημιουργία του άξονα, τα σημεία που βρίσκονται στον二二-dimensional γράφο τοποθετούνται κατά μήκος του άξονα.

Υπάρχουν τρία βήματα που απαιτούνται για να μετακινήσετε τα αρχικά σημεία σε eine νέα θέση κατά μήκος του νέου άξονα. Στο πρώτο βήμα, η απόσταση μεταξύ των μέσων των ατομικών τάξεων (η διακύμανση μεταξύ τάξεων) χρησιμοποιείται για να υπολογίσει τη διάκριση των τάξεων. Στο δεύτερο βήμα, η διακύμανση μέσα στις διάφορες τάξεις υπολογίζεται, κάνοντας τη διάσταση μεταξύ του δείγματος και του μέσου για την τάξη. Στο τελικό βήμα, ο χώρος με μικρότερη διαστατικότητα που μεγιστοποιεί τη διακύμανση μεταξύ τάξεων δημιουργείται.

Η τεχνική LDA επιτυγχάνει τα καλύτερα αποτελέσματα όταν τα μέσα για τις στόχους τάξεις είναι μακρυά το ένα από το άλλο. Η LDA δεν μπορεί να χωρίσει αποτελεσματικά τις τάξεις με einen γραμμικό άξονα αν τα μέσα για τις κατανομές перекриваются.