Τι είναι το Ensemble Learning;

Μία από τις πιο ισχυρές τεχνικές μηχανικής μάθησης είναι η εκμάθηση συνόλου. Μαζί μάθηση είναι η χρήση πολλαπλών μοντέλων μηχανικής μάθησης για τη βελτίωση της αξιοπιστίας και της ακρίβειας των προβλέψεων. Ωστόσο, πώς η χρήση πολλαπλών μοντέλων μηχανικής μάθησης οδηγεί σε πιο ακριβείς προβλέψεις; Τι είδους τεχνικές χρησιμοποιούνται για τη δημιουργία μοντέλων εκμάθησης συνόλου; Θα διερευνήσουμε την απάντηση σε αυτές τις ερωτήσεις, ρίχνοντας μια ματιά στο σκεπτικό πίσω από τη χρήση μοντέλων συνόλων και τους κύριους τρόπους δημιουργίας μοντέλων συνόλων.

Τι είναι το Ensemble Learning;

Με απλά λόγια, η εκμάθηση συνόλου είναι η διαδικασία εκπαίδευσης πολλαπλών μοντέλων μηχανικής εκμάθησης και συνδυασμού των αποτελεσμάτων τους. Τα διαφορετικά μοντέλα χρησιμοποιούνται ως βάση για τη δημιουργία ενός βέλτιστου προγνωστικού μοντέλου. Ο συνδυασμός ενός διαφορετικού συνόλου μεμονωμένων μοντέλων μηχανικής εκμάθησης μπορεί να βελτιώσει τη σταθερότητα του συνολικού μοντέλου, οδηγώντας σε πιο ακριβείς προβλέψεις. Τα μοντέλα εκμάθησης συνόλου είναι συχνά πιο αξιόπιστα από τα μεμονωμένα μοντέλα, και ως αποτέλεσμα, συχνά κατέχουν την πρώτη θέση σε πολλούς διαγωνισμούς μηχανικής μάθησης.

Υπάρχουν διαφορετικές τεχνικές που μπορεί να χρησιμοποιήσει ένας μηχανικός για να δημιουργήσει ένα μοντέλο εκμάθησης συνόλου. Οι απλές τεχνικές εκμάθησης συνόλου περιλαμβάνουν πράγματα όπως ο μέσος όρος των αποτελεσμάτων διαφορετικών μοντέλων, ενώ υπάρχουν επίσης πιο σύνθετες μέθοδοι και αλγόριθμοι που έχουν αναπτυχθεί ειδικά για να συνδυάζουν τις προβλέψεις πολλών βασικών μαθητών/μοντέλων μαζί.

Γιατί να χρησιμοποιήσετε μεθόδους εκπαίδευσης συνόλου;

Τα μοντέλα μηχανικής μάθησης μπορεί να διαφέρουν μεταξύ τους για διάφορους λόγους. Διαφορετικά μοντέλα μηχανικής μάθησης μπορεί να λειτουργούν σε διαφορετικά δείγματα δεδομένων πληθυσμού, μπορούν να χρησιμοποιηθούν διαφορετικές τεχνικές μοντελοποίησης και μπορεί να χρησιμοποιηθεί διαφορετική υπόθεση.

Φανταστείτε ότι παίζετε ένα παιχνίδι trivia με μια μεγάλη ομάδα ανθρώπων. Εάν είστε μόνοι σας σε μια ομάδα, είναι βέβαιο ότι υπάρχουν ορισμένα θέματα για τα οποία έχετε γνώση και πολλά θέματα για τα οποία δεν γνωρίζετε. Τώρα υποθέστε ότι παίζετε σε μια ομάδα με άλλα άτομα. Όπως και εσείς, θα έχουν κάποιες γνώσεις σχετικά με τις δικές τους ειδικότητες και καμία γνώση άλλων θεμάτων. Ωστόσο, όταν συνδυάζονται οι γνώσεις σας, έχετε πιο ακριβείς εικασίες για περισσότερα πεδία και ο αριθμός των θεμάτων που η ομάδα σας δεν γνωρίζει μειώνεται. Αυτή είναι η ίδια αρχή που βασίζεται στη μάθηση συνόλου, συνδυάζοντας τις προβλέψεις διαφορετικών μελών της ομάδας (μεμονωμένα μοντέλα) για τη βελτίωση της ακρίβειας και την ελαχιστοποίηση των σφαλμάτων.

Οι στατιστικολόγοι έχουν αποδείξει ότι όταν ένα πλήθος ανθρώπων καλείται να μαντέψει τη σωστή απάντηση για μια δεδομένη ερώτηση με μια σειρά πιθανών απαντήσεων, όλες οι απαντήσεις τους σχηματίζουν μια κατανομή πιθανοτήτων. Τα άτομα που γνωρίζουν πραγματικά τη σωστή απάντηση θα επιλέξουν τη σωστή απάντηση με σιγουριά, ενώ τα άτομα που θα επιλέξουν τις λάθος απαντήσεις θα διανείμουν τις εικασίες τους σε όλο το φάσμα των πιθανών λανθασμένων απαντήσεων. Επιστρέφοντας στο παράδειγμα ενός παιχνιδιού trivia, εάν εσείς και οι δύο φίλοι σας ξέρετε ότι η σωστή απάντηση είναι Α, και οι τρεις θα ψηφίσετε Α, ενώ τα άλλα τρία άτομα στην ομάδα σας που δεν γνωρίζουν την απάντηση είναι πιθανό να κάνουν λάθος μαντέψτε Β, Γ, Δ ή Ε. Το αποτέλεσμα είναι ότι ο Α έχει τρεις ψήφους και οι άλλες απαντήσεις είναι πιθανό να έχουν μόνο μία ή δύο ψήφους το μέγιστο.

Όλα τα μοντέλα έχουν κάποιο βαθμό λάθους. Τα σφάλματα για ένα μοντέλο θα είναι διαφορετικά από τα σφάλματα που παράγονται από ένα άλλο μοντέλο, καθώς τα ίδια τα μοντέλα είναι διαφορετικά για τους λόγους που περιγράφονται παραπάνω. Όταν εξεταστούν όλα τα σφάλματα, δεν θα συγκεντρωθούν γύρω από τη μία ή την άλλη απάντηση, αλλά θα είναι διάσπαρτα. Οι λανθασμένες εικασίες διαδίδονται ουσιαστικά σε όλες τις πιθανές λάθος απαντήσεις, ακυρώνοντας η μία την άλλη. Εν τω μεταξύ, οι σωστές εικασίες από τα διαφορετικά μοντέλα θα συγκεντρωθούν γύρω από την αληθινή, σωστή απάντηση. Όταν χρησιμοποιούνται μέθοδοι εκπαίδευσης συνόλου, η σωστή απάντηση μπορεί να βρεθεί με μεγαλύτερη αξιοπιστία.

Απλές Μέθοδοι Εκπαίδευσης Συνόλου

Οι απλές μέθοδοι εκπαίδευσης συνόλου συνήθως περιλαμβάνουν απλώς την εφαρμογή του τεχνική περίληψης στατιστικήςs, όπως ο προσδιορισμός του τρόπου λειτουργίας, του μέσου όρου ή του σταθμισμένου μέσου όρου ενός συνόλου προβλέψεων.

Η λειτουργία αναφέρεται στο στοιχείο που εμφανίζεται πιο συχνά σε ένα σύνολο αριθμών. Για να λάβετε τη λειτουργία, τα μεμονωμένα μοντέλα μάθησης επιστρέφουν τις προβλέψεις τους και αυτές οι προβλέψεις θεωρούνται ψήφοι προς την τελική πρόβλεψη. Ο προσδιορισμός του μέσου όρου των προβλέψεων γίνεται απλά με τον υπολογισμό του αριθμητικού μέσου όρου των προβλέψεων, στρογγυλοποιημένο στον πλησιέστερο ακέραιο. Τέλος, ένας σταθμισμένος μέσος όρος μπορεί να υπολογιστεί με την ανάθεση διαφορετικών βαρών στα μοντέλα που χρησιμοποιούνται για τη δημιουργία προβλέψεων, με τα βάρη να αντιπροσωπεύουν την αντιληπτή σημασία αυτού του μοντέλου. Η αριθμητική αναπαράσταση της πρόβλεψης κλάσης πολλαπλασιάζεται παράλληλα με ένα βάρος από 0 έως 1.0, οι μεμονωμένες σταθμισμένες προβλέψεις αθροίζονται στη συνέχεια και το αποτέλεσμα στρογγυλοποιείται στον πλησιέστερο ακέραιο.

Προηγμένες Μέθοδοι Εκπαίδευσης Συνόλων

Υπάρχουν τρεις κύριες προηγμένες τεχνικές εκπαίδευσης συνόλου, καθεμία από τις οποίες έχει σχεδιαστεί για να αντιμετωπίζει έναν συγκεκριμένο τύπο προβλήματος μηχανικής μάθησης. Τεχνικές «σακούλας». χρησιμοποιούνται για τη μείωση της διακύμανσης των προβλέψεων ενός μοντέλου, με τη διακύμανση να αναφέρεται στο πόσο διαφέρει το αποτέλεσμα των προβλέψεων όταν βασίζονται στην ίδια παρατήρηση. Τεχνικές «ενίσχυσης». χρησιμοποιούνται για την καταπολέμηση της μεροληψίας των μοντέλων. Τελικά, «στοίβαγμα» χρησιμοποιείται για τη βελτίωση των προβλέψεων γενικά.

Οι ίδιες οι μέθοδοι εκμάθησης συνόλου μπορούν γενικά να χωριστούν σε μία από τις δύο διαφορετικές ομάδες: διαδοχικές μεθόδους και μεθόδους παράλληλων συνόλων.

Οι μέθοδοι διαδοχικών συνόλων παίρνουν το όνομα "διαδοχικά" επειδή οι βασικοί μαθητές/μοντέλα δημιουργούνται διαδοχικά. Στην περίπτωση των διαδοχικών μεθόδων, η βασική ιδέα είναι ότι η εξάρτηση μεταξύ των βασικών μαθητών αξιοποιείται προκειμένου να ληφθούν πιο ακριβείς προβλέψεις. Στα παραδείγματα με εσφαλμένη σήμανση προσαρμόζονται τα βάρη τους, ενώ τα παραδείγματα με σωστά επισήμανση διατηρούν τα ίδια βάρη. Κάθε φορά που δημιουργείται ένας νέος μαθητής, τα βάρη αλλάζουν και η ακρίβεια (ελπίζουμε) βελτιώνεται.

Σε αντίθεση με τα μοντέλα διαδοχικών συνόλων, οι μέθοδοι παράλληλων συνόλων δημιουργούν τους βασικούς μαθητές παράλληλα. Κατά τη διεξαγωγή παράλληλης εκμάθησης συνόλου, η ιδέα είναι να εκμεταλλευτεί το γεγονός ότι οι βασικοί εκπαιδευόμενοι έχουν ανεξαρτησία, καθώς το γενικό ποσοστό σφάλματος μπορεί να μειωθεί με τον μέσο όρο των προβλέψεων των μεμονωμένων μαθητών.

Οι μέθοδοι εκπαίδευσης συνόλου μπορεί να είναι είτε ομοιογενείς είτε ετερογενείς. Οι περισσότερες μέθοδοι εκμάθησης συνόλου είναι ομοιογενείς, που σημαίνει ότι χρησιμοποιούν έναν μόνο τύπο βασικού μοντέλου/αλγόριθμου εκμάθησης. Αντίθετα, τα ετερογενή σύνολα κάνουν χρήση διαφορετικών αλγορίθμων μάθησης, διαφοροποιώντας και διαφοροποιώντας τους μαθητές για να εξασφαλίσουν ότι η ακρίβεια είναι όσο το δυνατόν υψηλότερη.

Παραδείγματα αλγορίθμων εκμάθησης συνόλου

Οπτικοποίηση ενίσχυσης συνόλου. Φωτογραφία: Sirakorn μέσω Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Παραδείγματα διαδοχικών μεθόδων συνόλου περιλαμβάνουν AdaBoost, XGBoost, να Ενίσχυση δέντρου κλίσης. Όλα αυτά είναι μοντέλα ενίσχυσης. Για αυτά τα μοντέλα ενίσχυσης, ο στόχος είναι να μετατραπούν οι αδύναμοι, με χαμηλή απόδοση μαθητές σε πιο ισχυρούς μαθητές. Μοντέλα όπως το AdaBoost και το XGBoost ξεκινούν με πολλούς αδύναμους μαθητές που έχουν ελαφρώς καλύτερη απόδοση από την τυχαία εικασία. Καθώς η εκπαίδευση συνεχίζεται, τα βάρη εφαρμόζονται στα δεδομένα και προσαρμόζονται. Περιπτώσεις που ταξινομήθηκαν λανθασμένα από τους μαθητές σε προηγούμενους γύρους εκπαίδευσης έχουν μεγαλύτερη βαρύτητα. Αφού επαναληφθεί αυτή η διαδικασία για τον επιθυμητό αριθμό κύκλων εκπαίδευσης, οι προβλέψεις ενώνονται μεταξύ τους είτε μέσω ενός σταθμισμένου αθροίσματος (για εργασίες παλινδρόμησης) και μιας σταθμισμένης ψήφου (για εργασίες ταξινόμησης).

Η διαδικασία εκμάθησης του bagging. Φωτογραφία: SeattleDataGuy μέσω Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Ένα παράδειγμα μοντέλου παράλληλου συνόλου είναι α Τυχαίο Δάσος ταξινομητής, και το Random Forests είναι επίσης ένα παράδειγμα τεχνικής ενσάρκωσης. Ο όρος "bagging" προέρχεται από το "bootstrap aggregation". Τα δείγματα λαμβάνονται από το συνολικό σύνολο δεδομένων χρησιμοποιώντας μια τεχνική δειγματοληψίας γνωστή ως "bootstrap sampling", τα οποία χρησιμοποιούνται από τους βασικούς μαθητές για να κάνουν προβλέψεις. Για εργασίες ταξινόμησης, τα αποτελέσματα των βασικών μοντέλων συγκεντρώνονται χρησιμοποιώντας ψηφοφορία, ενώ υπολογίζονται κατά μέσο όρο μαζί για εργασίες παλινδρόμησης. Το Random Forests χρησιμοποιεί μεμονωμένα δέντρα απόφασης ως βασικούς μαθητευόμενους και κάθε δέντρο στο σύνολο δημιουργείται χρησιμοποιώντας διαφορετικό δείγμα από το σύνολο δεδομένων. Ένα τυχαίο υποσύνολο χαρακτηριστικών χρησιμοποιείται επίσης για τη δημιουργία του δέντρου. Οδηγεί σε εξαιρετικά τυχαιοποιημένα μεμονωμένα δέντρα απόφασης, τα οποία συνδυάζονται όλα μαζί για να παρέχουν αξιόπιστες προβλέψεις.

Οπτικοποίηση στοίβαξης συνόλου. Φωτογραφία: Supun Setunga μέσω Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Όσον αφορά τις τεχνικές στοίβαξης συνόλων, τα μοντέλα πολλαπλής παλινδρόμησης ή ταξινόμησης συνδυάζονται μαζί μέσω ενός υψηλότερου επιπέδου, μετα-μοντέλου. Τα βασικά μοντέλα κατώτερου επιπέδου εκπαιδεύονται τροφοδοτώντας ολόκληρο το σύνολο δεδομένων. Οι έξοδοι των βασικών μοντέλων χρησιμοποιούνται στη συνέχεια ως χαρακτηριστικά για την εκπαίδευση του μετα-μοντέλου. Τα μοντέλα συνόλων στοίβαξης είναι συχνά ετερογενή στη φύση.