Τι είναι το Ensemble Learning;

Một από τις πιο ισχυρές τεχνικές μηχανικής μάθησης είναι το ensemble learning. Ensemble μάθηση είναι η χρήση πολλαπλών μοντέλων μηχανικής μάθησης για να βελτιωθεί η αξιοπιστία και η ακρίβεια των προβλέψεων. Πώς όμως η χρήση πολλαπλών μοντέλων μηχανικής μάθησης οδηγεί σε πιο ακριβείς προβλέψεις; Ποια τεχνικές χρησιμοποιούνται για να δημιουργηθούν μοντέλα ensemble learning; Θα εξετάσουμε τις απαντήσεις σε αυτά τα ερωτήματα, αναλύοντας το λόγο για τη χρήση μοντέλων ensemble και τους κύριους τρόπους δημιουργίας τους.

Τι είναι το Ensemble Learning;

Σαφώς, το ensemble learning είναι η διαδικασία εκπαίδευσης πολλαπλών μοντέλων μηχανικής μάθησης και συνδυασμού των εξόδων τους. Τα διαφορετικά μοντέλα χρησιμοποιούνται ως βάση για να δημιουργηθεί ένα ιδανικό προβλεπτικό μοντέλο. Ο συνδυασμός ενός διαφορετικού συνόλου ατομικών μοντέλων μηχανικής μάθησης μπορεί να βελτιώσει τη σταθερότητα του συνολικού μοντέλου, οδηγώντας σε πιο ακριβείς προβλέψεις. Τα μοντέλα ensemble learning είναι συχνά πιο αξιόπιστα από τα ατομικά μοντέλα και, ως αποτέλεσμα, συχνά κατατάσσονται πρώτα σε πολλές διαγωνιστικές μηχανικής μάθησης.

Υπάρχουν διάφορες τεχνικές που μπορεί να χρησιμοποιήσει ένας μηχανικός για να δημιουργήσει ένα μοντέλο ensemble learning. Απλές τεχνικές ensemble learning περιλαμβάνουν πράγματα όπως η μέσος όρος των εξόδων των διαφορετικών μοντέλων, ενώ υπάρχουν επίσης πιο σύνθετες μεθόδους και αλγόριθμους που έχουν αναπτυχθεί ειδικά για να συνδυάσουν τις προβλέψεις πολλαπλών βασικών μοντέλων/μαθητών.

Γιατί να Χρησιμοποιήσετε Τεχνικές Εκπαίδευσης Ensemble;

Τα μοντέλα μηχανικής μάθησης possono να διαφέρουν μεταξύ τους για διάφορους λόγους. Τα μοντέλα μηχανικής μάθησης μπορεί να λειτουργούν σε διαφορετικά δείγματα του πληθυσμού, μπορεί να χρησιμοποιηθούν διαφορετικές τεχνικές μοντελοποίησης και μπορεί να χρησιμοποιηθεί διαφορετική υπόθεση.

Φανταστείτε ότι παίζετε ένα παιχνίδι trivia με μια μεγάλη ομάδα ανθρώπων. Αν είστε σε μια ομάδα μόνος σας, υπάρχουν bound να υπάρχουν κάποια θέματα που γνωρίζετε και πολλά θέματα που δεν γνωρίζετε. Τώρα υποθέστε ότι παίζετε σε μια ομάδα με άλλους ανθρώπους. Όπως και εσείς, θα έχουν κάποια γνώση σχετικά με τις δικές τους ειδικότητες και keine γνώση άλλων θεμάτων. Όμως όταν η γνώση σας συνδυαστεί, έχετε πιο ακριβείς εκτιμήσεις για περισσότερα πεδία και ο αριθμός των θεμάτων που η ομάδα σας δεν γνωρίζει μειώνεται. Αυτό είναι το ίδιο принцип που υποκρύπτει το ensemble learning, συνδυάζοντας τις προβλέψεις των διαφορετικών μελών της ομάδας (ατομικά μοντέλα) για να βελτιωθεί η ακρίβεια και να ελαττωθεί ο αριθμός των λαθών.

Οι στατιστικολόγοι έχουν αποδείξει ότι όταν μια ομάδα ανθρώπων ζητηθεί να μαντέψει τη σωστή απάντηση σε μια δεδομένη ερώτηση με einen σειρά πιθανών απαντήσεων, όλες οι απαντήσεις τους σχηματίζουν μια κατανομή πιθανότητας. Οι άνθρωποι που πραγματικά γνωρίζουν τη σωστή απάντηση θα επιλέξουν τη σωστή απάντηση με εμπιστοσύνη, ενώ οι άνθρωποι που επιλέγουν τις λανθασμένες απαντήσεις θα διανείμουν τις εκτιμήσεις τους σε όλη τη σειρά των πιθανών λανθασμένων απαντήσεων. Επιστρέφοντας στο παράδειγμα του παιχνιδιού trivia, αν εσείς και οι δύο φίλοι σας γνωρίζετε τη σωστή απάντηση είναι Α, όλοι οι τρεις θα ψηφίσουν Α, ενώ οι τρεις άλλοι άνθρωποι στην ομάδα σας που δεν γνωρίζουν την απάντηση είναι πιθανό να ψηφίσουν λανθασμένα Β, Γ, Δ ή Ε. Το αποτέλεσμα είναι ότι η Α έχει τρεις ψήφους και οι άλλες απαντήσεις είναι πιθανό να έχουν μόνο μία ή δύο ψήφους το πολύ.

Όλα τα μοντέλα έχουν κάποιο βαθμό σφάλματος. Τα σφάλματα για ένα μοντέλο θα είναι διαφορετικά από τα σφάλματα που παράγονται από ένα άλλο μοντέλο, καθώς τα μοντέλα είναι διαφορετικά για τους λόγους που περιγράφηκαν παραπάνω. Όταν εξεταστούν όλα τα σφάλματα, δεν θα είναι συνωστισμένα γύρω από μια απάντηση ή μια άλλη, αλλά θα είναι σκορπισμένα γύρω. Οι λανθασμένες εκτιμήσεις είναι ουσιαστικά διασκορπισμένες σε όλες τις πιθανές λανθασμένες απαντήσεις, ακυρώνοντας η μια την άλλη. Εν τω μεταξύ, οι σωστές εκτιμήσεις από τα διαφορετικά μοντέλα θα είναι συνωστισμένες γύρω από τη σωστή, σωστή απάντηση. Όταν χρησιμοποιούνται τεχνικές εκπαίδευσης ensemble, η σωστή απάντηση μπορεί να βρεθεί με μεγαλύτερη αξιοπιστία.

Απλές Τεχνικές Εκπαίδευσης Ensemble

Απλές τεχνικές εκπαίδευσης ensemble συνήθως απλώς περιλαμβάνουν την εφαρμογή στατιστικών μεθόδων σύνοψης, όπως η καθορισμός του mode, του μέσου ή του σταθμισμένου μέσου ενός συνόλου προβλέψεων.

Το mode αναφέρεται στο πιο συχνά εμφανιζόμενο στοιχείο μέσα σε ένα σύνολο αριθμών. Για να ληφθεί το mode, τα ατομικά μοντέλα μάθησης επιστρέφουν τις προβλέψεις τους και αυτές οι προβλέψεις θεωρούνται ψήφοι προς την τελική πρόβλεψη. Η καθορισμός του μέσου των προβλέψεων γίνεται απλώς με τον υπολογισμό του αριθμητικού μέσου των προβλέψεων, στρογγυλοποιημένο στο πλησιέστερο ακέραιο. Τέλος, μπορεί να υπολογιστεί ένα σταθμισμένο μέσο, αναθέτοντας διαφορετικά σταθμούς στα μοντέλα που χρησιμοποιούνται για να δημιουργηθούν προβλέψεις, με τους σταθμούς να αντιπροσωπεύουν τη θεωρούμενη σημασία του μοντέλου. Η αριθμητική αναπαράσταση της πρόβλεψης της κατηγορίας πολλαπλασιάζεται μαζί με einen σταθμό από 0 έως 1,0, οι ατομικές σταθμισμένες προβλέψεις συνδυάζονται και το αποτέλεσμα είναι στρογγυλοποιημένο στο πλησιέστερο ακέραιο.

Προηγμένες Τεχνικές Εκπαίδευσης Ensemble

Υπάρχουν τρεις κύριες προηγμένες τεχνικές εκπαίδευσης ensemble, καθεμία από τις οποίες σχεδιάστηκε για να αντιμετωπίσει ένα συγκεκριμένο είδος προβλήματος μηχανικής μάθησης. Τεχνικές “bagging” χρησιμοποιούνται για να μειώσουν τη διασπορά των προβλέψεων του μοντέλου, με τη διασπορά να αναφέρεται σε πόσο διαφέρει το αποτέλεσμα των προβλέψεων όταν βασίζεται στα ίδια δεδομένα. Τεχνικές “boosting” χρησιμοποιούνται για να καταπολεμήσουν την προκατάληψη των μοντέλων. Τέλος, η “συστάθμιση” χρησιμοποιείται για να βελτιώσει τις προβλέψεις γενικά.

Οι μεθόδους ensemble learning μπορούν γενικά να χωριστούν σε δύο διαφορετικές ομάδες: ακολουθιακές μεθόδους και παράλληλες μεθόδους ensemble.

Οι ακολουθιακές μεθόδους ensemble ονομάζονται “ακολουθιακές” επειδή τα βασικά μοντέλα/μαθητές παράγονται ακολουθιακά. Σε περίπτωση ακολουθιακών μεθόδων, η βασική ιδέα είναι ότι η εξάρτηση μεταξύ των βασικών μαθητών εκμεταλλεύεται για να ληφθούν πιο ακριβείς προβλέψεις. Τα λανθασμένα παραδείγματα έχουν τους σταθμούς τους προσαρμοσμένους, ενώ τα σωστά παραδείγματα διατηρούν τους ίδιους σταθμούς. Κάθε φορά που παράγεται ein νέο μαθητής, οι σταθμοί αλλάζουν και η ακρίβεια (ελπίζουμε) βελτιώνεται.

Σε αντίθεση με τις ακολουθιακές μεθόδους ensemble, οι παράλληλες μεθόδους ensemble παράγουν τα βασικά μοντέλα παράλληλα. Όταν εκτελείται παράλληλη εκπαίδευση ensemble, η ιδέα είναι να εκμεταλλευτεί το γεγονός ότι τα βασικά μοντέλα είναι ανεξάρτητα, καθώς ο γενικός ρυθμός σφάλματος μπορεί να μειωθεί με τον μέσο όρο των προβλέψεων των ατομικών μαθητών.

Οι τεχνικές εκπαίδευσης ensemble μπορούν να είναι είτε ομοιογενείς είτε ετερογενείς. Οι περισσότερες μεθόδους ensemble learning είναι ομοιογενείς, που σημαίνει ότι χρησιμοποιούν ένα seul τύπο βασικού μοντέλου/αλγορίθμου. Σε αντίθεση, οι ετερογενείς συστοιχίες χρησιμοποιούν διαφορετικούς αλγόριθμους μάθησης, ποικιλώντας και διαφοροποιώντας τους μαθητές για να διασφαλίσουν ότι η ακρίβεια είναι όσο το δυνατό υψηλότερη.

Παραδείγματα Αλγορίθμων Ensemble Learning

Οπτικοποίηση της ενίσχυσης ensemble. Φωτογραφία: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Παραδείγματα ακολουθιακών μεθόδων ensemble περιλαμβάνουν AdaBoost, XGBoost και Gradient tree boosting. Αυτά είναι όλα μοντέλα ενίσχυσης. Για αυτά τα μοντέλα ενίσχυσης, ο στόχος είναι να μετατρέψουν τους αδύναμους, υποβαθμισμένους μαθητές σε πιο ισχυρούς μαθητές. Μοντέλα όπως AdaBoost και XGBoost ξεκινούν με πολλούς αδύναμους μαθητές που εκτελούνται ελαφρώς καλύτερα από τυχαία μαντέψιμο. Καθώς συνεχίζεται η εκπαίδευση, οι σταθμοί εφαρμόζονται στα δεδομένα και προσαρμόζονται. Οι περιπτώσεις που ήταν λανθασμένα ταξινομημένες από τους μαθητές στις προηγούμενες στροφές της εκπαίδευσης δίνονται περισσότερος σταθμός. Μετά από αυτή τη διαδικασία που επαναλαμβάνεται για τον επιθυμητό αριθμό στροφών εκπαίδευσης, οι προβλέψεις συνδυάζονται μέσω είτε ενός σταθμισμένου συνόλου (για εργασίες παλινδρόμησης) και ενός σταθμισμένου ψηφού (για εργασίες ταξινόμησης).

Η διαδικασία μάθησης bagging. Φωτογραφία: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Ein παράδειγμα παράλληλης μεθόδου ensemble είναι ein ταξινομητής Random Forest, και τα Random Forests είναι επίσης ein παράδειγμα μιας τεχνικής bagging. Ο όρος “bagging” προέρχεται από “bootstrap aggregation”. Δείγματα λαμβάνονται από το συνολικό σύνολο δεδομένων χρησιμοποιώντας eine τεχνική δειγματοληψίας που ονομάζεται “bootstrap sampling”, τα οποία χρησιμοποιούνται από τα βασικά μοντέλα για να κάνουν προβλέψεις. Για εργασίες ταξινόμησης, οι εξόδους των βασικών μοντέλων συνδυάζονται χρησιμοποιώντας ψηφοφορία, ενώ για εργασίες παλινδρόμησης, οι εξόδους των βασικών μοντέλων συνδυάζονται χρησιμοποιώντας μέσο όρο. Τα Random Forests χρησιμοποιούν ατομικά δέντρα αποφάσεων ως τα βασικά μοντέλα τους, και κάθε δέντρο στο ensemble κατασκευάζεται χρησιμοποιώντας ein διαφορετικό δείγμα από το σύνολο δεδομένων. Ein τυχαίος υποσυνόλου χαρακτηριστικών χρησιμοποιείται επίσης για να γεννήσει το δέντρο. Οδηγώντας σε高度 randomized ατομικά δέντρα αποφάσεων, τα οποία συνδυάζονται για να παρέχουν αξιόπιστες προβλέψεις.

Οπτικοποίηση της συστάθμισης ensemble. Φωτογραφία: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Σε σχέση με τις τεχνικές συστάθμισης ensemble, πολλαπλά μοντέλα παλινδρόμησης ή ταξινόμησης συνδυάζονται μέσω eines υψηλότερου επιπέδου, μετα-μοντέλου. Τα χαμηλότερα επίπεδα, βασικά μοντέλα εκπαιδεύονται με την τροφοδοσία του ολόκληρου συνόλου δεδομένων. Οι εξόδους των βασικών μοντέλων χρησιμοποιούνται ως χαρακτηριστικά για να εκπαιδεύσουν το μετα-μοντέλο. Τα μοντέλα συστάθμισης ensemble είναι συχνά ετερογενή φύσης.