Τι είναι το Meta-Learning;

Τι είναι το Meta-Learning;

Μια από τις ταχύτερα αναπτυσσόμενες περιοχές έρευνας στη μηχανική μάθηση είναι η περιοχή του meta-μάθησης. Το meta-μάθηση, στο контέκστ της μηχανικής μάθησης, είναι η χρήση αλγορίθμων μηχανικής μάθησης για να βοηθήσει στην εκπαίδευση και την βελτιστοποίηση άλλων μοντέλων μηχανικής μάθησης. Όσο το meta-μάθηση γίνεται όλο και πιο δημοφιλές και αναπτύσσονται περισσότερες τεχνικές meta-μάθησης, είναι полезτικό να έχουμε μια κατανόηση του τι είναι το meta-μάθηση και να έχουμε μια αίσθηση των διαφόρων τρόπων με τους οποίους μπορεί να εφαρμοστεί. Ας εξετάσουμε τις ιδέες πίσω από το meta-μάθηση, τύπους του meta-μάθησης, καθώς και einige από τους τρόπους με τους οποίους το meta-μάθηση μπορεί να χρησιμοποιηθεί.

Ο όρος meta-μάθηση δημιουργήθηκε από τον Donald Maudsley για να περιγράψει μια διαδικασία με την οποία οι άνθρωποι αρχίζουν να διαμορφώνουν τι μαθαίνουν, γίνονται “ολοένα και πιο ελεγχόμενοι από τα έθιμα της αντίληψης, της έρευνας, της μάθησης και της ανάπτυξης που έχουν εσωτερικεύσει”. Αργότερα, οι γνωστικοί επιστήμονες και ψυχολόγοι θα περιέγραψαν το meta-μάθηση ως “μάθηση πώς να μαθαίνεις”.

Για την εκδοχή της μηχανικής μάθησης του meta-μάθησης, η γενική ιδέα του “μάθησης πώς να μαθαίνεις” εφαρμόζεται σε συστήματα AI. Στο контέκστ του AI, το meta-μάθηση είναι η ικανότητα ενός τεχνητά ευφυούς μηχανισμού να μαθαίνει πώς να εκτελεί διάφορες σύνθετες εργασίες, λαμβάνοντας τις αρχές που χρησιμοποιήθηκαν για να μάθει μια εργασία και εφαρμόζοντάς τες σε άλλες εργασίες. Τα συστήματα AI συνήθως πρέπει να εκπαιδευτούν για να επιτύχουν μια εργασία μέσω της εξοικείωσης με πολλές μικρές υπο-εργασίες. Αυτή η εκπαίδευση μπορεί να διαρκέσει πολύ καιρό και τα πράγματα AI δεν μεταφέρουν εύκολα τις γνώσεις που έχουν μάθει κατά τη διάρκεια μιας εργασίας σε άλλη εργασία. Η δημιουργία μοντέλων και τεχνικών meta-μάθησης μπορεί να βοηθήσει τα συστήματα AI να μαθαίνουν να γενικεύουν μεθόδους μάθησης και να αποκτάνε νέες ικανότητες πιο γρήγορα.

Τύποι του Meta-Μάθησης

Optimizer Meta-Μάθηση

Το meta-μάθηση χρησιμοποιείται συχνά για να βελτιστοποιήσει την απόδοση ενός ήδη υπάρχοντος νευρωνικού δικτύου. Οι μέθοδοι optimizer meta-μάθησης συνήθως λειτουργούν με την τροποποίηση των υπερπαραμέτρων ενός άλλου νευρωνικού δικτύου για να βελτιστοποιήσουν την απόδοση του βασικού νευρωνικού δικτύου. Το αποτέλεσμα είναι ότι το στόχο δίκτυο πρέπει να γίνει καλύτερο στην εκτέλεση της εργασίας για την οποία εκπαιδεύεται. Ένα παράδειγμα μιας meta-μάθησης βελτιστοποιητή είναι η χρήση ενός δικτύου για να βελτιστοποιήσει τα αποτέλεσματα της κλίσης.

Few-Shots Meta-Μάθηση

Μια προσέγγιση few-shots meta-μάθησης είναι αυτή που ένα βαθύ νευρωνικό δίκτυο σχεδιάζεται το οποίο μπορεί να γενικεύσει από τα δεδομένα εκπαίδευσης σε μη είδη δεδομένα. Ένα παράδειγμα few-shot ταξινόμησης είναι παρόμοιο με μια κανονική εργασία ταξινόμησης, αλλά αντίθετα, τα δείγματα δεδομένων είναι ολόκληρα σύνολα δεδομένων. Το μοντέλο εκπαιδεύεται σε πολλές διαφορετικές εργασίες/σύνολα δεδομένων και στη συνέχεια βελτιστοποιείται για μέγιστη απόδοση στις πολλές εργασίες εκπαίδευσης και μη είδη δεδομένα. Σε αυτήν την προσέγγιση, ένα μόνο δείγμα εκπαίδευσης χωρίζεται σε πολλές κλάσεις. Αυτό σημαίνει ότι κάθε δείγμα/σύνολο δεδομένων θα μπορούσε να αποτελείται από δύο κλάσεις, για συνολικά 4-shots. Σε αυτήν την περίπτωση, η ολόκληρη εργασία εκπαίδευσης θα μπορούσε να περιγραφεί ως μια 4-shot 2-κλάσεων εργασία ταξινόμησης.

Στη few-shot μάθηση, η ιδέα είναι ότι τα ατομικά δείγματα εκπαίδευσης είναι ελάχιστα και ότι το δίκτυο μπορεί να μαθαίνει να αναγνωρίζει αντικείμενα μετά από λίγες εικόνες. Αυτό είναι παρόμοιο με τον τρόπο που ένα παιδί μαθαίνει να διακρίνει αντικείμενα μετά από λίγες εικόνες. Αυτή η προσέγγιση έχει χρησιμοποιηθεί για να δημιουργήσει τεχνικές όπως μοντέλα γεννήτριας的一-shot και νευρωνικά δίκτυα με αυξημένη μνήμη.

Metric Meta-Μάθηση

Η μετρική meta-μάθηση είναι η χρήση νευρωνικών δικτύων για να καθορίσει εάν μια μετρική χρησιμοποιείται αποτελεσματικά και εάν το δίκτυο ή τα δίκτυα επιτυγχάνουν τη μετρική στόχο. Η μετρική meta-μάθηση είναι παρόμοια με την few-shot μάθηση στο ότι μόνο λίγα παραδείγματα χρησιμοποιούνται για να εκπαιδεύσουν το δίκτυο και να το κάνουν να μάθει τον χώρο μετρικής. Η ίδια μετρική χρησιμοποιείται σε όλα τα διαφορετικά domaine και εάν τα δίκτυα απομακρύνθούν από τη μετρική, θεωρούνται ότι αποτυγχάνουν.

Recurrent Model Meta-Μάθηση

Η recurrent model meta-μάθηση είναι η εφαρμογή τεχνικών meta-μάθησης σε αναδρομικά νευρωνικά δίκτυα και σε παρόμοια δίκτυα με μακροχρόνια μνήμη. Αυτή η τεχνική λειτουργεί με την εκπαίδευση του αναδρομικού νευρωνικού δικτύου να μάθει μια σειρά δεδομένων και στη συνέχεια να χρησιμοποιηθεί ως βάση για ένα άλλο μαθητή. Ο meta-μαθητής λαμβάνει τον συγκεκριμένο αλγόριθμο βελτιστοποίησης που χρησιμοποιήθηκε για να εκπαιδεύσει το αρχικό μοντέλο. Η κληρονομική παραμετροποίηση του meta-μαθητή του επιτρέπει να αρχικοποιήσει και να συναχθεί γρήγορα, αλλά vẫn να μπορεί να ενημερωθεί για νέες καταστάσεις.

Πώς Λειτουργεί το Meta-Μάθηση;

Ο ακριβής τρόπος με τον οποίο το meta-μάθηση διεξάγεται ποικίλλει ανάλογα με το μοντέλο και τη φύση της εργασίας που εκτελείται. Ωστόσο, γενικά, μια εργασία meta-μάθησης περιλαμβάνει την αντιγραφή των παραμέτρων του πρώτου δικτύου στις παραμέτρους του δεύτερου δικτύου/του βελτιστοποιητή.

Υπάρχουν δύο διαδικασίες εκπαίδευσης στο meta-μάθηση. Το μοντέλο meta-μάθησης εκπαιδεύεται συνήθως μετά από beberapa βήματα εκπαίδευσης στο βασικό μοντέλο. Μετά τα βήματα προώθησης, πίσω και βελτιστοποίησης που εκπαιδεύουν το βασικό μοντέλο, η προώθηση εκπαίδευσης διεξάγεται για το μοντέλο βελτιστοποίησης. Για παράδειγμα, μετά από τρία ή τέσσερα βήματα εκπαίδευσης στο βασικό μοντέλο, υπολογίζεται μια μετα-απώλεια. Μετά την υπολογισμό της μετα-απώλειας, υπολογίζονται οι γραμμικοί συντελεστές για κάθε μετα-παράμετρο. Μετά από αυτό, οι μετα-παράμετροι στο βελτιστοποιητή ενημερώνονται.

Μια πιθανότητα για τον υπολογισμό της μετα-απώλειας είναι να ολοκληρώσετε την προώθηση εκπαίδευσης του αρχικού μοντέλου και στη συνέχεια να συνδυάσετε τις απώλειες που έχουν ήδη υπολογιστεί. Ο meta-βελτιστοποιητής θα μπορούσε ακόμη και να είναι ένας άλλος meta-μαθητής, αν και σε κάποιο σημείο πρέπει να χρησιμοποιηθεί ένας διακριτός βελτιστοποιητής όπως ο ADAM ή ο SGD.

Πολλά μοντέλα βαθιάς μάθησης μπορούν να έχουν εκατοντάδες χιλιάδες ή ακόμη και εκατομμύρια παραμέτρους. Η δημιουργία ενός meta-μαθητή που έχει ένα ολόκληρο νέο σύνολο παραμέτρων θα ήταν υπολογιστικά ακριβή, και για αυτόν τον λόγο, χρησιμοποιείται μια τακτική που ονομάζεται coordinate-sharing. Το coordinate-sharing περιλαμβάνει την κατασκευή του meta-μαθητή/βελτιστοποιητή ώστε να μάθει μια seule παράμετρο από το βασικό μοντέλο και στη συνέχεια να κλωνοποιήσει αυτήν την παράμετρο αντί για όλες τις άλλες παραμέτρους. Το αποτέλεσμα είναι ότι οι παράμετροι που διαθέτει ο βελτιστοποιητής δεν εξαρτώνται από τις παράμετροι του μοντέλου.