Τι είναι το Few-Shot Learning;

Η εκμάθηση με λίγα βήματα αναφέρεται σε μια ποικιλία αλγορίθμων και τεχνικών που χρησιμοποιούνται για την ανάπτυξη ενός μοντέλου AI χρησιμοποιώντας πολύ μικρό όγκο δεδομένων εκπαίδευσης. Η μάθηση με λίγα βήματα προσπαθεί να αφήσει ένα μοντέλο τεχνητής νοημοσύνης να αναγνωρίσει και να ταξινομήσει νέα δεδομένα αφού εκτεθεί σε σχετικά λίγες περιπτώσεις εκπαίδευσης. Η προπόνηση με λίγες λήψεις έρχεται σε αντίθεση με τις παραδοσιακές μεθόδους εκπαίδευσης μοντέλων μηχανικής μάθησης, όπου συνήθως χρησιμοποιείται μεγάλος όγκος δεδομένων εκπαίδευσης. Ελάχιστη μάθηση είναι χρησιμοποιείται κυρίως στην όραση υπολογιστών.

Για να αναπτύξουμε μια καλύτερη διαίσθηση για μάθηση με λίγες λήψεις, ας εξετάσουμε την έννοια με περισσότερες λεπτομέρειες. Θα εξετάσουμε τα κίνητρα και τις έννοιες πίσω από τη μάθηση με λίγες βολές, θα εξερευνήσουμε μερικούς διάφορους τύπους μάθησης με λίγες βολές και θα καλύψουμε ορισμένα μοντέλα που χρησιμοποιούνται στη μάθηση με λίγες βολές σε υψηλό επίπεδο. Τέλος, θα εξετάσουμε ορισμένες εφαρμογές για μάθηση με λίγα βήματα.

Τι είναι το Few-Shot Learning;

Το "Few-shot Learning" περιγράφει την πρακτική της εκπαίδευσης ενός μοντέλου μηχανικής μάθησης με ελάχιστο όγκο δεδομένων. Συνήθως, τα μοντέλα μηχανικής εκμάθησης εκπαιδεύονται σε μεγάλους όγκους δεδομένων, όσο μεγαλύτερα τόσο το καλύτερο. Ωστόσο, η εκμάθηση με λίγες λήψεις είναι μια σημαντική έννοια μηχανικής μάθησης για μερικούς διαφορετικούς λόγους.

Ένας λόγος για τη χρήση της εκμάθησης με λίγες λήψεις είναι ότι μπορεί να μειώσει δραματικά τον όγκο των δεδομένων που απαιτούνται για την εκπαίδευση ενός μοντέλου μηχανικής μάθησης, γεγονός που μειώνει τον χρόνο που απαιτείται για την επισήμανση μεγάλων συνόλων δεδομένων. Ομοίως, η εκμάθηση με λίγες λήψεις μειώνει την ανάγκη προσθήκης συγκεκριμένων χαρακτηριστικών για διάφορες εργασίες όταν χρησιμοποιείται ένα κοινό σύνολο δεδομένων για τη δημιουργία διαφορετικών δειγμάτων. Η εκμάθηση με λίγες λήψεις μπορεί ιδανικά να κάνει τα μοντέλα πιο στιβαρά και ικανά να αναγνωρίζουν αντικείμενα με βάση λιγότερα δεδομένα, δημιουργώντας πιο γενικά μοντέλα σε αντίθεση με τα εξαιρετικά εξειδικευμένα μοντέλα που είναι ο κανόνας.

Η μάθηση με λίγες λήψεις χρησιμοποιείται πιο συχνά στον τομέα της όρασης υπολογιστή, καθώς η φύση των προβλημάτων όρασης υπολογιστή απαιτεί είτε μεγάλους όγκους δεδομένων είτε ένα ευέλικτο μοντέλο.

Υποκατηγορίες

Η φράση μάθηση «λίγος» είναι στην πραγματικότητα μόνο ένας τύπος μάθησης που χρησιμοποιεί πολύ λίγα παραδείγματα εκπαίδευσης. Εφόσον χρησιμοποιείτε μόνο «λίγα» παραδείγματα εκπαίδευσης, υπάρχουν υποκατηγορίες μάθησης με λίγες λήψεις που περιλαμβάνουν επίσης εκπαίδευση με ελάχιστο όγκο δεδομένων. Η εκμάθηση με "μία λήψη" είναι ένας άλλος τύπος εκπαίδευσης μοντέλου που περιλαμβάνει τη διδασκαλία ενός μοντέλου να αναγνωρίζει ένα αντικείμενο αφού δει μόνο μία εικόνα αυτού του αντικειμένου. Οι γενικές τακτικές που χρησιμοποιούνται στη μάθηση με μία βολή και στη μάθηση με λίγες βολές είναι οι ίδιες. Λάβετε υπόψη ότι ο όρος εκμάθηση «λίγων βολών» μπορεί να χρησιμοποιηθεί ως όρος-ομπρέλα για να περιγράψει οποιαδήποτε κατάσταση όπου ένα μοντέλο εκπαιδεύεται με πολύ λίγα δεδομένα.

Προσεγγίσεις στη μάθηση με λίγες λήψεις

Οι περισσότερες ελάχιστες προσεγγίσεις μάθησης μπορούν να χωρέσουν σε μία από τις τρεις κατηγορίες: προσεγγίσεις σε επίπεδο δεδομένων, προσεγγίσεις σε επίπεδο παραμέτρων και προσεγγίσεις που βασίζονται σε μετρήσεις.

Προσεγγίσεις σε επίπεδο δεδομένων

Οι προσεγγίσεις σε επίπεδο δεδομένων για τη μάθηση με λίγα βήματα είναι πολύ απλές στην ιδέα. Για να εκπαιδεύσετε ένα μοντέλο όταν δεν έχετε αρκετά δεδομένα εκπαίδευσης, μπορείτε απλώς να λάβετε περισσότερα δεδομένα εκπαίδευσης. Υπάρχουν διάφορες τεχνικές που μπορεί να χρησιμοποιήσει ένας επιστήμονας δεδομένων για να αυξήσει τον όγκο των δεδομένων εκπαίδευσης που διαθέτει.

Παρόμοια δεδομένα εκπαίδευσης μπορούν να δημιουργήσουν αντίγραφα ασφαλείας των ακριβών δεδομένων στόχου στα οποία εκπαιδεύετε έναν ταξινομητή. Για παράδειγμα, εάν εκπαιδεύετε έναν ταξινομητή να αναγνωρίζει συγκεκριμένα είδη σκύλων αλλά δεν έχετε πολλές εικόνες του συγκεκριμένου είδους που προσπαθείτε να ταξινομήσετε, θα μπορούσατε να συμπεριλάβετε πολλές εικόνες σκύλων που θα βοηθούσαν τον ταξινομητή να προσδιορίσει τα γενικά χαρακτηριστικά που συνθέτουν έναν σκύλο. .

Η αύξηση δεδομένων μπορεί να δημιουργήσει περισσότερα δεδομένα εκπαίδευσης για έναν ταξινομητή. Αυτό συνήθως περιλαμβάνει την εφαρμογή μετασχηματισμών σε υπάρχοντα δεδομένα εκπαίδευσης, όπως η περιστροφή υπαρχουσών εικόνων, έτσι ώστε ο ταξινομητής να εξετάζει τις εικόνες από διαφορετικές γωνίες. Τα GAN μπορούν επίσης να χρησιμοποιηθούν για τη δημιουργία νέων παραδειγμάτων εκπαίδευσης με βάση αυτά που μαθαίνουν από τα λίγα αυθεντικά παραδείγματα δεδομένων εκπαίδευσης που έχετε.

Προσεγγίσεις σε επίπεδο παραμέτρου

Μετα-μάθηση

Μια προσέγγιση σε επίπεδο παραμέτρου για τη μάθηση με λίγες λήψεις περιλαμβάνει τη χρήση μιας τεχνικής που ονομάζεται "μετα-learning". Η μετα-μάθηση περιλαμβάνει διδάσκοντας ένα μοντέλο πώς να μαθαίνει ποια χαρακτηριστικά είναι σημαντικά σε μια εργασία μηχανικής μάθησης. Αυτό μπορεί να επιτευχθεί με τη δημιουργία μιας μεθόδου για τη ρύθμιση του τρόπου με τον οποίο εξερευνάται ο χώρος παραμέτρων ενός μοντέλου.

Η μετα-μάθηση χρησιμοποιεί δύο διαφορετικά μοντέλα: ένα μοντέλο δασκάλου και ένα μοντέλο μαθητή. Το μοντέλο «δάσκαλου» και μοντέλο «μαθητή». Το μοντέλο δασκάλου μαθαίνει πώς να ενθυλακώνει τον χώρο παραμέτρων, ενώ ο αλγόριθμος μαθητή μαθαίνει πώς να αναγνωρίζει και να ταξινομεί τα πραγματικά στοιχεία στο σύνολο δεδομένων. Για να το θέσω διαφορετικά, το μοντέλο δασκάλου μαθαίνει πώς να βελτιστοποιεί ένα μοντέλο, ενώ το μοντέλο μαθητή μαθαίνει πώς να ταξινομεί. Τα αποτελέσματα του μοντέλου δασκάλου χρησιμοποιούνται για την εκπαίδευση του μοντέλου μαθητή, δείχνοντας στο μοντέλο μαθητή πώς να διαπραγματευτεί τον μεγάλο χώρο παραμέτρων που προκύπτει από πολύ λίγα δεδομένα εκπαίδευσης. Εξ ου και το «μετα» στη μετα-μάθηση.

Ένα από τα κύρια προβλήματα με τα μοντέλα εκμάθησης λίγων βολών είναι ότι μπορούν εύκολα να προσαρμόζονται σε δεδομένα προπόνησης, καθώς συχνά έχουν χώρους υψηλών διαστάσεων. Ο περιορισμός του χώρου παραμέτρων ενός μοντέλου λύνει αυτό το πρόβλημα και ενώ μπορεί να επιτευχθεί με την εφαρμογή τεχνικών τακτοποίησης και την επιλογή των κατάλληλων συναρτήσεων απώλειας, η χρήση ενός αλγορίθμου δασκάλου μπορεί να βελτιώσει δραματικά την απόδοση ενός μοντέλου μερικών βολών.

Ένα μοντέλο ταξινομητή μάθησης μερικών λήψεων (το μοντέλο μαθητή) θα προσπαθήσει να γενικεύσει με βάση τον μικρό όγκο δεδομένων εκπαίδευσης που παρέχεται και η ακρίβειά του μπορεί να βελτιωθεί με ένα μοντέλο δασκάλου για να το κατευθύνει μέσω του χώρου παραμέτρων υψηλών διαστάσεων. Αυτή η γενική αρχιτεκτονική αναφέρεται ως μετα-μαθητής «βασισμένο σε κλίση».

Η πλήρης διαδικασία εκπαίδευσης ενός μεταμαθητή με βάση το gradient είναι η εξής:

1. Δημιουργήστε το μοντέλο βασικού μαθητή (δάσκαλου).
2. Εκπαιδεύστε το μοντέλο βασικού εκπαιδευτή στο σετ υποστήριξης
3. Έχετε τις προβλέψεις επιστροφής του βασικού εκπαιδευόμενου για το σύνολο ερωτημάτων
4. Εκπαιδεύστε τον μετα-μαθητή (μαθητή) σχετικά με την απώλεια που προέκυψε από το σφάλμα ταξινόμησης

Παραλλαγές στη μετα-μάθηση

Model-Agnostic Meta-learning είναι μια μέθοδος που χρησιμοποιείται για την ενίσχυση της βασικής τεχνικής μετα-μάθησης που βασίζεται σε κλίση που καλύψαμε παραπάνω.

Όπως καλύψαμε παραπάνω, ένας μετα-μαθητής που βασίζεται σε κλίση χρησιμοποιεί την προηγούμενη εμπειρία που έχει αποκτήσει ένα μοντέλο δασκάλου να τελειοποιήσει τον εαυτό του και παρέχει πιο ακριβείς προβλέψεις για ένα μικρό όγκο δεδομένων εκπαίδευσης. Ωστόσο, η έναρξη με τυχαία αρχικοποιημένες παραμέτρους σημαίνει ότι το μοντέλο μπορεί να εξακολουθεί να ταιριάζει με τα δεδομένα. Για να αποφευχθεί αυτό, δημιουργείται ένας μετα-μαθητής «Μοντέλο-αγνωστικιστής» περιορίζοντας την επιρροή του μοντέλου/βασικού μοντέλου δασκάλου. Αντί να εκπαιδεύει το μοντέλο μαθητή απευθείας στην απώλεια για τις προβλέψεις που γίνονται από το μοντέλο δασκάλου, το μοντέλο μαθητή εκπαιδεύεται στην απώλεια για τις δικές του προβλέψεις.

Για κάθε επεισόδιο εκπαίδευσης, ένα μοντέλο-αγνωστικιστής μετα-μαθητής:

1. Δημιουργείται ένα αντίγραφο του τρέχοντος μοντέλου μετα-μαθητή.
2. Το αντίγραφο εκπαιδεύεται με τη βοήθεια του βασικού μοντέλου/μοντέλου δασκάλου.
3. Το αντίγραφο επιστρέφει προβλέψεις για τα δεδομένα εκπαίδευσης.
4. Η υπολογισμένη απώλεια χρησιμοποιείται για την ενημέρωση του μετα-μαθητή.

Μετρική-Μάθηση

Προσεγγίσεις μετρικής μάθησης για το σχεδιασμό ενός μοντέλου μάθησης μερικών βολών συνήθως περιλαμβάνουν ο χρήση βασικών μετρήσεων απόστασης να κάνετε συγκρίσεις μεταξύ δειγμάτων σε ένα σύνολο δεδομένων. Οι αλγόριθμοι μετρικής εκμάθησης, όπως η απόσταση συνημιτόνου, χρησιμοποιούνται για την ταξινόμηση δειγμάτων ερωτημάτων με βάση την ομοιότητά τους με τα υποστηρικτικά δείγματα. Για έναν ταξινομητή εικόνας, αυτό θα σήμαινε απλώς ταξινόμηση εικόνων με βάση την ομοιότητα των επιφανειακών χαρακτηριστικών. Αφού επιλεγεί ένα σύνολο εικόνων υποστήριξης και μετασχηματιστεί σε διάνυσμα ενσωμάτωσης, το ίδιο γίνεται με το σύνολο ερωτημάτων και, στη συνέχεια, συγκρίνονται οι τιμές για τα δύο διανύσματα, με τον ταξινομητή να επιλέγει την κλάση που έχει τις πλησιέστερες τιμές στο διανυσματικό σύνολο ερωτημάτων .

Μια πιο προηγμένη λύση που βασίζεται σε μετρήσεις είναι η "πρωτότυπο δίκτυο". Τα πρωτότυπα δίκτυα ομαδοποιούν σημεία δεδομένων συνδυάζοντας μοντέλα ομαδοποίησης με την ταξινόμηση βάσει μετρήσεων που περιγράφεται παραπάνω. Όπως και στην ομαδοποίηση K-means, τα centroids για συμπλέγματα υπολογίζονται για τις κλάσεις στα σύνολα υποστήριξης και ερωτημάτων. Στη συνέχεια εφαρμόζεται μια ευκλείδεια μέτρηση απόστασης για τον προσδιορισμό της διαφοράς μεταξύ των συνόλων ερωτημάτων και των κεντροειδών του συνόλου υποστήριξης, εκχωρώντας το σύνολο ερωτημάτων σε όποιες κλάσεις συνόλων υποστήριξης είναι πιο κοντά.

Οι περισσότερες άλλες προσεγγίσεις μάθησης λίγων βολών είναι απλώς παραλλαγές στις βασικές τεχνικές που καλύπτονται παραπάνω.

Εφαρμογές για Εκμάθηση Ελάχιστων Σκοπών

Το Few-shot Learning έχει εφαρμογές σε πολλά διαφορετικά υποπεδία της επιστήμης δεδομένων, όπως η όραση υπολογιστών, η επεξεργασία φυσικής γλώσσας, η ρομποτική, η υγειονομική περίθαλψη και η επεξεργασία σήματος.

Οι εφαρμογές για εκμάθηση λίγων πλάνων στον χώρο της όρασης υπολογιστή περιλαμβάνουν αποτελεσματική αναγνώριση χαρακτήρων, ταξινόμηση εικόνας, αναγνώριση αντικειμένων, παρακολούθηση αντικειμένων, πρόβλεψη κίνησης και εντοπισμό ενεργειών. Οι εφαρμογές επεξεργασίας φυσικής γλώσσας για εκμάθηση με λίγα πλάνα περιλαμβάνουν μετάφραση, συμπλήρωση προτάσεων, ταξινόμηση προθέσεων χρήστη, ανάλυση συναισθήματος και ταξινόμηση κειμένου πολλαπλών ετικετών. Η μάθηση με λίγες λήψεις μπορεί να χρησιμοποιηθεί στον τομέα της ρομποτικής για να βοηθήσει τα ρομπότ να μάθουν για εργασίες από λίγες μόνο επιδείξεις, επιτρέποντας στα ρομπότ να μάθουν πώς να εκτελούν ενέργειες, να κινούνται και να περιηγούνται στον κόσμο γύρω τους. Η ανακάλυψη ελάχιστων φαρμάκων είναι ένας αναδυόμενος τομέας της υγειονομικής περίθαλψης της τεχνητής νοημοσύνης. Τέλος, η εκμάθηση με λίγες λήψεις έχει εφαρμογές για την επεξεργασία ακουστικού σήματος, η οποία είναι η διαδικασία ανάλυσης δεδομένων ήχου, επιτρέποντας στα συστήματα AI να κλωνοποιούν φωνές με βάση μόνο μερικά δείγματα χρήστη ή μετατροπή φωνής από έναν χρήστη σε άλλο.