Βασικές αρχές της AI
Τι είναι το Few-Shot Learning;
Το few-shot learning αναφέρεται σε eine ποικιλία αλγορίθμων και τεχνικών που χρησιμοποιούνται για την ανάπτυξη eines μοντέλου AI χρησιμοποιώντας πολύ λίγα δεδομένα εκπαίδευσης. Το few-shot learning επιδιώκει να επιτρέψει σε ένα μοντέλο AI να αναγνωρίσει και να ταξινομήσει νέα δεδομένα μετά από έκθεση σε σχετικά λίγες παρουσίες εκπαίδευσης. Η εκπαίδευση few-shot αντίθεται με τις παραδοσιακές μεθόδους εκπαίδευσης μοντέλων μηχανικής μάθησης, όπου συνήθως χρησιμοποιείται μεγάλος όγκος δεδομένων εκπαίδευσης. Το few-shot learning χρησιμοποιείται κυρίως στην όραση υπολογιστή.
Για να αναπτύξουμε μια καλύτερη直觉 για το few-shot learning, ας εξετάσουμε την έννοια με περισσότερες λεπτομέρειες. Θα εξετάσουμε τις мотивές και τις έννοιες πίσω από το few-shot learning, θα εξετάσουμε κάποιους διαφορετικούς τύπους few-shot learning και θα καλύψουμε κάποια μοντέλα που χρησιμοποιούνται στο few-shot learning σε υψηλό επίπεδο. Τέλος, θα εξετάσουμε κάποιες εφαρμογές για το few-shot learning.
Τι είναι το Few-Shot Learning;
Το “few-shot learning” περιγράφει την πρακτική της εκπαίδευσης eines μοντέλου μηχανικής μάθησης με ελάχιστο όγκο δεδομένων. Συνήθως, τα μοντέλα μηχανικής μάθησης εκπαιδεύονται σε μεγάλους όγκους δεδομένων, όσο το δυνατόν μεγαλύτεροι. Ωστόσο, το few-shot learning είναι μια σημαντική έννοια μηχανικής μάθησης για κάποιους λόγους.
Ένας λόγος για την उपयोग του few-shot learning είναι ότι μπορεί να μειώσει δραματικά τον όγκο δεδομένων που απαιτούνται για την εκπαίδευση eines μοντέλου μηχανικής μάθησης, ο οποίος μειώνει τον χρόνο που απαιτείται για την επισήμανση μεγάλων συνόλων δεδομένων. Επίσης, το few-shot learning μειώνει την ανάγκη για προσθήκη συγκεκριμένων χαρακτηριστικών για διάφορες εργασίες όταν χρησιμοποιείται ένα κοινό σύνολο δεδομένων για τη δημιουργία διαφορετικών δειγμάτων. Το few-shot learning μπορεί να κάνει τα μοντέλα πιο robust και ικανά να αναγνωρίσουν αντικείμενα με βάση λιγότερα δεδομένα, δημιουργώντας πιο γενικά μοντέλα αντί για τα εξειδικευμένα μοντέλα που είναι η κανόνα.
Το few-shot learning χρησιμοποιείται πιο συχνά στο πεδίο της όρασης υπολογιστή, καθώς η φύση των προβλημάτων όρασης υπολογιστή απαιτεί είτε μεγάλο όγκο δεδομένων είτε ένα ευέλικτο μοντέλο.
Υποκατηγορίες
Η φράση “few-shot” learning είναι στην πραγματικότητα μόνο ένας τύπος μάθησης που χρησιμοποιεί πολύ λίγα παραδείγματα εκπαίδευσης.既然 χρησιμοποιούμε μόνο “λίγα” παραδείγματα εκπαίδευσης, υπάρχουν υποκατηγορίες του few-shot learning που επίσης εμπλέκονται με την εκπαίδευση με ελάχιστο όγκο δεδομένων. Το “one-shot” learning είναι ένας άλλος τύπος εκπαίδευσης μοντέλων που εμπλέκει την διδασκαλία eines μοντέλου να αναγνωρίσει ένα αντικείμενο μετά από μια μόνο εικόνα του αντικειμένου. Οι γενικές τακτικές που χρησιμοποιούνται σε one-shot learning και few-shot learning είναι οι ίδιες. Να είστε ενήμεροι ότι ο όρος “few-shot” learning μπορεί να χρησιμοποιηθεί ως ομπρέλα όρος για να περιγράψει οποιαδήποτε κατάσταση όπου ένα μοντέλο εκπαιδεύεται με πολύ λίγα δεδομένα.
Προσεγγίσεις στο Few-Shot Learning
Οι περισσότερες προσεγγίσεις few-shot learning μπορούν να χωριστούν σε τρεις κατηγορίες: προσεγγίσεις επιπέδου δεδομένων, προσεγγίσεις επιπέδου παραμέτρων και προσεγγίσεις με βάση μετρικές.
Προσεγγίσεις Επιπέδου Δεδομένων
Οι προσεγγίσεις επιπέδου δεδομένων στο few-shot learning είναι πολύ απλές στην έννοια. Για να εκπαιδεύσετε ένα μοντέλο όταν δεν έχετε αρκετά δεδομένα εκπαίδευσης, μπορείτε να πάρτε περισσότερα δεδομένα εκπαίδευσης. Υπάρχουν διάφορες τεχνικές που ένας επιστήμονας δεδομένων μπορεί να χρησιμοποιήσει για να αυξήσει τον όγκο των δεδομένων εκπαίδευσης που έχει.
Παρόμοια δεδομένα εκπαίδευσης possono υποστηρίξει τα ακριβή δεδομένα στόχου που εκπαιδεύετε ένα ταξινομητή. Για παράδειγμα, αν εκπαιδεύετε einen ταξινομητή να αναγνωρίσει συγκεκριμένα είδη σκύλων αλλά έλλειψε πολλές εικόνες του συγκεκριμένου είδους που προσπαθείτε να ταξινομήσετε, θα μπορούσατε να συμπεριλάβετε πολλές εικόνες σκύλων που θα βοηθούσαν τον ταξινομητή να καθορίσει τα γενικά χαρακτηριστικά που συνθέτουν ένα σκύλο.
Η aumento δεδομένων μπορεί να δημιουργήσει περισσότερα δεδομένα εκπαίδευσης για einen ταξινομητή. Αυτό συνήθως εμπλέκει την εφαρμογή μετασχηματισμών σε υπάρχοντα δεδομένα εκπαίδευσης, όπως η περιστροφή των υφιστάμενων εικόνων ώστε ο ταξινομητής να εξετάζει τις εικόνες από διαφορετικές γωνίες. Τα GANs μπορούν επίσης να χρησιμοποιηθούν για τη δημιουργία νέων παραδειγμάτων εκπαίδευσης με βάση αυτά που μαθαίνουν από τα λίγα αυθεντικά παραδείγματα εκπαίδευσης που έχετε.
Προσεγγίσεις Επιπέδου Παραμέτρων
Meta-μάθηση
Μια προσεγγίση επιπέδου παραμέτρων στο few-shot learning εμπλέκει τη χρήση μιας τεχνικής που ονομάζεται “meta-μάθηση”. Η meta-μάθηση εμπλέκει τη διδασκαλία eines μοντέλου πώς να μαθαίνει ποια χαρακτηριστικά είναι σημαντικά σε μια εργασία μηχανικής μάθησης. Αυτό μπορεί να επιτευχθεί με τη δημιουργία μιας μεθόδου για την ρύθμιση του πώς το χώρος παραμέτρων eines μοντέλου εξερευνάται.
Η meta-μάθηση χρησιμοποιεί δύο διαφορετικά μοντέλα: ένα δασκάλο μοντέλο και ένα μαθητή μοντέλο. Το “δασκάλο” μοντέλο και ένα “μαθητή” μοντέλο. Το δασκάλο μοντέλο μαθαίνει πώς να περιβάλλει τον χώρο παραμέτρων, ενώ το μαθητή αλγόριθμο μαθαίνει πώς να αναγνωρίσει και να ταξινομήσει τα πραγματικά αντικείμενα στο σύνολο δεδομένων. Για να το πούμε με άλλο τρόπο, το δασκάλο μοντέλο μαθαίνει πώς να βελτιστοποιήσει ένα μοντέλο, ενώ το μαθητή μοντέλο μαθαίνει πώς να ταξινομήσει. Τα εξόδους του δασκάλου μοντέλου χρησιμοποιούνται για την εκπαίδευση του μαθητή μοντέλου, δείχνοντας στο μαθητή μοντέλο πώς να διαπραγματευτεί τον μεγάλο χώρο παραμέτρων που προκύπτει από πολύ λίγα δεδομένα εκπαίδευσης. Έτσι, το “meta” στη meta-μάθηση.
Ένα από τα κύρια προβλήματα με τα μοντέλα few-shot learning είναι ότι μπορεί εύκολα να υπερ-προσαρμοστούν στα δεδομένα εκπαίδευσης, καθώς συχνά έχουν υψηλοδιάστατους χώρους. Η περιορισμός του χώρου παραμέτρων eines μοντέλου λύνει αυτό το πρόβλημα, και ενώ μπορεί να επιτευχθεί με την εφαρμογή τεχνικών κανονικοποίησης και την επιλογή των κατάλληλων συναρτήσεων απώλειας, η χρήση eines δασκάλου αλγορίθμου μπορεί να βελτιώσει δραματικά την απόδοση eines μοντέλου few-shot.
Ένα μοντέλο ταξινόμησης few-shot learning (το μαθητή μοντέλο) θα προσπαθήσει να γενικεύσει με βάση τα λίγα δεδομένα εκπαίδευσης που έχει, και η ακρίβειά του μπορεί να βελτιωθεί με ένα δασκάλο μοντέλο να το οδηγήσει μέσα από τον υψηλοδιάστατο χώρο παραμέτρων. Αυτή η γενική αρχιτεκτονική ονομάζεται “gradient-βασισμένος” meta-μαθητής.
Η πλήρης διαδικασία εκπαίδευσης eines gradient-βασισμένου meta-μαθητή είναι η ακόλουθη:
- Δημιουργήστε το βασικό μοντέλο (δασκάλο μοντέλο)
- Εκπαιδεύστε το βασικό μοντέλο στο σύνολο υποστήριξης
- Αφήστε το βασικό μοντέλο να επιστρέψει προβλέψεις για το σύνολο ερωτήσεων
- Εκπαιδεύστε το meta-μαθητή (μαθητή μοντέλο) στο σύνολο απώλειας που προκύπτει από το σφάλμα ταξινόμησης
Εκδοχές της Meta-μάθησης
Η model-αγνοητική meta-μάθηση είναι μια μέθοδος που χρησιμοποιείται για να αυξήσει τη βασική τεχνική gradient-βασισμένης meta-μάθησης που καλύψαμε παραπάνω.
Όπως καλύψαμε παραπάνω, ένας gradient-βασισμένος meta-μαθητής χρησιμοποιεί την προηγούμενη εμπειρία που έχει αποκτήσει ένα δασκάλο μοντέλο για να βελτιστοποιήσει τον εαυτό του και να παράγει πιο ακριβείς προβλέψεις για ένα μικρό όγκο δεδομένων εκπαίδευσης. Ωστόσο, η αρχική initialisation με τυχαίες παραμέτρους σημαίνει ότι το μοντέλο μπορεί ακόμα να υπερ-προσαρμοστεί στα δεδομένα. Για να αποφευχθεί αυτό, ένας model-αγνοητικός meta-μαθητής δημιουργείται με την περιορισμό της επιρροής του δασκάλου μοντέλου/βασικού μοντέλου. Αντί να εκπαιδεύσετε το μαθητή μοντέλο απευθείας στην απώλεια για τις προβλέψεις που έγιναν από το δασκάλο μοντέλο, το μαθητή μοντέλο εκπαιδεύεται στην απώλεια για τις δικές του προβλέψεις.
Για κάθε επεισόδιο εκπαίδευσης eines model-αγνοητικού meta-μαθητή:
- Δημιουργήστε ένα αντίγραφο του τρέχοντος meta-μαθητή μοντέλου.
- Το αντίγραφο εκπαιδεύεται με τη βοήθεια του βασικού μοντέλου/δασκάλου μοντέλου.
- Το αντίγραφο επιστρέφει προβλέψεις για τα δεδομένα εκπαίδευσης.
- Η υπολογισμένη απώλεια χρησιμοποιείται για την ενημέρωση του meta-μαθητή.
Metric-μάθηση
Οι προσεγγίσεις metric-μάθησης για το σχεδιασμό eines μοντέλου few-shot learning συνήθως εμπλέκουν τη χρήση βασικών μετρικών απόστασης για να κάνουν συγκρίσεις μεταξύ δειγμάτων σε ένα σύνολο δεδομένων. Αλγόριθμοι metric-μάθησης όπως η απόσταση cosine χρησιμοποιούνται για να ταξινομήσουν δείγματα ερωτήσεων με βάση την ομοιότητα τους με τα δείγματα υποστήριξης. Για einen ταξινομητή εικόνων, αυτό θα σήμαινε απλώς την ταξινόμηση εικόνων με βάση την ομοιότητα των επιφανειακών χαρακτηριστικών. Μετά την επιλογή eines συνόλου υποστήριξης εικόνων και τη μετατροπή τους σε ένα διανυσματικό εμβύθμιση, το ίδιο γίνεται με το σύνολο ερωτήσεων και στη συνέχεια οι τιμές για τα δύο διανύσματα συγκρίνονται, με τον ταξινομητή να επιλέγει την κατηγορία που έχει τις πιο κοντινές τιμές στο διανυσματικό σύνολο ερωτήσεων.
Μια πιο προηγμένη metric-βασισμένη λύση είναι το ” πρωτοτυπικό δίκτυο“. Τα πρωτοτυπικά δίκτυα ομαδοποιούν σημεία δεδομένων μαζί, συνδυάζοντας μοντέλα ομαδοποίησης με την metric-βασισμένη ταξινόμηση που περιγράψαμε παραπάνω. Όπως στο K-means clustering, οι κεντροί για τις κατηγορίες στο σύνολο υποστήριξης και στο σύνολο ερωτήσεων υπολογίζονται. Ένα μετρικό ευκλείδειας απόστασης εφαρμόζεται στη συνέχεια για να καθορίσει τη διαφορά μεταξύ των συνόλων ερωτήσεων και των κέντρων του συνόλου υποστήριξης, αναθέτοντας το σύνολο ερωτήσεων στην κατηγορία που είναι πιο κοντά.
Οι περισσότερες άλλες προσεγγίσεις few-shot learning είναι απλώς παραλλαγές των βασικών τεχνικών που καλύψαμε παραπάνω.
Εφαρμογές για το Few-Shot Learning
Το few-shot learning έχει εφαρμογές σε πολλά διαφορετικά υποπεδία της επιστήμης των δεδομένων, όπως η όραση υπολογιστή, η φυσική γλώσσα, η ρομποτική, η υγεία και η επεξεργασία σήματος.
Εφαρμογές για το few-shot learning στο χώρο της όρασης υπολογιστή περιλαμβάνουν την αποτελεσματική αναγνώριση χαρακτήρων, την ταξινόμηση εικόνων, την αναγνώριση αντικειμένων, την παρακολούθηση κίνησης, την πρόβλεψη κίνησης και την τοποθεσία δράσης. Εφαρμογές για το few-shot learning στη φυσική γλώσσα περιλαμβάνουν τη μετάφραση, την ολοκλήρωση προτάσεων, την ταξινόμηση προθέσεων χρήστη, την ανάλυση συναισθήματος και την ταξινόμηση κειμένου με πολλαπλά λεξιλόγια. Το few-shot learning μπορεί να χρησιμοποιηθεί στο πεδίο της ρομποτικής για να βοηθήσει τους ρομπότ να μαθαίνουν για εργασίες από λίγες επιδείξεις, επιτρέποντας στους ρομπότ να μαθαίνουν πώς να εκτελούν ενέργειες, να κινούνται και να πλοηγούνται στον κόσμο γύρω τους. Η ανακάλυψη φαρμάκων few-shot είναι ένας αναδυόμενος τομέας της υγείας AI. Τέλος, το few-shot learning έχει εφαρμογές για την επεξεργασία σήματος, η οποία είναι η διαδικασία ανάλυσης δεδομένων σήματος, επιτρέποντας στα συστήματα AI να κλωνοποιούν φωνές με βάση μόνο λίγα δείγματα χρήστη ή μετατροπή φωνής από ένα χρήστη σε έναν άλλο.
