Μοντέλα και πλατφόρμες AI
data2vec: Ένα Ορόσημο στην Αυτοεπιβλεπόμενη Μάθηση

Βασικά σημείαΤο data2vec της Meta AI είναι ο πρώτος αυτο-επιβλεπόμενος αλγόριθμος που λειτουργεί σε…
Δείτε περισσότερα
- Το data2vec της Meta AI είναι ο πρώτος αυτο-επιβλεπόμενος αλγόριθμος που λειτουργεί σε εικόνες, κείμενο και ομιλία.
- Προβλέπει πλήρεις συγκειμενικοποιημένες αναπαραστάσεις δεδομένων από αποκρυμμένες εισόδους χρησιμοποιώντας μια ενιαία αρχιτεκτονική Transformer.
- Το μοντέλο αποφεύγει προκαταλήψεις ειδικές για κάθε τρόπο λειτουργίας χρησιμοποιώντας έναν ενιαίο στόχο μάθησης για όλους τους τύπους δεδομένων.
Τα μοντέλα μηχανικής μάθησης βασίζονταν έντονα σε δεδομένα με ετικέτες για εκπαίδευση, και παραδοσιακά, η εκπαίδευση μοντέλων με δεδομένα με ετικέτες παρέχει ακριβή αποτελέσματα. Ωστόσο, το κύριο μειονέκτημα της χρήσης δεδομένων με ετικέτες είναι το υψηλό κόστος επισημείωσης που αυξάνεται με την αύξηση του μεγέθους των δεδομένων εκπαίδευσης. Τα υψηλά κόστη επισημείωσης είναι ένα μεγάλο εμπόδιο για τους προγραμματιστές, ιδιαίτερα όταν εργάζονται σε ένα μεγάλο έργο με σημαντικές ποσότητες δεδομένων εκπαίδευσης.
Για να αντιμετωπίσουν το ζήτημα της επισημείωσης, οι προγραμματιστές ανέπτυξαν την έννοια της Αυτοεπιβλεπόμενης Μάθησης (SSL). Η Αυτοεπιβλεπόμενη Μάθηση είναι μια διαδικασία μηχανικής μάθησης στην οποία το μοντέλο εκπαιδεύεται να μάθει ένα τμήμα της εισόδου από ένα άλλο τμήμα της εισόδου. Ένα μοντέλο Αυτοεπιβλεπόμενης Μάθησης στοχεύει να εκμεταλλευτεί τη σχέση μεταξύ των δεδομένων αντί να χρησιμοποιεί τις ετικέτες των δεδομένων με εποπτεία.
Εκτός από τη Αυτοεπιβλεπόμενη Μάθηση, υπάρχουν διάφορες άλλες μεθόδοι και μοντέλα για την εκπαίδευση μοντέλων μηχανικής μάθησης χωρίς τη χρήση δεδομένων με ετικέτες. Ωστόσο, τα περισσότερα από αυτά τα μοντέλα έχουν δύο σημαντικά προβλήματα
- Είναι συχνά εξειδικευμένα για μια μόνο τροπικότητα, όπως μια εικόνα ή κείμενο.
- Απαιτούν υψηλή ποσότητα υπολογιστικής ισχύος.
Αυτά τα προβλήματα είναι ένα σημαντικό ζήτημα γιατί ο μέσος ανθρώπινος νους είναι σε θέση να μάθει από έναν μόνο τύπο δεδομένων πολύ πιο αποτελεσματικά σε σύγκριση με ένα μοντέλο AI που βασίζεται σε ξεχωριστά μοντέλα και δεδομένα εκπαίδευσης για να διακρίνει μεταξύ μιας εικόνας, κειμένου και ομιλίας.
Για να αντιμετωπίσουν το ζήτημα της μεμονωμένης τροπικότητας, η Meta AI κυκλοφόρησε το data2vec, τον πρώτο στο είδος του αυτοεπιβλεπόμενο αλγόριθμο υψηλής απόδοσης για να μάθει πληροφορίες από τρεις διαφορετικές τροπικότητες: εικόνα, κείμενο και ομιλία. Με την εφαρμογή του αλγορίθμου data2vec, η κατανόηση κειμένου μπορεί να εφαρμοστεί σε ένα πρόβλημα τμηματοποίησης εικόνας ή μπορεί να αναπτυχθεί σε μια εργασία αναγνώρισης ομιλίας.
Σε αυτό το άρθρο, θα μιλήσουμε για το μοντέλο data2vec σε βάθος. Θα συζητήσουμε την επισκόπηση της μεθόδου, τη σχετική εργασία, την αρχιτεκτονική και τα αποτελέσματα του μοντέλου με μεγαλύτερη λεπτομέρεια, ώστε να έχετε μια σαφή κατανόηση του αλγορίθμου data2vec.
Εισαγωγή στο Data2vec: Η Κεντρική Ιδέα
Αν και η θεμελιώδης έννοια της Αυτοεπιβλεπόμενης Μάθησης εφαρμόζεται σε όλες τις τροπικότητες, οι πραγματικοί στόχοι και αλγόριθμοι διαφέρουν μεταξύ τους επειδή σχεδιάστηκαν με γνώμονα μια μόνο τροπικότητα. Ο σχεδιασμός ενός μοντέλου για μια μόνο τροπικότητα είναι ο λόγος για τον οποίο ο ίδιος αλγόριθμος αυτοεπιβλεπόμενης μάθησης δεν μπορεί να λειτουργήσει αποτελεσματικά σε διαφορετικά είδη δεδομένων εκπαίδευσης.
Για να υπερβεί την πρόκληση που παρουσιάζουν τα μοντέλα και οι αλγόριθμοι μεμονωμένης τροπικότητας, η Meta AI κυκλοφόρησε το data2vec, έναν αλγόριθμο που χρησιμοποιεί την ίδια μεθοδολογία για την υπολογιστική όραση, την NLP ή την ομιλία.
Η κεντρική ιδέα πίσω από τον αλγόριθμο data2vec είναι να χρησιμοποιήσει την προβολή της εισόδου με μάσκα για να προβλέψει τις λανθάνουσες αναπαραστάσεις των πλήρων δεδομένων εισόδου σε ένα σύστημα αυτοαπόσταξης γνώσης με τη βοήθεια της τυπικής αρχιτεκτονικής Transformer. Έτσι, αντί για αντικείμενα ειδικά για κάθε τροπικότητα όπως εικόνες, κείμενο ή φωνή που είναι τοπικά στη φύση, ο αλγόριθμος data2vec προβλέπει τις λανθάνουσες αναπαραστάσεις με πληροφορίες από τα πλήρη δεδομένα εκπαίδευσης ή εισόδου.

Γιατί η Βιομηχανία AI Χρειάζεται τον Αλγόριθμο Data2Vec;
Τα μοντέλα Αυτοεπιβλεπόμενης Μάθησης κατασκευάζουν αναπαραστάσεις των δεδομένων εκπαίδευσης χρησιμοποιώντας ετικέτες με εποπτεία από ανθρώπους, και είναι ένας από τους κύριους λόγους για την πρόοδο της NLP ή της Επεξεργασίας Φυσικής Γλώσσας και της τεχνολογίας Υπολογιστικής Όρασης. Αυτές οι αναπαραστάσεις αυτοεπιβλεπόμενης μάθησης εξηγούν γιατί εργασίες όπως η αναγνώριση ομιλίας και η μηχανική μάθηση χρησιμοποιούν μη επιβλεπόμενη μάθηση στα μοντέλα τους.
Μέχρι τώρα, αυτές οι αναπαραστάσεις αυτοεπιβλεπόμενης μάθησης εστιάζουν σε μεμονωμένες τροπικότητες, με αποτέλεσμα μαθησιακές μεροληψίες και ειδικούς σχεδιασμούς στα μοντέλα. Η εστίαση των αλγορίθμων αυτοεπιβλεπόμενης μάθησης σε μεμονωμένες τροπικότητες δημιουργεί προκλήσεις σε εφαρμογές AI, όπως η υπολογιστική όραση και η NLP.
Για παράδειγμα, υπάρχουν λεξιλόγια μονάδων ομιλίας στη επεξεργασία ομιλίας που μπορούν να ορίσουν μια εργασία αυτοεπιβλεπόμενης μάθησης στη NLP. Παρόμοια, στην υπολογιστική όραση, οι προγραμματιστές μπορούν είτε να ανακτήσουν την είσοδο, να μάθουν διακριτές οπτικές μονάδες, είτε να μάθουν αναπαραστάσεις που είναι αμετάβλητες ως προς την επαύξηση δεδομένων. Παρότι αυτές οι μαθησιακές μεροληψίες είναι χρήσιμες, είναι δύσκολο να επιβεβαιωθεί αν γενικεύονται σε άλλες τροπικότητες.
Ο αλγόριθμος data2vec είναι ένα σημαντικό ορόσημο στον τομέα της αυτοεπιβλεπόμενης μάθησης, καθώς στοχεύει στη βελτίωση πολλών τροπικοτήτων αντί για μια μόνο. Επιπλέον, ο αλγόριθμος data2vec δεν βασίζεται στην ανακατασκευή της εισόδου ή την αντιπαραθετική μάθηση.
Έτσι, ο λόγος για τον οποίο ο κόσμος χρειάζεται το data2vec είναι ότι ο αλγόριθμος data2vec έχει τη δυνατότητα να επιταχύνει την πρόοδο στην AI και συμβάλλει στην ανάπτυξη μοντέλων AI που μπορούν να μάθουν για διάφορες πτυχές του περιβάλλοντός τους απρόσκοπτα. Οι επιστήμονες ελπίζουν ότι ο data2vec θα επιτρέψει την ανάπτυξη πιο προσαρμοστικών μοντέλων AI και ML, ικανών για ιδιαίτερα προηγμένες εργασίες πέρα από τις δυνατότητες των σημερινών μοντέλων.
Τι είναι ο Αλγόριθμος Data2Vec;
Το data2vec είναι ένα ενοποιημένο πλαίσιο που στοχεύει στην εφαρμογή της αυτοεπιβλεπόμενης μηχανικής μάθησης σε διάφορες τροπικότητες δεδομένων, συμπεριλαμβανομένων εικόνων, ομιλίας και κειμένου.
Ο αλγόριθμος data2vec στοχεύει στην ανάπτυξη μοντέλων ML που μπορούν να μάθουν τα γενικά μοτίβα στο περιβάλλον πολύ καλύτερα, διατηρώντας τον μαθησιακό στόχο ομοιόμορφο σε διάφορες τροπικότητες. Το μοντέλο data2vec ενοποιεί τον αλγόριθμο μάθησης, αλλά εξακολουθεί να μαθαίνει τις αναπαραστάσεις για κάθε τροπικότητα χωριστά.
Με την εισαγωγή του αλγορίθμου data2vec, η Meta AI ελπίζει ότι θα κάνει την πολυτροπική μάθηση αποτελεσματική και πολύ πιο απλή.
Πώς Λειτουργεί ο Αλγόριθμος Data2Vec;
Ο αλγόριθμος data2vec συνδυάζει τις γνώσεις των λανθανουσών αναπαραστάσεων με προβλέψεις με μάσκα, αν και χρησιμοποιεί πολλαπλά επίπεδα του δικτύου ως στόχους για να γενικεύσει τις λανθάνουσες αναπαραστάσεις. Το μοντέλο εκπαιδεύει ένα έτοιμο δίκτυο Transformer που χρησιμοποιείται είτε σε λειτουργία δασκάλου είτε σε λειτουργία μαθητή.
Στη λειτουργία δασκάλου, το μοντέλο πρώτα κατασκευάζει τις αναπαραστάσεις των δεδομένων εισόδου που χρησιμεύουν ως στόχοι στην εργασία μάθησης. Στη λειτουργία μαθητή, το μοντέλο κωδικοποιεί μια μασκαρμένη εκδοχή των δεδομένων εισόδου που χρησιμοποιείται για να κάνει προβλέψεις για πλήρεις αναπαραστάσεις δεδομένων.

Η παραπάνω εικόνα αντιπροσωπεύει πώς το μοντέλο data2vec χρησιμοποιεί την ίδια διαδικασία μάθησης για διαφορετικές τροπικότητες. Στο πρώτο βήμα, το μοντέλο παράγει αναπαραστάσεις των δεδομένων εισόδου (λειτουργία δασκάλου). Το μοντέλο στη συνέχεια ανακτά αυτές τις αναπαραστάσεις με βάση μια μασκαρμένη εκδοχή των δεδομένων εισόδου.
Επιπλέον, καθώς ο αλγόριθμος data2vec χρησιμοποιεί λανθάνουσες αναπαραστάσεις των δεδομένων εισόδου, μπορεί να θεωρηθεί ως μια απλοποιημένη εκδοχή των σχεδιασμών ειδικών για κάθε τροπικότητα όπως η δημιουργία κατάλληλων στόχων με την κανονικοποίηση της εισόδου ή η μάθηση ενός σταθερού συνόλου οπτικών token. Η βασική διαφορά από άλλους αλγορίθμους είναι ότι ο data2vec χρησιμοποιεί αυτοπροσοχή ώστε οι αναπαραστάσεις-στόχοι του να είναι συνεχείς και να ενσωματώνουν πληροφορίες συμφραζομένων. Αντίθετα, άλλα μοντέλα αυτοεπιβλεπόμενης μάθησης χρησιμοποιούν ένα σταθερό σύνολο στόχων που βασίζονται σε τοπικά συμφραζόμενα.
Μέθοδος του Μοντέλου Data2vec
Το μοντέλο data2vec εκπαιδεύεται με την πρόβλεψη των αναπαραστάσεων του μοντέλου των δεδομένων εισόδου με βάση μια μερική προβολή της εισόδου. Όπως μπορείτε να δείτε στη δοσμένη εικόνα, το πρόσωπο του σκύλου είναι μασκαρμένο, ένα συγκεκριμένο τμήμα της φωνής είναι μασκαρμένο και η λέξη “με” είναι μασκαρμένη στο κείμενο.

Το μοντέλο πρώτα κωδικοποιεί μια μασκαρμένη εκδοχή του δείγματος εκπαίδευσης (λειτουργία μαθητή), και στη συνέχεια κωδικοποιεί την αμάσκαρη εκδοχή της εισόδου για να κατασκευάσει στόχους εκπαίδευσης με το ίδιο μοντέλο, αλλά μόνο όταν είναι παραμετροποιημένο ως ο εκθετικός κινητός μέσος όρος των βαρών του μοντέλου, δηλαδή στη λειτουργία δασκάλου. Οι αναπαραστάσεις-στόχοι κωδικοποιούν τις πληροφορίες του δείγματος εκπαίδευσης και, στη λειτουργία μαθητή, η μαθησιακή εργασία είναι η πρόβλεψή τους από μια μερική όψη της εισόδου.
Αρχιτεκτονική του Μοντέλου
Το μοντέλο data2vec χρησιμοποιεί μια τυπική αρχιτεκτονική Transformer με κωδικοποίηση ειδική για κάθε τροπικότητα των δεδομένων εισόδου. Για εργασίες που σχετίζονται με την υπολογιστική όραση, το μοντέλο χρησιμοποιεί την στρατηγική ViT για να κωδικοποιήσει μια εικόνα ως μια ακολουθία από τμήματα όπου κάθε τμήμα καλύπτει 16×16 pixels, και τροφοδοτείται ως ένας γραμμικός μετασχηματισμός.
Επιπλέον, για την αναγνώριση ομιλίας, το μοντέλο κωδικοποιεί τα δεδομένα χρησιμοποιώντας ένα πολυεπίπεδο μονοδιάστατο συνελικτικό νευρωνικό δίκτυο που χαρτογραφεί τις κυματομορφές 16 kHz σε 50 Hz αναπαραστάσεις. Για την επεξεργασία των δεδομένων κειμένου, το μοντέλο προεπεξεργάζεται τα δεδομένα για να εξαγάγει υπο-μονάδες, και στη συνέχεια ενσωματώνει τα δεδομένα σε χώρο κατανεμημένων αναπαραστάσεων μέσω διανυσμάτων ενσωμάτωσης.
Μάσκα
Μόλις το μοντέλο ενσωματώσει τα δεδομένα εισόδου ως μια ακολουθία από μονάδες, το μοντέλο μάσκαρει τμήματα αυτών των μονάδων αντικαθιστώντας τες με μια μονάδα ενσωμάτωσης, και στη συνέχεια τροφοδοτεί την ακολουθία στο δίκτυο Transformer. Για την υπολογιστική όραση, το μοντέλο εφαρμόζει μια στρατηγική εφαρμογής μάσκας κατά μπλοκ. Στην ομιλία, λανθάνουσες αναπαραστάσεις χρησιμοποιούνται για την απόκρυψη διαστημάτων των δεδομένων ομιλίας, ενώ στις γλωσσικές εργασίες εφαρμόζεται μάσκα στα token.
Στόχοι Εκπαίδευσης
Το μοντέλο data2vec στοχεύει στην πρόβλεψη των αναπαραστάσεων του μοντέλου των αμάσκαρων δειγμάτων εκπαίδευσης με βάση μια κωδικοποίηση των δειγμάτων με εφαρμοσμένη μάσκα. Το μοντέλο προβλέπει τις αναπαραστάσεις μόνο για τις μασκαρημένες χρονικές στιγμές.
Το μοντέλο προβλέπει αναπαραστάσεις με πληροφορίες συμφραζομένων όχι μόνο πληροφορίες για την τρέχουσα χρονική στιγμή, αλλά και άλλες πληροφορίες από το δείγμα, επειδή χρησιμοποιεί αυτοπροσοχή στο δίκτυο Transformer. Οι αναπαραστάσεις με πληροφορίες συμφραζομένων και η χρήση του Transformer διακρίνουν τον data2vec από μοντέλα όπως BERT, wav2vec, BEiT, SimMIM, MAE και MaskFeat, τα οποία προβλέπουν στόχους χωρίς πληροφορίες συμφραζομένων.
Εδώ είναι πώς το μοντέλο data2vec παραμετροποιεί τη λειτουργία δασκάλου για να προβλέψει τις αναπαραστάσεις του δικτύου που στη συνέχεια χρησιμεύουν ως στόχοι.
Παραμετροποίηση του Δασκάλου
Το μοντέλο data2vec παραμετροποιεί την κωδικοποίηση του αμάσκαρου δείγματος εκπαίδευσης με τη χρήση EMA ή Εκθετικού Κινητού Μέσου Όρου των παραμέτρων του μοντέλου (θ) όπου τα βάρη του μοντέλου στη διδασκαλία (△) είναι τα ακόλουθα
∆ ← τ∆ + (1 − τ ) θ
Επιπλέον, το μοντέλο προγραμματίζει για τ που αυξάνεται γραμμικά την παράμετρο από τ0 σε τe (τιμή-στόχος) κατά τη διάρκεια των πρώτων τn ενημερώσεων. Μετά από αυτές τις ενημερώσεις, το μοντέλο διατηρεί την τιμή σταθερή μέχρι το τέλος της εκπαίδευσης. Η στρατηγική EMA ενημερώνει τον δάσκαλο συχνότερα στην αρχή, όταν το μοντέλο είναι τυχαίο. Καθώς η εκπαίδευση προχωρά και μαθαίνονται καλές παράμετροι, ο δάσκαλος ενημερώνεται λιγότερο συχνά.
Τα αποτελέσματα δείχνουν ότι το μοντέλο είναι πιο αποτελεσματικό και ακριβές όταν μοιράζεται τις παραμέτρους του κωδικοποιητή χαρακτηριστικών και του κωδικοποιητή θέσης μεταξύ της λειτουργίας μαθητή και της λειτουργίας δασκάλου.
Στόχοι
Η κατασκευή των στόχων εκπαίδευσης εξαρτάται από την έξοδο των ανώτερων K μπλοκ του δικτύου δασκάλου για χρονικές στιγμές που είναι μασκαρημένες στη λειτουργία μαθητή. Η έξοδος του μπλοκ l σε οποιαδήποτε χρονική στιγμή t σημειώνεται ως alt. Το μοντέλο στη συνέχεια εφαρμόζει κανονικοποίηση σε κάθε μπλοκ για να λάβει alt πριν υπολογίσει τον μέσο όρο των ανώτερων K μπλοκ

για να λάβει τον στόχο εκπαίδευσης yt για χρονική στιγμή t για ένα δίκτυο με L μπλοκ συνολικά.
Δημιουργεί στόχους εκπαίδευσης που το μοντέλο ανακτά όταν είναι στη λειτουργία μαθητή. Στις αρχικές πειραματικές δοκιμές, το μοντέλο data2vec είχε καλή απόδοση στην πρόβλεψη κάθε μπλοκ ξεχωριστά με μια ειδική προβολή, και ήταν πολύ πιο αποτελεσματικό.
Επιπλέον, η κανονικοποίηση των στόχων επιτρέπει στο μοντέλο data2vec να μην καταρρέει σε σταθερές αναπαραστάσεις για χρονικές στιγμές, και να αποτρέπει τα επίπεδα υψηλής νόρμας να κυριαρχούν στα χαρακτηριστικά στο σύνολο δεδομένων. Για την αναγνώριση ομιλίας, το μοντέλο χρησιμοποιεί instance normalization πάνω στο τρέχον δείγμα εισόδου χωρίς εκπαιδευόμενες παραμέτρους. Αυτό συμβαίνει κυρίως επειδή το βήμα πάνω στα δεδομένα εισόδου είναι μικρό και οι γειτονικές αναπαραστάσεις συσχετίζονται έντονα.
Επιπλέον, οι ερευνητές βρήκαν ότι όταν εργάζονται με την υπολογιστική όραση και την NLP, η κανονικοποίηση χωρίς παράμετρο κάνει τη δουλειά επαρκώς. Το πρόβλημα μπορεί επίσης να λυθεί με Διακύμανση–Αμεταβλητότητα–Συνδιακύμανση κανονικοποίηση, αλλά η στρατηγική που αναφέρθηκε παραπάνω εκτελείται επαρκώς, και δεν απαιτεί πρόσθετες παραμέτρους.
Αντικειμενική Συνάρτηση
Για τις αναπαραστάσεις στόχων με πληροφορίες συμφραζομένων yt, το μοντέλο χρησιμοποιεί μια ομαλή συνάρτηση απώλειας L1 για να ανακτήσει τους στόχους όπως αναφέρεται παρακάτω

Εδώ, η β καθορίζει για τη μετάβαση από μια τετραγωνική απώλεια σε μια L1 απώλεια, και εξαρτάται βαθιά από το μέγεθος του κενού μεταξύ της πρόβλεψης του μοντέλου ft(x) στη χρονική στιγμή t. Το πλεονέκτημα αυτής της απώλειας είναι ότι είναι σχετικά λιγότερο ευαίσθητη στις ακραίες τιμές, με την ανάγκη να ρυθμίσετε την ρύθμιση του β.
Πειραματική Ρύθμιση
Το μοντέλο data2vec πειραματίζεται με δύο μεγέθη μοντέλων: data2vec Large και data2vec Base. Για την αριθμητική σταθερότητα, οι ενημερώσεις EMA γίνονται σε fp32, και τα μοντέλα περιέχουν L= 12 ή L= 24 μπλοκ Transformer με κρυφές διαστάσεις (H) = 768 ή H= 1024.
Υπολογιστική Όραση
Το μοντέλο data2vec ενσωματώνει εικόνες 224×224 pixels ως τμήματα 16×16 pixels. Κάθε ένα από αυτά τα τμήματα μετατρέπεται γραμμικά, και μια ακολουθία με 196 αναπαραστάσεις τροφοδοτείται στο τυπικό δίκτυο Transformer.
Το μοντέλο ακολουθεί BEiT για να μάσκαρει μπλοκ με γειτονικές μάσκες με κάθε μπλοκ που έχει τουλάχιστον 16 τμήματα με έναν τυχαίο λόγο διαστάσεων. Ωστόσο, αντί να μάσκαρει 40% του τμήματος όπως αρχικά στο μοντέλο BEiT, το μοντέλο data2vec μάσκαρει 60% του τμήματος για καλύτερη ακρίβεια.
Επιπλέον, το μοντέλο μεταβάλλει τυχαία το μέγεθος των αποκομμάτων εικόνας, εφαρμόζει οριζόντια αναστροφή και τυχαίες χρωματικές μεταβολές. Τέλος, το μοντέλο data2vec χρησιμοποιεί την ίδια τροποποιημένη εικόνα και στη λειτουργία δασκάλου και στη λειτουργία μαθητή.
Τα μοντέλα ViT-B προ-εκπαιδεύονται για 800 εποχές, και το μοντέλο data2vec χρησιμοποιεί το μέγεθος παρτίδας 8,192 για το μοντέλο ViT-L, και 2,048 για το μοντέλο ViT-B. Το μοντέλο data2vec χρησιμοποιεί επίσης πρόγραμμα συνημιτονικής μεταβολής και βελτιστοποιητή Adam με έναν μόνο κύκλο για να θερμάνει τον ρυθμό μάθησης για 80 εποχές σε 0.001 για ViT-L, και για 40 εποχές σε 0.001 για ViT-B.
Τόσο για το ViT-B όσο και για το ViT-L, το μοντέλο data2vec χρησιμοποιεί β = 2, K = 6 και τ = 0.9998 ως σταθερή χωρίς πρόγραμμα. Το μοντέλο χρησιμοποιεί επίσης ρυθμό στοχαστικού βάθους 0.2.
Επιπλέον, για ViT-L, το μοντέλο εκπαιδεύεται για 1.600 εποχές όπου οι πρώτες 800 εποχές έχουν έναν ρυθμό μάθησης 0.9998, και στη συνέχεια το μοντέλο επαναφέρει το πρόγραμμα ρυθμού μάθησης, και συνεχίζει για τις επόμενες 800 εποχές με ρυθμό μάθησης 0.9999.
Για την ταξινόμηση εικόνων, το μοντέλο χρησιμοποιεί τη συγκέντρωση μέσω μέσου όρου της εξόδου του τελευταίου μπλοκ Transformer, και τροφοδοτείται σε έναν ταξινομητή με κανονικοποίηση softmax. Το μοντέλο στη συνέχεια προσαρμόζει περαιτέρω το ViT-L για 50 εποχές, και ViT-B για 100 εποχές χρησιμοποιώντας τη συνημιτονική μεταβολή και τον Adam για να θερμάνει τον ρυθμό μάθησης.
Επεξεργασία Ομιλίας
Για την επεξεργασία ομιλίας, το μοντέλο data2vec χρησιμοποιεί το Fairseq, ένα σετ μοντέλων για την εκπαίδευση μοντέλων για περίληψη, μετάφραση, και γενεσιουργό κειμένου. Το μοντέλο λαμβάνει 16 kHz waveform ως είσοδο που επεξεργάζεται χρησιμοποιώντας έναν κωδικοποιητή χαρακτηριστικών, και περιέχει χρονικές συνελίξεις με 512 κανάλια, πλάτη πυρήνων (10,3,3,3,3,2,2), και βήματα (5,2,2,2,2,2,2).
Τα παραπάνω αποτελέσματα στην έξοδο του κωδικοποιητή είναι 50 Hz, και έχει ένα βήμα 20ms μεταξύ κάθε δείγματος. Το πεδίο λήψης του κωδικοποιητή αποτελείται από 400 εισοδικά δείγματα ή 25 ms ηχητικών δεδομένων. Η ακατέργαστη κυματομορφή που τροφοδοτείται στον κωδικοποιητή κανονικοποιείται σε μοναδιαία διακύμανση και μηδενική μέση τιμή.
Η στρατηγική εφαρμογής μάσκας που χρησιμοποιεί το μοντέλο data2vec για το μοντέλο Base μοιάζει με το πλαίσιο Baevski για την αυτοεπιβλεπόμενη μάθηση στην αναγνώριση ομιλίας. Το μοντέλο δειγματοληπτεί p = 0.065 για όλες τις χρονικές στιγμές ώστε να επιλέξει τις θέσεις έναρξης της μάσκας, και στη συνέχεια σημειώνει τις επόμενες δέκα χρονικές στιγμές. Για ένα τυπικό δείγμα εκπαίδευσης, η διαδικασία επιτρέπει σχεδόν 49% των συνολικών χρονικών στιγμών να μασκαρευτούν.
Κατά τη διάρκεια της εκπαίδευσης, το μοντέλο data2vec μεταβάλλει γραμμικά την τ χρησιμοποιώντας τo = 0.999, τe = 0.9999, και τn = 30,000. Το μοντέλο data2vec χρησιμοποιεί τον Adam βελτιστοποιητή με τον μέγιστο ρυθμό μάθησης 5×10-4 για το μοντέλο Base. Επιπλέον, το μοντέλο Base χρησιμοποιεί ένα τρι-στάδιο πρόγραμμα που θερμαίνει τον ρυθμό μάθησης γραμμικά για το πρώτο 3% των ενημερώσεων, τον διατηρεί για το επόμενο 90%, και στη συνέχεια τον μειώνει για το υπόλοιπο 7%.
Επεξεργασία Φυσικής Γλώσσας
Το μοντέλο data2vec χρησιμοποιεί την κωδικοποίηση byte-pair 50K τύπων για να κωδικοποιήσει την είσοδο, και το μοντέλο στη συνέχεια μαθαίνει μια ενσωμάτωση για κάθε τύπο. Μετά την κωδικοποίηση, το μοντέλο εφαρμόζει τη στρατηγική εφαρμογής μάσκας BERT σε 15% των ομοιόμορφως επιλεγμένων token, όπου 80% αντικαθίστανται από εκπαιδευόμενα token μάσκας, 10% αντικαθίστανται από τυχαία token του λεξιλογίου, και το υπόλοιπο 10% παραμένει αμετάβλητο.
Κατά τη διάρκεια της προ-εκπαίδευσης, το μοντέλο χρησιμοποιεί τo = 0.999, τe = 0.9999, και τn = 100,000, K= 10, και β = 4. Το μοντέλο χρησιμοποιεί τον Adam βελτιστοποιητή με ένα τρι-στάδιο πρόγραμμα ρυθμού μάθησης που θερμαίνει τον ρυθμό μάθησης γραμμικά για το πρώτο 5% των ενημερώσεων, τον διατηρεί για το επόμενο 80%, και στη συνέχεια τον μειώνει για το υπόλοιπο 15%, με τον μέγιστο ρυθμό μάθησης 2×10-4.
Επιπλέον, το μοντέλο εκπαιδεύεται σε 16 GPU με ένα μέγεθος παρτίδας 256 ακολουθιών, και κάθε ακολουθία περιέχει περίπου 512 token. Για την NLP, το μοντέλο προ-εκπαιδεύεται για τέσσερις διαφορετικές ρυθμούς μάθησης: 1×10-4, 2×10-4, 3×10-4, 4×10-4, και η καλύτερη από αυτές επιλέγεται για περαιτέρω NLP εργασίες.
Αποτελέσματα
Ας δούμε πώς το μοντέλο data2vec εκτελείται όταν εφαρμόζει τις στρατηγικές που αναφέρθηκαν παραπάνω για διαφορετικές τροπικότητες.
Υπολογιστική Όραση
Για να αξιολογήσει τα αποτελέσματα για την υπολογιστική όραση, το μοντέλο data2vec προ-εκπαιδεύεται στις εικόνες από το ImageNet-1K σύνολο δεδομένων. Το μοντέλο που προκύπτει προσαρμόζεται περαιτέρω με χρήση των επισημειωμένων δεδομένων του ίδιου σύνολο αναφοράς. Σύμφωνα με την τυπική πρακτική, το μοντέλο αξιολογείται σε σχέση με top-1 ακρίβεια σε δεδομένα επαλήθευσης.
Τα αποτελέσματα είναι στη συνέχεια διαφοροποιημένα με βάση ένα μόνο αυτοεπιβλεπόμενο μοντέλο, και την εκπαίδευση ενός ξεχωριστού οπτικού tokenizer σε πρόσθετα δεδομένα, ή άλλα μοντέλα αυτοεπιβλεπόμενης μάθησης.
Ο παρακάτω πίνακας συγκρίνει την απόδοση του μοντέλου data2vec για την υπολογιστική όραση, και άλλα υπάρχοντα μοντέλα: ViT-L, και ViT-B.

Τα αποτελέσματα από τον παραπάνω πίνακα μπορούν να συνοψισθούν ως εξής.
- Το μοντέλο data2vec υπερέχει της προηγούμενης έρευνας τόσο με το ViT-L όσο και με το ViT-B σε διάταξη ενός μόνο μοντέλου.
- Η πρόβλεψη με μάσκα που χρησιμοποιεί ο αλγόριθμος data2vec για να προβλέπει λανθάνουσες αναπαραστάσεις με πληροφορίες συμφραζομένων αποδίδει καλύτερα από μεθόδους που προβλέπουν τοπικούς στόχους, όπως τεχνητά σχεδιασμένα χαρακτηριστικά εικόνας, pixel εισόδου ή οπτικά token.
- Το μοντέλο data2vec υπερέχει επίσης των μεθόδων αυτοαπόσταξης γνώσης που ανακτά τις αναπαραστάσεις του τελικού επιπέδου του μοντέλου μαθητή ενώ λαμβάνει δύο διαφορετικές επαυξημένες εκδοχές μιας εικόνας ως εισόδους.
Ήχος και Ομιλία
Για την επεξεργασία ομιλίας, το μοντέλο data2vec εκπαιδεύεται σε περίπου 960 ώρες ήχου δεδομένων από το Librispeech(LS-960) σύνολο δεδομένων. Το σύνολο δεδομένων περιέχει καθαρό ήχο ομιλίας από ηχητικά βιβλία στην αγγλική γλώσσα, και αντιμετωπίζεται ως ένα τυπικό σύνολο αναφοράς στην βιομηχανία επεξεργασίας ομιλίας.
Για να αναλύσει την απόδοση του μοντέλου σε διαφορετικές ρυθμίσεις πόρων, οι ερευνητές έχουν προσαρμόσει περαιτέρω το μοντέλο data2vec για να χρησιμοποιήσει διαφορετικές ποσότητες δεδομένων ετικετών (από λίγα λεπτά έως λίγες ώρες) για την αυτόματη αναγνώριση ομιλίας. Για να αναλύσει την απόδοση του μοντέλου, το data2vec συγκρίνεται με HuBERT και wav2vec 2.0, δύο από τους πιο δημοφιλείς αλγόριθμους για την εκμάθηση αναπαραστάσεων ομιλίας που βασίζονται σε διακριτές μονάδες ομιλίας.

Ο παραπάνω πίνακας συγκρίνει την απόδοση του data2vec σε σχέση με τον ρυθμό λέξεων για αναγνώριση ομιλίας με άλλα υπάρχοντα μοντέλα. LM δηλώνει το μοντέλο γλώσσας που χρησιμοποιείται για αποκωδικοποίηση. Τα αποτελέσματα μπορούν να συνοψισθούν ως εξής.
- Το μοντέλο data2vec δείχνει βελτιώσεις για τις περισσότερες ρυθμίσεις δεδομένων ετικετών με το μεγαλύτερο όφελος στη ρύθμιση με 10 λεπτά επισημειωμένων δεδομένων για το μοντέλο Base.
- Όταν πρόκειται για μεγάλα μοντέλα, το μοντέλο αποδίδει σημαντικά καλύτερα σε μικρές ρυθμίσεις δεδομένων ετικετών, και η απόδοση είναι συγκρίσιμη σε πλούσιες ρυθμίσεις δεδομένων ετικετών με πάνω από 100 και 960 ώρες δεδομένων ετικετών. Αυτό είναι επειδή η απόδοση γενικά κορυφώνεται σε πλούσιες ρυθμίσεις δεδομένων ετικετών για τα περισσότερα μοντέλα.
- Μετά την ανάλυση της απόδοσης, μπορεί να συναχθεί ότι όταν το μοντέλο χρησιμοποιεί πλούσιες αναπαραστάσεις στόχων, δεν είναι απαραίτητο να μάθει διακριτές μονάδες.
- Η μάθηση αναπαραστάσεων με πληροφορίες συμφραζομένων κατά τη διάρκεια της εκπαίδευσης βοηθά στη βελτίωση της συνολικής απόδοσης σημαντικά.
Επιπλέον, για να επικυρώσει την προσέγγιση του data2vec για αναγνώριση ομιλίας, το μοντέλο εκπαιδεύεται επίσης στο AudioSet σύνολο αναφοράς. Αν και η ρύθμιση προ-εκπαίδευσης για το AudioSet είναι παρόμοια με το Librispeech, το μοντέλο εκπαιδεύεται για K= 12, και για πάνω από 200K ενημερώσεις, όπου το μέγεθος κάθε δείγματος είναι 94.5 λεπτά.
Το μοντέλο εφαρμόζει στη συνέχεια το DeepNorm πλαίσιο, και κανονικοποίηση επιπέδου στους στόχους για να βοηθήσει στη σταθεροποίηση της εκπαίδευσης. Επιπλέον, το μοντέλο προσαρμόζεται περαιτέρω σε ισορροπημένα υποσύνολα με μέγεθος παρτίδας 21.3 λεπτά πάνω από 13k ενημερώσεις. Το μοντέλο χρησιμοποιεί επίσης Γραμμική Softmax Pooling και mixup με μια πιθανότητα 0.7. Το μοντέλο στη συνέχεια προσθέτει μια μόνο γραμμική προβολή σε 527 μοναδικές κατηγορίες ήχου, και ορίζει τον ρυθμό μάθησης της προβολής σε 2e-4.
Επιπλέον, οι προεκπαιδευμένες παράμετροι έχουν έναν ρυθμό μάθησης 3e-5, και το μοντέλο χρησιμοποιεί τεχνικές εφαρμογής μάσκας για την περαιτέρω προσαρμογή στο σύνολο δεδομένων. Ο παρακάτω πίνακας συνοψίζει τα αποτελέσματα, και μπορεί να δει ότι το μοντέλο data2vec είναι ικανό να υπερέχει μιας συγκρίσιμης διάταξης με την ίδια περαιτέρω προσαρμογή και τα ίδια δεδομένα προεκπαίδευσης.

Επεξεργασία Φυσικής Γλώσσας
Για να αναλύσει την απόδοση του data2vec στο κείμενο, το μοντέλο ακολουθεί την ίδια ρύθμιση προ-εκπαίδευσης όπως το BERT και προ-εκπαιδεύει το μοντέλο στο αγγλικό σύνολο δεδομένων Wikipedia με πάνω από 1M ενημερώσεις, και μέγεθος παρτίδας 256 ακολουθιών. Το μοντέλο αξιολογείται στο GLUE ή Γενική Αξιολόγηση Κατανόησης Γλώσσας σύνολο αναφοράς που περιλαμβάνει εργασίες συμπερασμού φυσικής γλώσσας (MNLI ή Συμπερασμός Φυσικής Γλώσσας Πολλαπλών Ειδών), ομοιότητα προτάσεων (QQP ή Quora Question Pairs benchmark, MRPC ή Microsoft (MSFT ) Research Paragraph Corpus, και STS-B ή Σύνολο Αναφοράς Σημασιολογικής Ομοιότητας Κειμένου), ανάλυση συναισθήματος (SST-2 ή Stanford Sentiment Treebank), και γραμματική αποδεκτότητα (CoLA).
Επιπλέον, για να προσαρμόσει περαιτέρω το μοντέλο data2vec, τα δεδομένα ετικετών παρέχονται από κάθε εργασία, και η μέση ακρίβεια αναφέρεται στα σύνολα επαλήθευσης με 5 εκτελέσεις περαιτέρω προσαρμογής. Ο παρακάτω πίνακας συνοψίζει την απόδοση του μοντέλου data2vec για εργασίες NLP, και τη συγκρίνει με άλλα μοντέλα.

- Ο παραπάνω πίνακας δείχνει ότι το μοντέλο data2vec υπερέχει του βασικού μοντέλου RoBERTa, καθώς η στρατηγική στο data2vec δεν χρησιμοποιεί τυχαίους στόχους.
- Το μοντέλο data2vec είναι το πρώτο επιτυχημένο προ-εκπαιδευμένο μοντέλο NLP που δεν χρησιμοποιεί διακριτές μονάδες όπως χαρακτήρες, λέξεις ή υπο-λέξεις ως στόχους εκπαίδευσης. Αντίθετα, το πλαίσιο data2vec προβλέπει λανθάνουσες αναπαραστάσεις με πληροφορίες συμφραζομένων από ολόκληρη την ακολουθία κειμένου χωρίς μάσκα.
- Βοηθά στην δημιουργία μιας εργασίας μάθησης στην οποία το μοντέλο απαιτείται να προβλέψει στόχους με συγκεκριμένες ιδιότητες από την τρέχουσα ακολουθία αντί να προβλέψει αναπαραστάσεις που είναι γενικές για κάθε μονάδα κειμένου με συγκεκριμένη διακριτότητα.
- Επιπλέον, το σύνολο στόχων δεν είναι σταθερό, και το μοντέλο είναι ελεύθερο να ορίσει νέους στόχους, και είναι ανοιχτό σε ρυθμίσεις λεξικού.
Data2vec: Μελέτη Αφαίρεσης Συνιστωσών
Η αφαίρεση είναι ένας όρος που χρησιμοποιείται για να ορίσει την αφαίρεση μιας συνιστώσας σε συστήματα AI και ML. Μια μελέτη αφαίρεσης χρησιμοποιείται για να ερευνήσει ή να αναλύσει την απόδοση ενός AI ή ML μοντέλου με την αφαίρεση ορισμένων κρίσιμων συστατικών από το μοντέλο που επιτρέπει στους ερευνητές να κατανοήσουν τη συμβολή της συνιστώσας στο συνολικό σύστημα.
Στόχοι με Μέσο Όρο Επιπέδων
Μια σημαντική διαφορά μεταξύ data2vec και άλλων μοντέλων αυτοεπιβλεπόμενης μάθησης είναι ότι το data2vec χρησιμοποιεί στόχους που βασίζονται στο μέσο πολλαπλών στρωμάτων από το δίκτυο δασκάλου. Η ιδέα προέρχεται από το γεγονός ότι τα ανώτερα επίπεδα του wav2vec 2.0 μοντέλου δεν εκτελούνται καλά για επακόλουθες εργασίες όταν συγκρίνονται με τα μεσαία στρώματα του μοντέλου.
Στην ακόλουθη πειραματική δοκιμή, η απόδοση όλων των τριών modalities μετράται με υπολογισμό μέσου όρου K= 1, 2, …, 12 επιπέδων όπου K= 1 προβλέπει μόνο το πάνω στρώμα. Ωστόσο, για να μειώσει τον χρόνο εκτέλεσης, το data2vec εκπαιδεύει το μοντέλο Base με 12 στρώματα συνολικά. Για αναγνώριση ομιλίας, το μοντέλο προ-εκπαιδεύεται σε πάνω από 200 χιλιάδες ενημερώσεις στο Librispeech, και στη συνέχεια προσαρμόζεται περαιτέρω σε ένα επισημειωμένο υποσύνολο 10 ωρών του Libri-light. Για NLP, το μοντέλο αναφέρει τη μέση βαθμολογία GLUE για το σύνολο επαλήθευσης, και προ-εκπαιδεύει το μοντέλο για 300 εποχές για την υπολογιστική όραση και στη συνέχεια αναφέρει την top-1 ακρίβεια που λαμβάνεται στο ImageNet σύνολο δεδομένων.

Ο παραπάνω πίνακας δείχνει ότι οι στόχοι που βασίζονται σε πολλαπλά επίπεδα γενικά βελτιώνουν την απόδοση σε σύγκριση με τη χρήση μόνο του ανώτερου επιπέδου K=1 για όλες τις τροπικότητες. Η χρήση όλων των διαθέσιμων στρωμάτων είναι μια καλή πρακτική, καθώς τα νευρωνικά δίκτυα χτίζουν χαρακτηριστικά πάνω από διαφορετικά είδη χαρακτηριστικών, και πολλά στρώματα που εξάγονται ως στρώματα χαρακτηριστικών.
Η χρήση χαρακτηριστικών από πολλαπλά στρώματα βοηθά στην ενίσχυση της ακρίβειας, και εμπλουτίζει τη διαδικασία αυτοεπιβλεπόμενης μάθησης.
Τύπος Στόχου
Τα μπλοκ Transformer στο μοντέλο data2vec έχουν πολλά στρώματα που μπορούν όλα να χρησιμεύσουν ως στόχοι. Για να αναλύσει πώς διαφορετικά στρώματα επηρεάζουν την απόδοση, το μοντέλο προ-εκπαιδεύεται σε μοντέλα ομιλίας Librispeech που χρησιμοποιούν διαφορετικά στρώματα ως στόχους.
Ο παρακάτω πίνακας δείχνει σαφώς ότι η έξοδος του feed forward network ή του FFN λειτουργεί ιδανικά, ενώ η έξοδος των μπλοκ αυτο-προσοχής δεν οδηγεί σε ένα χρηστικό μοντέλο.

Στόχοι με Πληροφορίες Συμφραζομένων
Οι αναπαραστάσεις του δασκάλου στο μοντέλο data2vec χρησιμοποιούν αυτο-προσοχή σε όλη την είσοδο για να παράγουν στόχους με πληροφορίες συμφραζομένων. Αυτό είναι αυτό που διακρίνει το data2vec από άλλα μοντέλα αυτοεπιβλεπόμενης μάθησης που κατασκευάζουν μια εργασία μάθησης ανακατασκευάζοντας ή προβλέποντας τοπικά τμήματα της εισόδου. Αυτό θέτει το ερώτημα: χρειάζεται το data2vec στόχους με πληροφορίες συμφραζομένων για να λειτουργήσει καλά;
Για να απαντήσουν στο ερώτημα, οι ερευνητές κατασκευάζουν στόχους που δεν έχουν πρόσβαση σε όλη την είσοδο, αλλά μόνο σε ένα τμήμα της που προκαθορίζεται. Το μοντέλο στη συνέχεια περιορίζει την αυτο-προσοχή του δασκάλου που επιτρέπει να έχει πρόσβαση μόνο σε ένα τμήμα των συμφραζομένων της εισόδου. Μετά την εκπαίδευση, το μοντέλο προσαρμόζεται περαιτέρω ώστε να έχει πρόσβαση στο πλήρες μέγεθος συμφραζομένων.
Ο παρακάτω πίνακας δείχνει ότι μεγαλύτερα μεγέθη συμφραζομένων συχνά οδηγούν σε καλύτερη απόδοση, και όταν όλη η είσοδος είναι ορατή, αποδίδει την καλύτερη ακρίβεια. Αυτό αποδεικνύει ότι πλούσιες αναπαραστάσεις στόχων μπορούν να οδηγήσουν σε καλύτερη απόδοση.

Εξαγωγείς Χαρακτηριστικών και Μάσκες ανά Τροπικότητα
Ο κύριος στόχος του data2vec είναι να σχεδιάσει μια απλή διαδικασία μάθησης που μπορεί να λειτουργήσει με διαφορετικές τροπικότητες. Αυτό είναι επειδή, αν και τα τρέχοντα μοντέλα και πλαίσια έχουν μια ενοποιημένη διαδικασία μάθησης, ακόμη χρησιμοποιούν εξαγωγείς χαρακτηριστικών και μάσκες ειδικούς για κάθε τροπικότητα.
Είναι λογικό ότι τα πλαίσια λειτουργούν κυρίως με μια μόνο τροπικότητα, δεδομένου του χαρακτήρα της εισόδου που διαφέρει πολύ από το ένα στο άλλο. Για παράδειγμα, μοντέλα αναγνώρισης ομιλίας χρησιμοποιούν υψηλής ανάλυσης είσοδο (όπως 10 kHz waveform) που συνήθως έχουν χιλιάδες δείγματα. Η κυματομορφή στη συνέχεια επεξεργάζεται από το πλαίσιο χρησιμοποιώντας ένα πολυεπίπεδο μονοδιάστατο συνελικτικό νευρωνικό δίκτυο για να λάβει ακολουθίες χαρακτηριστικών 50 Hz.
Δομημένοι και Στόχοι με Πληροφορίες Συμφραζομένων
Το κύριο διαφοροποιητικό σημείο μεταξύ του data2vec και άλλων μοντέλων πρόβλεψης με μάσκα είναι ότι στο data2vec, τα χαρακτηριστικά των στόχων εκπαίδευσης είναι αναπαραστάσεις με πληροφορίες συμφραζομένων. Αυτές οι αναπαραστάσεις χτίζονται χρησιμοποιώντας αυτο-προσοχή σε όλη την μασκαρημένη είσοδο στη λειτουργία δασκάλου.
Άλλα πλαίσια όπως BYOL (Bootstrap Your Own Latent) ή DINO επίσης χρησιμοποιούν λανθάνουσες αναπαραστάσεις όπως το data2vec, αλλά ο κύριος στόχος τους είναι να μάθουν αναπαραστάσεις που είναι ανεξάρτητες από μετασχηματισμούς.
Τελικές Σκέψεις
Πρόσφατη εργασία στη βιομηχανία AI και ML έχει δείξει ότι ενοποιημένες αρχιτεκτονικές μοντέλων μπορούν να είναι μια αποτελεσματική προσέγγιση για την αντιμετώπιση πολλών τροπικοτήτων. Το μοντέλο data2vec χρησιμοποιεί μια προσέγγιση αυτοεπιβλεπόμενης μάθησης για να λειτουργήσει με τρεις τροπικότητες: ομιλία, εικόνες και γλώσσα.
Η κεντρική ιδέα πίσω από το μοντέλο data2vec είναι να χρησιμοποιήσει μια μερική προβολή της εισόδου για να ανακτήσει πληροφορίες συμφραζομένων ή δεδομένα εισόδου. Η προσέγγιση που χρησιμοποιείται από το data2vec είναι αποτελεσματική, καθώς το μοντέλο αποδίδει καλύτερα από προηγούμενα μοντέλα αυτοεπιβλεπόμενης μάθησης στο ImageNet-1K σύνολο δεδομένων και για τα δύο μοντέλα ViT-B και ViT-L.
Το data2vec είναι πραγματικά ένα ορόσημο στον τομέα της αυτοεπιβλεπόμενης μάθησης, καθώς αποδεικνύει ότι μια μόνο μέθοδος μάθησης για πολλές modalities μπορεί να διευκολύνει τα μοντέλα να μαθαίνουν σε διαφορετικές τροπικότητες.












