data2vec: Un punct de referință în învățarea auto-supervizată

Modelele de învățare automată s-au bazat puternic pe date etichetate pentru antrenare, iar în mod tradițional, antrenarea modelelor pe date etichetate oferă rezultate precise. Cu toate acestea, principalul dezavantaj al utilizării datelor etichetate este reprezentat de costurile ridicate de anotare, care cresc odată cu creșterea dimensiunii datelor de antrenare. Costurile ridicate de anotare sunt o piedică semnificativă pentru dezvoltatori, în special atunci când lucrează la un proiect mare cu cantități substanțiale de date de antrenare.

Pentru a aborda problema anotării, dezvoltatorii au venit cu conceptul de SSL sau Învățare Auto-Supervizată. Învățarea Auto-Supervizată este un proces de învățare automată în care modelul se antrenează singur pentru a învăța o parte a intrării dintr-o altă parte a intrării. Un model de Învățare Auto-Supervizată își propune să exploateze relația dintre date, în loc de a utiliza semnalele supravegheate ale datelor etichetate.

În plus față de Învățarea Auto-Supervizată, există și alte metode și modele pentru a antrena modele de învățare automată fără a utiliza date etichetate. Cu toate acestea, majoritatea acestor metode au două probleme majore

1. Sunt adesea specializate pentru o singură modalitate, cum ar fi o imagine sau un text.
2. Necesită o cantitate mare de putere de calcul.

Aceste limitări sunt o problemă semnificativă, deoarece o minte umană obișnuită poate învăța dintr-un singur tip de date mult mai eficient decât un model de inteligență artificială care se bazează pe modele și date de antrenare separate pentru a distinge între o imagine, un text și un discurs.

Pentru a aborda problema modalității unice, Meta AI a lansat data2vec, primul algoritm de învățare auto-supervizat de înaltă performanță, care învață informații despre trei modalități diferite: imagine, text și discurs. Cu implementarea algoritmului data2vec, înțelegerile textului pot fi aplicate la o problemă de segmentare a imaginilor sau pot fi utilizate într-o sarcină de recunoaștere a discursului.

În acest articol, vom discuta modelul data2vec în detaliu. Vom analiza metoda, lucrările conexe, arhitectura și rezultatele modelului, astfel încât să aveți o înțelegere clară a algoritmului data2vec.

Introducere data2vec: Ideea de bază

Deși conceptul fundamental de Învățare Auto-Supervizată se aplică în diferite modalități, obiectivele și algoritmii efectivi diferă între ele, deoarece au fost proiectați în raport cu o singură modalitate. Proiectarea unui model pentru o singură modalitate este motivul pentru care același algoritm de învățare auto-supervizată nu poate funcționa eficient în diferite tipuri de date de antrenare.

Pentru a depăși provocarea prezentată de modelele și algoritmii de modalitate unică, Meta AI a lansat data2vec, un algoritm care utilizează aceeași metodă de învățare pentru fiecare dintre modalitățile de viziune computerizată, NLP sau discurs.

Ideea de bază din spatele algoritmului data2vec este de a utiliza vedere mascată a intrării pentru a prevedea reprezentări latente ale datelor de intrare complete într-un mod de auto-destilare cu ajutorul arhitecturii standard Transformer. Astfel, în loc de obiecte specifice modalității, cum ar fi imagini, texte sau voci, care sunt locale în natură, algoritmul data2vec prezice reprezentări latente cu informații din datele de antrenare complete.

De ce industria AI are nevoie de algoritmul data2vec?

Modelele de Învățare Auto-Supervizată construiesc reprezentări ale datelor de antrenare utilizând etichete anotate de om, și acesta este unul dintre motivele principale din spatele progresului tehnologiei NLP și a viziunii computerizate. Aceste reprezentări de învățare auto-supervizată sunt motivul pentru care sarcinile precum recunoașterea discursului și învățarea automată utilizează învățarea nesupervizată în modelele lor.

Până în prezent, aceste algoritmi de învățare auto-supervizată se concentrează pe modalități individuale, ceea ce duce la învățarea de bias și proiectarea specifică a modelelor. Modalitatea individuală a algoritmilor de învățare auto-supervizată creează provocări în diferite aplicații AI, inclusiv viziunea computerizată și NLP.

De exemplu, există vocabularul unităților de discurs în procesarea discursului care poate defini o sarcină de învățare auto-supervizată în NLP. Similar, în viziunea computerizată, dezvoltatorii pot regresa intrarea, învăța tokeni vizuali discreți sau învăța reprezentări invariantă la augmentarea datelor. Deși aceste bias de învățare sunt utile, este dificil de confirmat dacă aceste bias se vor generaliza la alte modalități.

Algoritmul data2vec este un punct de referință important în industria de învățare auto-supervizată, deoarece își propune să îmbunătățească multiple modalități, în loc de una singură. Mai mult, algoritmul data2vec nu se bazează pe reconstruirea intrării sau pe învățarea contrastivă.

Motivul pentru care lumea are nevoie de data2vec este că algoritmul data2vec are potențialul de a accelera progresul în AI și contribuie la dezvoltarea de modele AI care pot învăța despre diferite aspecte ale mediului lor înconjurător în mod fluent. Oamenii de știință speră că algoritmul data2vec va permite dezvoltarea de modele AI și ML mai adaptabile, care pot efectua sarcini avansate dincolo de ceea ce pot face modelele AI actuale.

Ce este algoritmul data2vec?

Data2vec este un cadru unificat care își propune să implementeze învățarea auto-supervizată pe diferite modalități de date, inclusiv imagini, discurs și text.

Algoritmul data2vec își propune să dezvolte modele ML care pot învăța modelele generale din mediu mult mai bine, prin menținerea obiectivului de învățare uniform pe diferite modalități. Modelul data2vec unifică algoritmul de învățare, dar încă învață reprezentări pentru fiecare modalitate în mod individual.

Cu introducerea algoritmului data2vec, Meta AI speră că va face învățarea multimodală mai eficientă și mai simplă.

Cum funcționează algoritmul data2vec?

Algoritmul data2vec combină învățarea reprezentărilor latente cu predicția mascată, deși utilizează multiple straturi de rețea ca ținte pentru a generaliza reprezentările latente. Modelul antrenează o rețea Transformer standard, care este apoi utilizată în modul învățător sau elev.

În modul învățător, modelul construiește reprezentări ale datelor de intrare care servesc ca ținte în sarcina de învățare. În modul elev, modelul codifică o versiune mascată a datelor de intrare, care este apoi utilizată pentru a face predicții asupra reprezentărilor complete ale datelor.

Imaginea de mai sus reprezintă modul în care modelul data2vec utilizează aceeași metodă de învățare pentru diferite modalități. În primul pas, modelul produce reprezentări ale datelor de intrare (modul învățător). Modelul regresează apoi aceste reprezentări pe baza unei versiuni mascate a datelor de intrare.

Mai mult, deoarece algoritmul data2vec utilizează reprezentări latente ale datelor de intrare, poate fi considerat o versiune simplificată a proiectelor specifice modalității, cum ar fi crearea de ținte adecvate prin normalizarea intrării sau învățarea unui set fix de tokeni vizuali. Cu toate acestea, punctul de diferențiere cheie între data2vec și alte algoritmi este că data2vec utilizează atenția de sine pentru a face reprezentarea țintei contextualizată și continuă. Pe de altă parte, alte modele de învățare auto-supervizată utilizează un set fix de ținte bazate pe un context local.

Metoda data2vec

Modelul data2vec este antrenat prin predicția reprezentărilor modelului datelor de intrare, pe baza unei priveliști parțiale a datelor de intrare. Așa cum se poate vedea în figura dată, fața câinelui este mascată, o anumită secțiune a notei de voce este mascată și cuvântul “cu” este mascat în text.

Modelul codifică o versiune mascată a mostrei de antrenare (modul elev) și apoi codifică versiunea nemascată a datelor de intrare pentru a construi ținte de antrenare cu același model, dar numai atunci când este parametrizat ca o medie exponențială a greutăților modelului (modul învățător). Mai mult, reprezentările țintă codifică informația prezentă în mostrea de antrenare, iar în modul elev, sarcina de învățare este utilizată pentru a prezice aceste reprezentări atunci când se oferă o priveliște parțială a datelor de intrare.

Arhitectura modelului

Modelul data2vec utilizează o arhitectură Transformer standard, cu codificare specifică modalității a datelor de intrare. Pentru sarcini legate de viziunea computerizată, modelul utilizează strategia ViT pentru a codifica o imagine ca o secvență de patch-uri, unde fiecare patch acoperă 16×16 pixeli și este alimentat ca o transformare liniară.

Mai mult, pentru recunoașterea discursului, modelul codifică datele utilizând o rețea neuronală convoluvională multistrat, care mapă 16 kHz undele sonore în reprezentări de 50 Hz. Pentru a procesa datele text, modelul preprocesează datele pentru a extrage unități subcuvinte și apoi le încorporează în spațiul distributiv prin vectori de încorporare.

Mascare

Odată ce modelul încorporează datele de intrare ca o secvență de tokeni, modelul maschează părți ale acestor unități prin înlocuirea lor cu un token de încorporare și apoi alimentează secvența în rețeaua Transformer. Pentru viziunea computerizată, modelul practică o strategie de mascare bloc cu bloc.

Ținte de antrenare

Modelul data2vec își propune să prezică reprezentările modelului mostrei de antrenare nemascată pe baza unei codificări a mostrei mascate care a fost inițial alimentată modelului. Modelul prezice reprezentări doar pentru pașii de timp mascați.

Modelul prezice reprezentări contextualizate care nu numai că codifică pasul de timp specific, dar codifică și alte informații din mostrea de antrenare, deoarece utilizează atenția de sine în rețeaua Transformer. Reprezentările contextualizate și utilizarea rețelei Transformer sunt ceea ce diferențiază modelul data2vec de modelele existente BERT, wav2vec, BEiT, SimMIM, MAE și MaskFeat care prezic ținte fără informații contextuale.

Iată cum modelul data2vec parametrizează modul învățător pentru a prezice reprezentările rețelei care apoi servesc ca ținte.

Parametrizarea învățătorului

Modelul data2vec parametrizează codificarea mostrei de antrenare nemascată utilizând Media Exponențială (EMA) a parametrilor modelului (θ) unde greutățile modelului în modul țintă (△) sunt următoarele

                                           ∆ ← τ∆ + (1 − τ ) θ

Mai mult, modelul programează pentru τ care crește liniar parametrul de la τ0 la τe (valoarea țintă) pe primele τn actualizări. După aceste actualizări, modelul menține valoarea constantă până la sfârșitul antrenării. Utilizarea strategiei EMA actualizează învățătorul mult mai frecvent la început, când antrenarea pornește și modelul este aleator. Pe măsură ce antrenarea progresează și se învață parametri buni, învățătorul este actualizat mai puțin frecvent.

Rezultatele arată că modelul este mai eficient și mai precis atunci când împărtășește parametrii codificatorului de caracteristici și codificatorului pozițional între modul elev și modul învățător.

Ținte

Construirea țintelor de antrenare depinde de ieșirea blocurilor superioare K ale rețelei învățător pentru pașii de timp mascați în modul elev. Ieșirea blocului l la orice pas de timp t este notat ca alt. Modelul aplică apoi normalizarea la fiecare bloc pentru a obține âlt înainte de a media blocurile superioare K 

pentru a obține ținta de antrenare yt pentru pasul de timp t pentru o rețea cu L blocuri în total.

Acest lucru creează ținte de antrenare pe care modelul le regresează atunci când este în modul elev. În experimentele inițiale, modelul data2vec a funcționat bine la prezicerea fiecărui bloc separat cu o proiecție dedicată și a fost mult mai eficient în același timp.

Mai mult, normalizarea țintelor permite modelului data2vec să nu se prăbușească în reprezentări constante pentru pașii de timp și să prevină straturile cu normalizare ridicată să domine caracteristicile din setul de date țintă. Pentru recunoașterea discursului, modelul utilizează normalizarea instanță peste mostrea de intrare curentă fără parametri învățați.

În plus, cercetătorii au descoperit că, atunci când lucrează cu viziunea computerizată și NLP, normalizarea fără parametri face treaba suficient de bine. Problema poate fi rezolvată și cu Regularizarea Variance-Invariance-Covariance, dar strategia menționată anterior funcționează suficient de bine și nu necesită parametri suplimentari.

Obiectiv

Pentru ținte de antrenare contextualizate yt, modelul utilizează o pierdere L1 netedă pentru a regresa țintele, după cum se arată mai jos

Aici, β controlează trecerea de la o pierdere pătratică la o pierdere L1, și depinde puternic de dimensiunea golului dintre predicția modelului ft(x) la pasul de timp t. Avantajul acestei pierderi este că este comparativ mai puțin sensibilă la valorile extreme, fără a necesita ajustarea setării β.

Configurare experimentală

Modelul data2vec este experimentat cu două dimensiuni de model: data2vec Large și data2vec Base. Pentru stabilitate numerică, actualizările EMA se efectuează în fp32, și modelele conțin L= 12 sau L= 24 blocuri Transformer cu dimensiuni ascunse (H) = 768 sau H= 1024.

Viziunea computerizată

Modelul data2vec încorporează imagini de 224×224 pixeli ca patch-uri de 16×16 pixeli. Fiecare dintre aceste patch-uri este transformată liniar și o secvență cu 196 reprezentări este alimentată în rețeaua Transformer standard.

Modelul urmează BEiT pentru a masca blocuri cu patch-uri adiacente, fiecare bloc având cel puțin 16 patch-uri cu un raport aleator de aspect. Cu toate acestea, în loc de a masca 40% din patch, modelul data2vec maschează 60% din patch pentru o mai bună precizie.

Mai mult, modelul redimensionează aleator culturile de imagine, flipuri orizontale și jitter de culoare. În final, modelul data2vec utilizează aceeași imagine modificată atât în modul învățător, cât și în modul elev.

Modelele ViT-B sunt pre-antrenate pentru 800 epoci, și modelul data2vec utilizează o dimensiune de batch de 8.192 pentru modelul ViT-L și 2.048 pentru modelul ViT-B. Modelul data2vec utilizează, de asemenea, un program de învățare cosinus și un program Adam pentru a încălzi rata de învățare pentru 80 epoci la 0,001 pentru ViT-L și pentru 40 epoci la 0,001 pentru ViT-B.

Pentru ambele ViT-B și ViT-L, modelul data2vec utilizează β = 2, K = 6 și τ = 0,9998 ca o constantă fără program. Modelul utilizează, de asemenea, o rată de adâncime stohastică de 0,2.

Mai mult, pentru ViT-L, modelul se antrenează pentru 1.600 epoci, unde primele 800 epoci au o rată de învățare de 0,9998, și apoi modelul resetează programul de învățare și continuă pentru ultimele 800 epoci cu o rată de învățare de 0,9999.

Pentru clasificarea imaginilor, modelul utilizează media-pool a ieșirii blocului Transformer final și o alimentează într-un clasificator softmax-normalizat. Modelul apoi ajustează ViT-L pentru 50 epoci și ViT-B pentru 100 epoci, utilizând programul cosinus și Adam pentru a încălzi rata de învățare.

Procesarea discursului

Pentru procesarea discursului, modelul data2vec utilizează Fairseq, un kit de modelare secvențială utilizat pentru a antrena modele personalizate pentru rezumare, traducere și generare de text.

Modelul ia ca intrare o undă sonoră de 16 kHz care este procesată utilizând un codificator de caracteristici, care conține convoluții temporale cu 512 canale, lățimi de kernel (10,3,3,3,3,2,2) și pași (5,2,2,2,2,2,2).

Rezultatul este o ieșire a codificatorului cu o frecvență de ieșire de 50 Hz și un pas de 20 ms între fiecare mostră. Câmpul receptiv include 400 mostre de intrare sau 25 ms de audio. Unda sonoră brută alimentată în codificator este normalizată la o varianță de unitate și o medie de zero.

Strategia de mascare utilizată de modelul data2vec pentru modelul Base seamănă cu cadrul Baevski pentru învățarea auto-supervizată în recunoașterea discursului. Modelul eșantionează p = 0,065 pentru toți pașii de timp pentru a fi indicii de început și continuă să marcheze următorii zece pași de timp. Pentru o secvență de antrenare tipică, procesul permite ca aproximativ 49% din pașii de timp totali să fie mascați.

În timpul antrenării, modelul data2vec linează τ utilizând τo = 0,999, τe = 0,9999 și τn = 30.000. Modelul data2vec utilizează optimizatorul Adam cu rata de învățare maximă de 5×10-4 pentru modelul Base. Mai mult, modelul Base utilizează un programator tri-stadiu care încălzește rata de învățare liniar pentru primele 3% din actualizări, o menține pentru următoarele 90% și apoi o reduce liniar pentru restul de 7%.

Procesarea limbajului natural

Modelul data2vec utilizează încorporarea perechilor de byte de 50K tipuri pentru a tokeniza intrarea și apoi învață o încorporare pentru fiecare tip. După ce datele sunt încorporate, modelul aplică strategia de mascare BERT la 15% din tokenii selectați uniform, în care 80% sunt înlocuiți cu tokeni de mascare învățați, 10% sunt înlocuiți cu tokeni de vocabular aleatorii și restul de 10% rămân neschimbați.

În timpul pre-antrenării, modelul utilizează τo = 0,999, τe = 0,9999 și τn = 100.000, K= 10 și β = 4. Modelul utilizează optimizatorul Adam cu un program de învățare tri-stadiu care încălzește rata de învățare liniar pentru primele 5% din actualizări, o menține pentru următoarele 80% și apoi o reduce liniar pentru restul de 15%, cu rata de învățare maximă de 2×10-4.

Mai mult, modelul se antrenează pe 16 GPU-uri cu o dimensiune de batch de 256 secvențe, și fiecare secvență conține aproximativ 512 tokeni. Pentru sarcini downstream, modelul este pre-antrenat în patru rate de învățare diferite: 1×10-4, 2×10-4, 3×10-4 și 4×10-4, și cea care funcționează cel mai bine este selectată pentru sarcinile NLP downstream.

Rezultate

Hai să vedem cum funcționează modelul data2vec atunci când implementează strategiile discutate mai sus pentru diferite modalități.

Viziunea computerizată

Pentru a evalua rezultatele pentru viziunea computerizată, modelul data2vec este pre-antrenat pe imaginile obținute din setul de date ImageNet-1K. Modelul rezultat este ajustat utilizând datele etichetate ale aceluiași benchmark. Conform practicii standard, modelul este apoi evaluat în funcție de precizie de top-1 pe datele de validare.

Rezultatele sunt apoi distinse pe baza unui singur model auto-supervizat și a antrenării unui tokenizer vizual separat pe date suplimentare, sau a altor modele de învățare auto-supervizată.

Tabelul de mai jos compară performanța modelului data2vec pentru viziunea computerizată și a altor modele existente: ViT-L și ViT-B.

Rezultatele din tabelul de mai sus pot fi rezumate astfel.

• Modelul data2vec depășește lucrările anterioare atât pentru modelele ViT-L, cât și pentru ViT-B într-un singur mod.
• Configurația de predicție mascată utilizată în algoritmul data2vec pentru a prezice reprezentări latente contextualizate funcționează mai bine decât metodele care prezic ținte locale, cum ar fi ingineria caracteristicilor de imagine, pixelii de intrare sau tokenii vizuali.
• Modelul data2vec depășește, de asemenea, metodele de auto-destilare care regresează stratul final al rețelei elev în timp ce iau două versiuni diferite de augmentare a unei imagini ca intrări.

Procesarea audio și a discursului

Pentru procesarea discursului și a audio, modelul data2vec este antrenat pe aproximativ 960 de ore de date audio obținute din setul de date Librispeech (LS-960). Setul de date conține audio de discurs curat din cărți audio în engleză și este considerat un benchmark standard în industria de procesare a discursului și a audio.

Pentru a analiza performanța modelului în diferite setări de resurse, cercetătorii au ajustat modelul data2vec pentru a utiliza cantități diferite de date etichetate (de la câteva minute la câteva ore) pentru recunoașterea discursului. Pentru a analiza performanța modelului, data2vec este comparat cu HuBERT și wav2vec 2.0, două dintre cele mai populare algoritmi pentru învățarea reprezentărilor discursului care se bazează pe unități de discurs discrete.

Tabelul de mai sus compară performanța modelului data2vec în ceea ce privește rata cuvântului pentru recunoașterea discursului cu alte modele existente. LM reprezintă modelul de limbă utilizat pentru decodificare. Rezultatele pot fi rezumate astfel.

• Modelul data2vec arată îmbunătățiri pentru majoritatea setărilor de date etichetate, cu cea mai mare creștere de 10 minute de date etichetate pentru modelele Base.
• Atunci când vine vorba de modele mari, modelul funcționează semnificativ mai bine pe seturi de date etichetate mici și are o performanță comparabilă pe seturi de date etichetate bogate, cu peste 100 și 960 de ore de date etichetate. Acest lucru se datorează faptului că performanța se saturează în general pe seturi de date etichetate bogate pentru majoritatea modelelor.
• După analizarea performanței, se poate concluziona că atunci când modelul utilizează ținte contextualizate bogate, nu este esențial să învețe unități discrete.
• Învățarea țintelor contextualizate în timpul antrenării ajută la îmbunătățirea performanței generale.

Mai mult, pentru a valida abordarea data2vec pentru recunoașterea discursului, modelul este antrenat pe benchmark-ul AudioSet. Deși setarea de pre-antrenare pentru AudioSet este similară cu Librispeech, modelul este antrenat pentru K= 12 și pentru peste 200.000 de actualizări, unde dimensiunea fiecărui batch este de 94,5 minute.

Modelul aplică apoi cadrul DeepNorm și normalizarea stratului pentru a ajuta la stabilizarea antrenării. În plus, modelul este ajustat pe subseturi echilibrate cu o dimensiune de batch de 21,3 minute pe 13.000 de actualizări. Modelul utilizează, de asemenea, Pool Softmax Linear și mixup cu o probabilitate de 0,7. Modelul adaugă apoi o proiecție liniară unică în 527 de clase audio unice și setează rata de învățare a proiecției la 2e-4.

Mai mult, parametrii pre-antrenați au o rată de învățare de 3e-5, și modelul utilizează tehnici de mascare pentru ajustarea setului de date. Tabelul de mai jos rezumă rezultatele, și se poate vedea că modelul data2vec este capabil să depășească o configurație comparabilă cu aceeași ajustare și date de pre-antrenare.

Procesarea limbajului natural

Pentru a analiza performanța modelului data2vec pe text, modelul urmează aceeași configurație de antrenare ca și BERT și pre-antrenează modelul pe setul de date Wikipedia în engleză cu peste 1M de actualizări și o dimensiune de batch de 256 de secvențe.

Modelul este evaluat pe benchmark-ul GLUE sau Evaluarea Înțelegerii Limbajului General, care include sarcini de inferență a limbajului natural (MNLI sau Inferență Naturală a Limbajului Multi-Gen), similaritatea propozițiilor (QQP sau Benchmark-ul Pergunta și Răspuns Quora, MRPC sau Corpusul de Paragrafe de Cercetare Microsoft (MSFT ) și STS-B sau Benchmark-ul de Similaritate Semantică), analiza sentimentului (SST-2 sau Arborele de Sentiment Stanford) și gramatical (CoLA).

Mai mult, pentru a ajusta modelul data2vec, datele etichetate sunt furnizate de fiecare sarcină, și se raportează precizia medie pe seturile de dezvoltare cu 5 ajustări. Tabelul de mai jos rezumă performanța modelului data2vec pentru sarcinile de procesare a limbajului natural și o compară cu alte modele.

• Datele de mai sus arată că modelul data2vec depășește modelul de bază RoBERTa, deoarece strategia din modelul data2vec nu utilizează ținte aleatorii.
• Modelul data2vec este primul model de procesare a limbajului natural pre-antrenat care nu utilizează unități discrete, cum ar fi caractere, cuvinte sau subcuvinte, ca ținte de antrenare. În schimb, cadrul data2vec prezice reprezentări latente contextualizate pe întreaga secvență de text nemascată.
• Acest lucru ajută la crearea unei sarcini de învățare în care modelul este necesar să prezică ținte cu proprietăți specifice din secvența curentă, în loc de a prezice reprezentări care sunt generice pentru fiecare unitate de text cu o anumită discreție.
• Mai mult, setul de ținte nu este fix, și modelul este liber să definească noi ținte, și este deschis la setări de vocabular.

Studiu de ablație data2vec

Ablația este un termen utilizat pentru a defini eliminarea unei componente în sistemele AI și ML. Un studiu de ablație este utilizat pentru a investiga sau analiza performanța unui model AI sau ML prin eliminarea anumitor componente cheie din model, ceea ce permite cercetătorilor să înțeleagă contribuția acelei componente la sistemul general.

Ținte mediate pe straturi

O diferență majoră între data2vec și alte modele de învățare auto-supervizată este că data2vec utilizează ținte care se bazează pe medierea mai multor straturi din rețeaua învățător. Ideea vine din faptul că straturile superioare ale modelului wav2vec 2.0 nu funcționează bine pentru sarcinile downstream atunci când sunt comparate cu straturile medii ale modelului.

În următorul experiment, performanța tuturor celor trei modalități este măsurată prin medierea K= 1, 2, …, 12 straturi, unde K= 1 prezice doar stratul superior. Cu toate acestea, pentru a extrage un timp de răspuns mai rapid, data2vec antrenează modelul Base cu 12 straturi în total. Pentru recunoașterea discursului, modelul este pre-antrenat pe peste 200.000 de actualizări pe Librispeech și apoi ajustat pe o diviziune etichetată de 10 ore a Libri-light. Pentru procesarea limbajului natural, modelul raportează scorul mediu GLUE pe setul de validare și pre-antrenează modelul pentru 300 de epoci pentru viziunea computerizată și apoi raportează precizia de top-1 obținută pe setul de date ImageNet.

Figura de mai sus arată că țintele bazate pe multiple straturi îmbunătățesc în general atunci când se utilizează doar stratul superior K=1 pentru toate modalitățile. Utilizarea tuturor straturilor disponibile este o bună practică, deoarece rețelele neuronale construiesc caracteristici peste diferite tipuri de caracteristici și multiple straturi care sunt apoi extrase ca straturi de caracteristici.

Utilizarea caracteristicilor din multiple straturi ajută la îmbunătățirea preciziei și îmbogățește procesul de învățare auto-supervizată.

Tipul caracteristicii țintă

Blocurile Transformer din modelul data2vec au mai multe straturi care pot toate să servească ca ținte. Pentru a analiza cum diferitele straturi afectează performanța, modelul este pre-antrenat pe modelele de discurs Librispeech care utilizează diferite straturi ca caracteristici țintă.

Figura de mai jos indică clar că ieșirea rețelei feed-forward sau a FFN funcționează ideal, în timp ce ieșirea blocurilor de atenție de sine nu duce la un model utilizabil.

Contextualizarea țintă

Reprezentările învățătorului din modelul data2vec utilizează atenția de sine pe întreaga intrare pentru a produce ținte contextualizate. Acest lucru îl diferențiază pe data2vec de alte modele de învățare auto-supervizată care construiesc o sarcină de învățare prin reconstruirea sau prezicerea părților locale ale intrării.

Pentru a răspunde la întrebarea dacă modelul data2vec necesită ținte contextualizate pentru a funcționa bine, cercetătorii construiesc reprezentări țintă care nu au acces la întreaga intrare, ci doar la o fracțiune predefinită a acesteia.

Figura de mai jos indică faptul că dimensiunile de context mai mari duc adesea la o performanță mai bună, și atunci când întreaga intrare este vizibilă, aceasta oferă cea mai bună precizie.

Extractori de caracteristici specifici modalității și mascare

Obiectivul principal al data2vec este de a proiecta o metodă de învățare simplă care poate funcționa cu diferite modalități. Acest lucru are sens, deoarece, deși cadrele actuale au un regim de învățare unificat, ele încă utilizează mascare și extractori de caracteristici specifici modalității.

Acest lucru are sens, având în vedere natura datelor de intrare care variază foarte mult de la o modalitate la alta. De exemplu, modelele de recunoaștere a discursului utilizează o intrare de înaltă rezoluție (cum ar fi o undă sonoră de 10 kHz) care are de obicei mii de mostre.

Ținte structurate și contextualizate

Punctul de diferențiere principal între data2vec și alte modele de predicție mascată este că în modelul data2vec, caracteristicile țintelor de antrenare sunt contextualizate. Aceste caracteristici sunt construite utilizând atenția de sine a întregii intrări mascate în modul învățător.

Alte cadre, cum ar fi BYOL (Bootstrap Your Own Latent) sau DINO, utilizează de asemenea reprezentări latente, cum ar fi data2vec, dar accentul lor principal este de a învăța reprezentări invariante la transformări.

Gânduri finale

Lucrările recente în industria AI și ML au indicat că arhitecturile de model uniforme pot fi o abordare eficientă pentru a aborda multiple modalități. Modelul data2vec utilizează o abordare de învățare auto-supervizată pentru a lucra cu trei modalități: discurs, imagini și limbaj.

Conceptul cheie din spatele modelului data2vec este de a utiliza o priveliște parțială a intrării pentru a regresa informații contextualizate sau date de intrare. Abordarea utilizată de cadrul data2vec este eficientă, deoarece modelul funcționează mai bine decât modelele anterioare de învățare auto-supervizată pe setul de date ImageNet-1K pentru ambele modele ViT-B și ViT-L.

Data2vec este cu adevărat un punct de referință în industria de învățare auto-supervizată, deoarece demonstrează că o singură metodă de învățare pentru a învăța multiple modalități poate face mai ușor pentru modele să învețe pe modalități.