data2vec: En Milepæl i Selv-Supervisert Læring

Maskinlæringsmodeller har tradisjonelt sett vært avhengige av merket data for trening, og det er vanligvis slik at modeller trent på merket data gir nøyaktige resultater. Det største problemet med å bruke merket data er imidlertid de høye annoteringskostnadene som øker med størrelsen på treningsdataene. Høye annoteringskostnader er en stor hindring for utviklere, særlig når de arbeider med store prosjekter med betydelige mengder treningsdata.

For å løse annoteringsproblemet kom utviklerne med konseptet SSL eller Selv-Supervisert Læring. Selv-Supervisert Læring er en maskinlæringsprosess der modellen trener seg selv til å lære en del av inndataene fra en annen del av inndataene. En Selv-Supervisert Læring-modell har som mål å utnytte forholdet mellom dataene i stedet for å bruke merket datas overvåkede signaler. 

I tillegg til Selv-Supervisert Læring finnes det flere andre metoder og modeller for å trene maskinlæringsmodeller uten å bruke merket data. Imidlertid har de fleste av disse metodene to store problemer

1. De er ofte spesialisert for en enkelt modalitet, som et bilde eller tekst. 
2. De krever en stor mengde beregningskraft. 

Disse begrensningene er et stort problem, og det er grunnen til at et gjennomsnittlig menneskeligt sinn kan lære fra en enkelt type data mye mer effektivt sammenlignet med en AI-modell som er avhengig av separate modeller og treningsdata for å skille mellom et bilde, tekst og tale. 

For å løse problemet med enkelt modalitet, lanserte Meta AI data2vec, den første i sitt slag, selv-supervisert høy-ytelsesalgoritme for å lære mønsterinformasjon fra tre forskjellige modaliteter: bilde, tekst og tale. Med implementeringen av data2vec-algoritmen kan tekstforståelse bli brukt på et bilde-segmenteringsproblem, eller det kan også bli brukt i en tale-gjenkjenning-oppgave. 

I denne artikkelen skal vi gå i dybden på data2vec-modellen. Vi skal diskutere metodeoversikten, relatert arbeid, arkitektur og resultater av modellen i større dybde, slik at du får en klar forståelse av data2vec-algoritmen. 

Data2vec Introduksjon: Kjerneideen

Selv om det grunnleggende konseptet for Selv-Supervisert Læring brukes på tvers av modaliteter, er de faktiske målene og algoritmene forskjellige fra hverandre, fordi de ble designet med tanke på en enkelt modalitet. Å designe en modell for en enkelt modalitet er grunnen til at den samme selv-superviserte læring-algoritmen ikke kan fungere effektivt på tvers av forskjellige typer treningsdata. 

For å overvinne utfordringen presentert av enkelt-modalitetsmodeller og -algoritmer, lanserte Meta AI data2vec, en algoritme som bruker samme læringsmetodologi for enten datavisualisering, NLP eller tale.  

Kjerneideen bak data2vec-algoritmen er å bruke den maskerte visningen av inndata til å forutsi latente representasjoner av fullstendig inndata i en selv-destillasjonsoppsett med hjelp av standard Transformer-arkitektur. Så, i stedet for modalitets-spesifikke objekter som bilder, tekst eller stemmer som er lokale i naturen, forutsier data2vec-algoritmen latente representasjoner med informasjon fra hele trenings- eller inndataene. 

Hvorfor Trenger AI-Industrien Data2Vec-Algoritmen?

Selv-Supervisert Læring-modeller bygger representasjoner av treningsdataene ved hjelp av menneske-annoterte merker, og det er en av de viktigste årsakene til fremgangen i NLP eller Naturlig Språkbehandling og Datavisualiseringsteknologi. Disse selv-superviserte læring-representasjonene er grunnen til at oppgaver som tale-gjenkjenning og maskinlæring deployer usupervisert læring i sine modeller. 

Frem til nå har disse selv-superviserte læring-algoritmene fokusert på enkelt-modaliteter, noe som resulterer i læring-forvrengninger og spesifikke design i modellene. Den enkelte modaliteten til selv-supervisert læring-algoritmer skaper utfordringer i forskjellige AI-applikasjoner, inkludert datavisualisering og NLP. 

For eksempel finnes det et vokabular av tale-enheter i tale-behandling som kan definere en selv-supervisert læring-oppgave i NLP. Liksom i datavisualisering, kan utviklere enten regrediere inndata, lære diskrete visuelle token eller lære representasjoner som er uavhengige av data-forstørkning. Selv om disse læring-forvrengningene er nyttige, er det vanskelig å bekrefte om disse forvrengningene vil generalisere til andre modaliteter. 

Data2vec-algoritmen er en stor milepæl i selv-supervisert læring-industrien, fordi den har som mål å forbedre flere modaliteter i stedet for bare en. Videre er data2vec-algoritmen ikke avhengig av å rekonstruere inndata eller kontrastiv læring. 

Så grunnen til at verden trenger data2vec er at data2vec-algoritmen har potensialet til å akselerere fremgangen i AI og bidra til utvikling av AI-modeller som kan lære om forskjellige aspekter av sine omgivelser uten problemer. Forskere håper at data2vec-algoritmen vil tillate dem å utvikle mer tilpasningsdyktige AI- og ML-modeller som er i stand til å utføre svært avanserte oppgaver utover det som i dagens AI-modeller kan gjøre.

Hva Er Data2Vec-Algoritmen?

Data2vec er en forent ramme som har som mål å implementere selv-supervisert maskinlæring på tvers av forskjellige data-modaliteter, inkludert bilder, tale og tekst. 

Data2vec-algoritmen har som mål å utvikle ML-modeller som kan lære de generelle mønstrene i miljøet mye bedre ved å holde læring-objektivet uniformt på tvers av forskjellige modaliteter. Data2vec-modellen forener læring-algoritmen, men den lærer fortsatt representasjoner for hver modalitet individuelt. 

Med introduksjonen av data2vec-algoritmen håper Meta AI at det vil gjøre multimodal læring effektiv og mye enklere. 

Hvordan Fungerer Data2Vec-Algoritmen?

Data2vec-algoritmen kombinerer læringen av latente mål-representasjoner med maskert forutsielse, selv om den bruker flere nettverkslag som mål for å generalisere de latente representasjonene. Modellen trener spesifikt en standard Transformer-nettverk som deretter brukes enten i lærer- eller elev- modus. 

I lærer-modus bygger modellen først representasjoner av inndataene som tjener som mål i læring-oppgaven. I elev-modus koder modellen en maskert versjon av inndataene som deretter brukes til å gjøre forutsigelser om fullstendige data-representasjoner. 

Bildet over representerer hvordan data2vec-modellen bruker samme læringsprosess for forskjellige modaliteter. I det første steget produserer modellen representasjoner av inndataene (lærer-modus). Modellen regredierer deretter disse representasjonene basert på en maskert versjon av inndataene. 

Videre, ettersom data2vec-algoritmen bruker latente representasjoner av inndataene, kan den sees på som en forenklet versjon av modalitets-spesifikke design som å lage egnet mål ved å normalisere inndata eller å lære en fast mengde visuelle token. Men den avgjørende forskjellen mellom data2vec og andre algoritmer er at data2vec-algoritmen bruker selv-oppmerksomhet til å gjøre mål-representasjonene kontekstualiserte og kontinuerte. På den andre siden, bruker andre selv-superviserte læring-modeller en fast mengde mål som er basert på en lokal kontekst. 

Data2vec: Modellmetode

Data2vec-modellen er trent ved å forutsi modell-representasjoner av inndataene gitt en delvis visning av inndataene. Som du kan se i figuren, er hundens ansikt maskert, en bestemt del av tale-notatet er maskert, og ordet “med” er maskert i teksten. 

Modellen koder først en maskert versjon av trenings-eksempelet (elev-modus), og deretter koder den den umaskerte versjonen av inndataene for å bygge trenings-mål med samme modell, men bare når den er parameterisert som en eksponentiell gjennomsnitt av modell-vektene (lærer-modus). Videre, koder mål-representasjonene informasjonen som er til stede i trenings-eksempelet, og i elev-modus, brukes læring-oppgaven til å forutsi disse representasjonene når en delvis visning av inndataene er gitt. 

Modellarkitektur

Data2vec-modellen bruker en standard Transformer-arkitektur med modalitets-spesifikke kodning av inndataene. For oppgaver relatert til datavisualisering, bruker modellen ViT-strategien til å kode et bilde som en sekvens av patcher hvor hvert bilde omfatter 16×16 piksler, og føres som en lineær transformasjon. 

Videre, for tale-gjenkjenning, koder modellen dataene ved å bruke en multi-lag 1-D konvolusjons-nevralt nettverk som kartlegger 16 kHz-bølgeformer til 50 Hz-representasjoner. For å prosessere tekst-dataene, forutbehandler modellen dataene for å trekke ut under-ord-enheter, og deretter innbeder den dataene i en distribusjonell rom via innbedings-vektorer. 

Masking

En gang modellen har kodet inndataene som en sekvens av token, maskerer modellen deler av disse enhetene ved å erstatte dem med en innbodings-token, og deretter føre sekvensen til Transformer- nettverket. For datavisualisering, praktiserer modellen blokk-vis maskering. Latente tale-representasjoner brukes til å maskere spans av tale-data, og for språk-relaterte oppgaver, maskeres token. 

Treningsmål

Data2vec-modellen har som mål å forutsi modell-representasjoner av umaskerte trenings-eksempelet basert på en kodning av den maskerte eksempelet som opprinnelig ble ført til modellen. Modellen forutsier kun representasjoner for maskerte tidssteg. 

Modellen forutsier kontekstualiserte representasjoner som ikke bare koder den spesifikke tidsstegen, men også koder annen informasjon fra eksempelet, fordi den bruker selv-oppmerksomhet i Transformer-nettverket. De kontekstualiserte representasjonene og bruken av Transformer-nettverket er det som skiller data2vec-modellen fra andre eksisterende BERT, wav2vec, BEiT, SimMIM, MAE og MaskFeat -modeller som forutsier mål uten kontekst-informasjon. 

Her er hvordan data2vec-modellen parameteriserer lærer-modus for å forutsi nettverks-representasjoner som deretter tjener som mål. 

Lærer-Parameterisering

Data2vec-modellen parameteriserer kodningen av den umaskerte trenings-eksempelet med hjelp av EMA eller Eksponentiell Bevegelig Gjennomsnitt av modell-parametere (θ) hvor vektene til modellen i mål-modus (△) er som følger

                                           ∆ ← τ∆ + (1 − τ ) θ

Videre, planlegger modellen for τ som lineært øker parametere fra  τ0 til τe (mål-verdi) over de første τn oppdateringene. Etter disse oppdateringene, holder modellen verdien konstant til treningen er ferdig. Bruken av EMA-strategien oppdaterer læreren mye oftere i begynnelsen når treningen starter når modellen er tilfeldig. Etterhvert som treningen fortskrer og gode parametre har blitt lært, oppdateres læreren mindre ofte. 

Resultatene viser at modellen er mer effektiv og nøyaktig når den deler parameterne til funksjons-koderen og posisjons-koderen mellom elev- og lærer-modus. 

Mål

Konstruksjonen av trenings-målene er avhengig av utgangen av de øverste K -blokkene av lærer-nettverket for tidssteg som er maskert i elev-modus. Utgangen av blokk l på noen tidssteg t er betegnet som alt. Modellen bruker deretter normalisering til hver blokk for å få âlt før den gjennomsnittlig de øverste K-blokkene 

for å få trenings-målet yt for tidssteg t for et nettverk med L -blokker i alt. 

Det skaper trenings-mål som modellen regredierer når den er i elev-modus. I de første eksperimentene, fungerte data2vec-modellen godt i å forutsi hver blokk separat med en dedikert projeksjon, og var samtidig mer effektiv. 

Videre, normaliserer målene også data2vec-modellen fra å kollapse til konstante representasjoner for tidssteg, og forhindrer lag med høy normalisering å dominere funksjonene i mål-datasettet. For tale-gjenkjenning, bruker modellen instans-normalisering over den aktuelle inndata-eksempelet uten noen lærte parametre. Det er hovedsakelig fordi når striden over inndataene er liten, er de nærliggende representasjonene høyt korrelerte. 

I tillegg, fant forskerne at når de arbeidet med datavisualisering og NLP, var parameter-løs normalisering tilstrekkelig. Problemet kan også løses med Varians-Invarians-Kovarians -regularisering, men strategien nevnt ovenfor fungerer tilstrekkelig godt, og den krever ikke noen ekstra parametre. 

Mål

For kontekstualiserte trenings-mål yt, bruker modellen en Smooth L1-tap for å regrediere målene som nevnt nedenfor

Her er β i kontroll av overgang fra et kvadratisk tap til et L1-tap, og det avhenger tungt av størrelsen på gapet mellom modell-forutsielsen ft(x) på tidssteg t. Fordelen med dette tapet er at det er komparativt mindre følsomt for outlierne, med behov for å justere innstillingen av β. 

Eksperimentell Oppsett

Data2vec-modellen er eksperimentert med to modell-størrelser: data2vec Large og data2vec Base. For numerisk stabilitet, gjøres EMA-oppdateringene i fp32, og modellene inneholder L= 12 eller L= 24 Transformer-blokker med skjulte dimensjoner (H) = 768 eller H= 1024.  La oss se nærmere på det eksperimentelle oppsettet for forskjellige modaliteter og formål. 

Datavisualisering

Data2vec-modellen koder bilder av 224×224 piksler som patcher av 16×16 piksler. Hver av disse patchene er transformert lineært, og en sekvens med 196 representasjoner er ført til standard Transformer. 

Modellen følger BEiT for å maskere blokker med nærliggende patcher med hver blokk som har en minimum av 16 patcher med en tilfeldig aspekt-forhold. Imidlertid, i stedet for å maskere 40% av patchen som opprinnelig i BEiT-modellen, maskerer data2vec-modellen 60% av patchen for bedre nøyaktighet. 

Videre, maskerer modellen tilfeldig størrelsen på bilde-utklipp, horisontale flipper og farge-jittering. Til slutt, bruker data2vec-modellen samme modifiserte bilde i både lærer- og elev-modus. 

ViT-B-modellene er forhåndstrengt i 800 epoker, og data2vec-modellen bruker en batch-størrelse på 8,192 for ViT-L-modellen og 2,048 for ViT-B-modellen. Data2vec-modellen bruker også en kosinus- og en Adam-plan med en enkelt syklus for å varme opp lærings-raten i 80 epoker til 0,001 for ViT-L og i 40 epoker til 0,001 for ViT-B. 

For både ViT-B og ViT-L, bruker data2vec-modellen β = 2, K = 6 og τ = 0,9998 som konstant uten noen plan. Modellen bruker også stokastisk dybde-raten 0,2. 

Videre, for ViT-L, trener modellen i 1,600 epoker hvor de første 800 epokene har en lærings-rate på 0,9998, og deretter nullstiller modellen lærings-raten og fortsetter i de siste 800 epoker med en lærings-rate på 0,9999. 

For bilde-klassifisering, bruker modellen gjennomsnitts-poolen av utgangen av den siste Transformer-blokkene og føre den til en softmax-normalisert klassifisering. Modellen finjusterer deretter ViT-L i 50 epoker og ViT-B i 100 epoker ved å bruke kosinus- og Adam til å varme opp lærings-raten. 

Tale-Behandling

For tale-behandling, bruker data2vec-modellen Fairseq, en sekvens-modellering-kit brukt til å trene kundespesifikke modeller for sammenfatting, oversettelse og tekst-generering. Modellen tar 16 kHz-bølgeform som inndata som er prosessert ved å bruke en funksjons-koder, og inneholder tids-konvolusjoner med 512 kanaler, kernel-bredde (10,3,3,3,3,2,2), og strides (5,2,2,2,2,2,2). 

Ovennevnte resultat i at utgangen av koderen er 50 Hz, og den har en stride på 20 ms mellom hver prøve. Mottakelsesfeltet består av 400 inndata-prøver eller 25 ms av lyd. Den rå bølgeformen som er ført til koderen er normalisert til enhet-varians og null-gjennomsnitt. 

Maskerings-strategien brukt av data2vec for Base-modellen ligner Baevski-rammeverket for selv-supervisert læring i tale-gjenkjenning. Modellen prøver p = 0,065 for alle tidssteg til å være start-indekser, og går videre til å merke de følgende ti tidsstegene. For en typisk trenings-sekvens, tillater prosessen at nesten 49% av de totale tidsstegene er maskert. 

Under trening, lineært annealer data2vec-modellen τ ved å bruke τo = 0,999, τe = 0,9999, og τn = 30,000. Data2vec-modellen bruker Adam-optimisereren med topp lærings-rate på 5×10-4 for Base-modellen. Videre, bruker Base-modellen en tri-stadium planlegger som varmer opp lærings-raten lineært i de første 3% av oppdateringene, holder den i de neste 90%, og deretter går nedover lineært i de siste 7%. 

Naturlig Språkbehandling

Data2vec-modellen bruker byte-par-koding av 50K typer til å tokenisere inndataene, og deretter lærer den en innboding for hver type. Etter at dataene er kodet, bruker modellen BERT-masking-strategien til 15% av uniformt valgte token, hvor 80% er erstattet med lærte mask-token, 10% er erstattet med tilfeldige vokabular-token, og de resterende 10% er uendret. 

Under forhåndstrening, bruker modellen τo = 0,999, τe = 0,9999, og τn = 100,000, K= 10, og β = 4. Modellen bruker Adam-optimisereren med en tri-stadium lærings-rate plan som varmer opp lærings-raten lineært i de første 5% av oppdateringene, holder den i de neste 80%, og deretter går nedover lineært i de siste 15%, med topp lærings-rate på 2×10-4. 

Videre, trener modellen på 16 GPU-er med en batch-størrelse på 256 sekvenser, og hver sekvens inneholder omtrent 512 token. For nedstrøms, forhåndstrener modellen i fire forskjellige lærings-rater: 1×10-4, 2×10-4, 3×10-4, 4×10-4, og den som fungerer best, velges for videre NLP-nedstrøms oppgaver. 

Resultater

La oss se hvordan data2vec-modellen fungerer når den implementerer strategiene ovenfor for forskjellige modaliteter. 

Datavisualisering

For å evaluere resultater for datavisualisering, er data2vec-modellen forhåndstrengt på bildene fra ImageNet-1K -datasettet. Den resulterende modellen er finjustert ved å bruke merket data fra samme benchmark. Ifølge standard praksis, evalueres modellen deretter i forhold til top-1 nøyaktighet på validerings-data. 

Resultatene er deretter skilt ut ifølge en enkelt selv-supervisert modell, og trening av en separat visuell tokenisator på ekstra data, eller andre selv-superviserte læring-modeller. 

Tabellen under sammenligner resultatene til data2vec-modellen for datavisualisering og andre eksisterende modeller: ViT-L og ViT-B. 

Resultatene fra tabellen ovenfor kan sammenfattes som følger. 

• Data2vec-modellen overgår tidligere arbeid med både ViT-L og ViT-B-modellene i enkelt-modell-innstilling. 
• Maskert forutsielsesoppsett brukt i data2vec-algoritmen til å forutsi kontekstualiserte latente representasjoner, fungerer bedre når sammenlignet med metoder som forutsier lokale mål som å konstruere bilde-egenskaper, inndata-piksler eller visuelle token. 
• Data2vec-modellen overgår også selv-destillasjonsmetoder som regredierer den siste laget av elev-nettverket mens de tar to forskjellige forstørkede versjoner av et bilde som inndata. 

Audio og Tale-Behandling

For tale- og audio-behandling, er data2vec-modellen trent på omtrent 960 timer med audio-data fra Librispeech(LS-960) -datasettet. Datasettet inneholder ren tale-audio fra lydbøker på engelsk, og det behandles som en standard-benchmark i tale- og audio-behandling-industrien. 

For å analysere modellens ytelse i forskjellige ressurs-innstillingene, har forskerne finjustert data2vec-modellen til å bruke forskjellige mengder merket data (fra noen minutter til flere timer) for automatisk tale-gjenkjenning. For å analysere modellens ytelse, sammenlignes data2vec med HuBERT og wav2vec 2.0, to av de mest populære algoritmene for tale- og audio-representasjonslæring som avhenger av diskrete tale-enheter. 

Tabellen ovenfor sammenligner resultatene til data2vec i forhold til ord-raten for tale-gjenkjenning med andre eksisterende modeller. LM representerer språk-modellen som brukes til dekoding. Resultatene kan sammenfattes som følger. 

• Data2vec-modellen viser forbedringer for de fleste merket data-innstillingene med den største gevinsten på 10 minutter med merket data for Base-modeller. 
• Når det gjelder store modeller, fungerer modellen betydelig bedre på små merket data-sett, og ytelsen er sammenlignbar på ressurs-rike datasett med over 100 og 960 timer med merket data. Det er fordi ytelsen generelt metter seg på ressurs-rike merket data-sett for de fleste modellene. 
• Etter å ha analysert ytelsen, kan det konkluderes at når modellen bruker rike kontekstualiserte mål, er det ikke essensielt å lære diskrete enheter. 
• Læring av kontekstualiserte mål under trening hjelper med å forbedre den totale ytelsen betydelig. 

Videre, for å validere data2vec-tilnærming for tale-gjenkjenning, er modellen også trent på AudioSet -benchmark. Selv om forhåndstrening-oppsettet for AudioSet er likt Librispeech, er modellen trent for K= 12, og over 200 000 oppdateringer på Librispeech, og deretter finjustert på en 10 timer merket data-del av Libri-light. 

Modellen bruker deretter DeepNorm -rammeverket og lag-normalisering på målene for å hjelpe med å stabilisere treningen. Videre, er modellen også finjustert på balanserte undersett med en batch-størrelse på 21,3 minutter over 13 000 oppdateringer. Modellen bruker også Lineær Softmax-Pooling og mixup med en sannsynlighet på 0,7. Modellen legger deretter til en enkel lineær prosjeksjon inn i 527 unike klasser av audio, og setter prosjeksjons-lærings-raten til 2e-4. 

Videre, har forhåndstrengte parametre en lærings-rate på 3e-5, og modellen bruker maskerings-teknikker for å finjustere datasettet. Tabellen under sammenfatter resultatene, og det kan sees at data2vec-modellen er i stand til å overgå en sammenlignbar innstilling med samme finjustering og forhåndstrening-data. 

Naturlig Språkbehandling

For å analysere data2vec-ytelsen på tekst, følger modellen samme trening-oppsett som BERT og forhåndstrener modellen på engelsk Wikipedia-datasett med over 1M oppdateringer og en batch-størrelse på 256 sekvenser. Modellen evalueres på GLUE eller Generell Språkforståelse-Evaluering -benchmark som inkluderer naturlig språk-inferens-oppgaver (MNLI eller Multi-Genre Naturlig Språk-Inferens), setning-lignende (QQP eller Quora Spørsmål-Par-benchmark, MRPC eller Microsoft (MSFT ) Research-Paragraf-Korpus, og STS-B eller Semantisk Tekst-Lignende Benchmark), sentiment-analyse (SST-2 eller Stanford Sentiment-Tre), og grammatisk (CoLA). 

Videre, for å finjustere data2vec-modellen, er merket data gitt av hver oppgave, og den gjennomsnittlige nøyaktigheten rapporteres på validerings-sett med 5 finjusterings-kjør. Følgende tabell sammenfatter resultatene til data2vec-modellen for Naturlig Språkbehandling-oppgaver og sammenligner den med andre modeller. 

• Tabellen ovenfor viser at data2vec-modellen overgår baseline RoBERTa-modellen, fordi strategien i data2vec-modellen ikke bruker tilfeldige mål. 
• Data2vec-modellen er den første vellykkede forhåndstrengte NLP-modellen som ikke bruker diskrete enheter som tegn, ord eller under-ord som trenings-mål. I stedet forutsier data2vec-rammeverket kontekstualiserte latente representasjoner over hele den umaskerte tekst-sekvensen. 
• Det hjelper med å skape en læring-oppgave hvor modellen er nødt til å forutsi mål med bestemte egenskaper fra den aktuelle sekvensen, i stedet for å forutsi representasjoner som er generiske for hver tekst-enhet med bestemt diskresjon. 
• Videre, er mål-settet ikke fast, og modellen er fri til å definere nye mål, og det er åpent for vokabular-innstilling. 

Data2Vec: Ablations-Studie

Ablation er en term som brukes til å definere fjerning av en komponent i AI- og ML-systemer. En ablations-studie brukes til å undersøke eller analysere ytelsen av en AI- eller ML-modell ved å fjerne bestemte nøkkel-komponenter fra modellen, hvilket tillater forskerne å forstå bidraget til den komponenten i det totale systemet. 

Lag-Gjennomsnittlige Mål

En stor forskjell mellom data2vec og andre selv-superviserte læring-modeller er at data2vec-modellen bruker mål som er basert på å gjennomsnittle flere lag fra lærer-nettverket. Ideen kommer fra det faktum at de øverste lagene av wav2vec 2.0-modellen ikke fungerer godt for nedstrøms-oppgaver når sammenlignet med midtre lag av modellen. 

I følgende eksperiment, måles ytelsen av alle tre modaliteter ved å gjennomsnittle K= 1, 2, …, 12 lag hvor K= 1 forutsier kun det øverste laget. Imidlertid, for å trekke ut en raskere omgang, trener data2vec Base-modellen med 12 lag i alt. For tale-gjenkjenning, er modellen forhåndstrengt på over 200 000 oppdateringer på Librispeech, og deretter finjustert på en 10 timer merket data-del av Libri-light. For Naturlig Språkbehandling, rapporteres den gjennomsnittlige GLUE-poengsummen på validerings-sett, og modellen er forhåndstrengt i 300 epoker for datavisualisering og deretter rapporteres top-1 nøyaktigheten på ImageNet-datasettet. 

Tabellen ovenfor viser at mål basert på flere lag generelt forbedrer når kun det øverste laget K=1 brukes for alle modaliteter. Å bruke alle lagene som er tilgjengelige er en god praksis, fordi nevralt nettverk bygger funksjoner over forskjellige typer funksjoner, og flere lag som deretter trekkes ut som funksjons-lag. 

Å bruke funksjoner fra flere lag hjelper med å forbedre nøyaktigheten og beriker selv-supervisert læring-prosessen. 

Mål-Egenskaps-Type

Transformer-blokkene i data2vec-modellen har flere lag som alle kan tjene som mål. For å analysere hvordan forskjellige lag påvirker ytelsen, er modellen forhåndstrengt på Librispeech-tale-modeller som bruker forskjellige lag som mål-egenskaper. 

Figuren under viser tydelig at utgangen av feed-forward-nettverket eller FFN fungerer ideelt, mens utgangen av selv-oppmerksomhets-blokkene ikke resulterer i en brukbar modell. 

Mål-Kontekstualisering

Lærer-representasjoner i data2vec-modellen bruker selv-oppmerksomhet over hele inndata til å produsere kontekstualiserte mål. Det er det som skiller data2vec fra andre selv-superviserte læring-modeller som konstruerer en læring-oppgave ved å rekonstruere eller forutsi lokale deler av inndataene. Det stiller spørsmålet: trenger data2vec-modellen kontekstualiserte mål for å fungere godt? 

For å svare på spørsmålet, konstruerer forskerne mål-representasjoner som ikke har tilgang til hele inndata-datasettet, men bare en brøkdel av det som er forhåndsbestemt. Modellen begrenser deretter selv-oppmerksomhets-mekanismen til læreren som tillater den å få tilgang til bare en del av omgivelses-inndataene. Etter at modellen er trent, finjusteres den for å få tilgang til full kontekst-størrelse. 

Figuren under viser at større kontekst-størrelser ofte fører til bedre ytelse, og når hele inndata-datasettet er synlig, gir det den beste nøyaktigheten. Det videre beviser at rike mål-representasjoner kan gi bedre ytelse. 

Modalitets-Spesifikke Funksjons-Uttrekere og Maskering

Hovedmålet med data2vec er å designe en enkel læring-mekanisme som kan fungere med forskjellige modaliteter. Det er fordi, selv om de nåværende modellene og rammeverkene har en forent læring-regime, bruker de fortsatt modalitets-spesifikke maskering og funksjons-uttrekere. 

Det er fornuftig at rammeverk hovedsakelig fungerer med en enkelt modalitet, gitt naturen til inndataene varierer sterkt fra hverandre. For eksempel, tale-gjenkjenning-modeller bruker en høy-oppløst inndata (som 10 kHz-bølgeform) som vanligvis har tusenvis av prøver. Bølgeformen er deretter prosessert av rammeverket ved å bruke en multi-lag 1-D konvolusjons-nevralt nettverk til å få 50 Hz-representasjoner. 

Strukturerte og Kontekstualiserte Mål

Hovedforskjellen mellom data2vec og andre maskert forutsielses-modeller er at i data2vec-modellen, er funksjonene til trenings-målene kontekstualiserte. Disse funksjonene er bygget ved å bruke selv-oppmerksomhet over hele maskerte inndataene i lærer-modus. 

Noen andre rammeverk som BYOL (Bootstrap Your Own Latent) eller DINO bruker også latente representasjoner som data2vec, men deres hovedfokus er å lære transformasjons-invariante representasjoner. 

Slutt Tanker

Nylig arbeid i AI- og ML-industrien har indikert at uniforme modell-arkitekturer kan være en effektiv tilnærming til å håndtere flere modaliteter. Data2vec-modellen bruker en selv-supervisert læring-tilnærming for å fungere med tre modaliteter: tale, bilder og språk. 

Kjerneideen bak data2vec-modellen er å bruke en delvis visning av inndata til å regrediere kontekstualisert informasjon eller inndata. Tilnærmingen brukt av data2vec-rammeverket er effektiv, fordi modellen fungerer bedre enn tidligere selv-superviserte læring-modeller på ImageNet-1K-datasettet for både ViT-B og ViT-L enkelt-modeller. 

Data2vec er virkelig en milepæl i selv-supervisert læring-industrien, fordi den demonstrerer en enkelt læring-metode for å lære flere modaliteter kan faktisk gjøre det enklere for modeller å lære på tvers av modaliteter.