AI-modellen en platforms
data2vec: een mijlpaal in zelfgesuperviseerd leren

Belangrijkste puntenMeta AI's data2vec is het eerste zelf-gesuperviseerde algoritme dat werkt voor…
Meer weergeven
- Meta AI's data2vec is het eerste zelf-gesuperviseerde algoritme dat werkt voor afbeeldingen, tekst en spraak.
- Het voorspelt volledige, gecontextualiseerde datarepresentaties vanuit gemaskeerde invoer met behulp van één enkele Transformer-architectuur.
- Het model vermijdt modaliteit-specifieke vooroordelen door een uniform leerdoel voor alle datatypen te gebruiken.
Modellen voor machinaal leren zijn voor hun training sterk afhankelijk geweest van gelabelde gegevens. Training met zulke gegevens levert doorgaans nauwkeurige resultaten op. Het grootste nadeel zijn echter de hoge annotatiekosten, die toenemen naarmate de trainingsdataset groeit. Vooral bij grote projecten met veel trainingsgegevens vormen die kosten een aanzienlijke hindernis.
Om dit annotatieprobleem aan te pakken, ontwikkelden onderzoekers het concept SSL, oftewel zelfgesuperviseerd leren. Dit is een vorm van machinaal leren waarbij het model leert een deel van de invoer te voorspellen op basis van een ander deel van die invoer. Het model benut relaties binnen de gegevens in plaats van supervisiesignalen uit gelabelde gegevens.
Naast zelfgesuperviseerd leren bestaan er andere methoden en modellen om zonder gelabelde gegevens te trainen. De meeste hebben echter twee belangrijke beperkingen:
- Ze zijn vaak gespecialiseerd in één modaliteit, zoals afbeeldingen of tekst.
- Ze vereisen veel rekenkracht.
Deze beperkingen maken duidelijk waarom het menselijk brein vaak efficiënter uit één soort gegevens kan leren dan een AI-model dat afzonderlijke modellen en trainingsgegevens gebruikt voor afbeeldingen, tekst en spraak.
Om de beperking tot één modaliteit aan te pakken, introduceerde Meta AI data2vec, een hoogwaardig zelfgesuperviseerd algoritme van een nieuw type dat patronen leert uit drie modaliteiten: afbeeldingen, tekst en spraak. Met het algoritme zou tekstbegrip kunnen worden toegepast op een beeldsegmentatieprobleem, of zou het kunnen worden ingezet voor spraakherkenning.
In dit artikel bekijken we data2vec uitgebreid. We bespreken de methode, verwant onderzoek, de architectuur en de resultaten, zodat duidelijk wordt hoe het algoritme werkt.
Inleiding tot data2vec: het kernidee
Hoewel zelfgesuperviseerd leren bij verschillende modaliteiten wordt toegepast, verschillen de concrete doelstellingen en algoritmen doordat ze meestal voor één modaliteit zijn ontworpen. Daardoor werkt hetzelfde algoritme niet vanzelf effectief voor alle soorten trainingsgegevens.
Om die beperking te overwinnen, introduceerde Meta AI data2vec: een algoritme met dezelfde leermethode voor computervisie, NLP of spraak.
Het kernidee is om een gemaskeerde versie van de invoer te gebruiken om latente representaties van de volledige invoer te voorspellen via zelfdistillatie, met behulp van een standaard Transformer-architectuur. In plaats van lokale, modaliteitsspecifieke doelen voor afbeeldingen, tekst of spraak voorspelt data2vec latente representaties die informatie uit de volledige trainingsinvoer bevatten.

Waarom heeft de AI-sector data2vec nodig?
Zelfgesuperviseerde modellen bouwen representaties van trainingsgegevens op met behulp van door mensen geannoteerde labels. Zulke representaties zijn belangrijk geweest voor de vooruitgang in natuurlijke taalverwerking en computervisie. Ze spelen ook een rol bij het gebruik van ongesuperviseerd leren voor bijvoorbeeld spraakherkenning.
Tot dusver richten deze algoritmen zich vaak op afzonderlijke modaliteiten, met bijbehorende leeraannames en specifieke modelontwerpen. Die specialisatie brengt uitdagingen mee voor toepassingen in bijvoorbeeld computervisie en NLP.
Bij spraakverwerking kan een vocabulaire van spraakeenheden bijvoorbeeld een zelfgesuperviseerde leertaak definiëren. In computervisie kunnen ontwikkelaars de invoer via regressie voorspellen, discrete visuele tokens leren of representaties leren die onveranderlijk blijven onder data-augmentatie. Zulke inductieve voorkeuren kunnen nuttig zijn, maar het is moeilijk vast te stellen of ze ook naar andere modaliteiten generaliseren.
data2vec is een belangrijke stap in zelfgesuperviseerd leren omdat het meerdere modaliteiten probeert te verbeteren in plaats van slechts één. Bovendien steunt het niet op reconstructie van de invoer of op contrastief leren.
Het algoritme kan de vooruitgang in AI versnellen en bijdragen aan modellen die verschillende aspecten van hun omgeving leren begrijpen. Onderzoekers hopen daarmee beter aanpasbare AI- en ML-modellen te ontwikkelen die taken aankunnen die verder gaan dan de mogelijkheden van huidige modellen.
Wat is het data2vec-algoritme?
data2vec is een gezamenlijk raamwerk voor zelfgesuperviseerd machinaal leren met verschillende modaliteiten, waaronder afbeeldingen, spraak en tekst.
Het houdt de leerdoelstelling voor de verschillende modaliteiten gelijk, zodat modellen algemene patronen beter kunnen leren. Het verenigt het leeralgoritme, maar leert de representaties voor elke modaliteit nog steeds afzonderlijk.
Meta AI hoopt hiermee multimodaal leren effectiever en eenvoudiger te maken.
Hoe werkt data2vec?
Het algoritme combineert het leren van latente doelrepresentaties met voorspelling op basis van gemaskeerde invoer. Daarbij gebruikt het meerdere netwerklagen als doelen om die representaties te generaliseren. Het traint een standaard Transformer-netwerk dat vervolgens wordt gebruikt in de leraar- of leerlingmodus .
In de leraarmodus maakt het model eerst representaties van de invoergegevens die als doelen voor de leertaak dienen. In de leerlingmodus codeert het een gemaskeerde versie van de invoer om de representaties van de volledige gegevens te voorspellen.

De bovenstaande afbeelding laat zien hoe hetzelfde leerproces voor verschillende modaliteiten wordt gebruikt. Eerst maakt het model representaties van de invoergegevens (leraarmodus). Vervolgens leert het die representaties via regressie te voorspellen uit een gemaskeerde versie van de invoer.
Omdat data2vec latente invoerrepresentaties gebruikt, kan het worden gezien als een vereenvoudiging van modaliteitsspecifieke ontwerpen, zoals geschikte doelen maken door de invoer te normaliseren of een vaste verzameling visuele tokens leren. Het cruciale verschil is dat data2vec zelfaandacht gebruikt om zijn doelrepresentaties contextueel en continute maken. Andere zelfgesuperviseerde modellen gebruiken daarentegen vaste doelen die op lokale context zijn gebaseerd.
data2vec: de modelmethode
Het model leert representaties van de invoer te voorspellen op basis van een gedeeltelijk zicht op die invoer. In de afbeelding zijn het gezicht van de hond, een deel van de spraakopname en het woord “with” in de tekst gemaskeerd.

Eerst codeert het model een gemaskeerde versie van het trainingsvoorbeeld (leerlingmodus). Vervolgens codeert het de ongemaskeerde invoer om trainingsdoelen te maken. Daarbij wordt hetzelfde model gebruikt, maar met parameters die het exponentieel voortschrijdend gemiddelde van de modelgewichten vormen (leraarmodus). De doelrepresentaties bevatten informatie uit het trainingsvoorbeeld. In de leerlingmodus bestaat de leertaak eruit deze representaties te voorspellen op basis van een gedeeltelijk zicht op de invoer.
Modelarchitectuur
data2vec gebruikt een standaard Transformer-architectuur met modaliteitsspecifieke invoercodering. Voor computervisie volgt het de ViT-aanpak: een afbeelding wordt opgedeeld in patches van 16 × 16 pixels, die lineair worden getransformeerd tot een reeks representaties.
Voor spraakherkenning gebruikt het model een meerlaags eendimensionaal convolutioneel neuraal netwerk dat golfvormen van 16 kHz omzet in representaties van 50 Hz. Voor tekst worden eerst subwoordeenheden afgeleid, waarna embeddingvectoren deze in een representatieruimte plaatsen.
Maskering
Na het omzetten van de invoer in een tokenreeks vervangt het model een deel van de eenheden door een maskeringsembedding. De reeks wordt vervolgens naar het Transformer netwerk gestuurd. Bij computervisie worden blokken gemaskeerd. Bij spraak worden segmenten van de latente spraakrepresentatie gemaskeerd en bij taal worden tokens gemaskeerd.
Trainingsdoelen
Op basis van de gecodeerde gemaskeerde invoer voorspelt het model de representaties van het ongemaskeerde trainingsvoorbeeld. Het doet dit alleen voor de gemaskeerde tijdstappen.
Het model voorspelt contextuele representaties die niet alleen de betreffende tijdstap coderen, maar door zelfaandacht in het Transformer-netwerk ook andere informatie uit het voorbeeld bevatten. Deze contextuele representaties en het Transformer-netwerk onderscheiden data2vec van bestaande modellen zoals BERT, wav2vec, BEiT, SimMIM, MAE en MaskFeat , die doelen zonder contextuele informatie voorspellen.
Hieronder volgt hoe data2vec de leraarmodus parametriseert om netwerkrepresentaties te voorspellen die als doelen dienen.
Parametrisering van de leraar
Het model codeert het ongemaskeerde trainingsvoorbeeld met behulp van het exponentieel voortschrijdend gemiddelde (EMA) van de modelparameters (θ). De gewichten in de doelmodus (△) worden als volgt bijgewerkt:
∆ ← τ∆ + (1 − τ ) θ
Het schema voor τ verhoogt deze parameter lineair van τ0 tot τe (de doelwaarde) gedurende de eerste τn updates. Daarna blijft de waarde tot het einde van de training constant. De leraar wordt in het begin, wanneer het model nog willekeurige parameters heeft, vaker bijgewerkt. Naarmate de training vordert en goede parameters zijn geleerd, gebeurt dit minder vaak.
De resultaten laten zien dat het model efficiënter en nauwkeuriger is wanneer de leerling- en leraarmodus de parameters van de kenmerkencoder en positie-encoder delen.
Doelen
De trainingsdoelen worden afgeleid van de uitvoer van de bovenste K blokken van het leraarnetwerk, voor de tijdstappen die in de leerlingmodus gemaskeerd zijn. De uitvoer van blok l op tijdstap t wordt aangeduid met alt. Het model normaliseert ieder blok om âlt te verkrijgen en neemt vervolgens het gemiddelde van de bovenste K blokken

om het trainingsdoel yt voor tijdstap t te verkrijgen in een netwerk met in totaal L blokken.
Zo ontstaan trainingsdoelen die het model in de leerlingmodus via regressie voorspelt. In eerste experimenten werkte het ook goed om ieder blok afzonderlijk met een eigen projectie te voorspellen, en was dit tegelijk veel efficiënter.
Normalisatie van de doelen voorkomt bovendien dat het model voor alle tijdstappen dezelfde constante representaties leert en dat lagen met grote waarden de doelkenmerken domineren. Bij spraakherkenning wordt instance-normalisatie toegepast op het huidige invoervoorbeeld, zonder geleerde parameters. Dat hangt vooral samen met de kleine stapgrootte in de invoer, waardoor aangrenzende representaties sterk gecorreleerd zijn.
Voor computervisie en NLP vonden de onderzoekers normalisatie zonder geleerde parameters voldoende. Het probleem kan ook worden aangepakt met Variance-Invariance-Covariance- regularisatie, maar de genoemde normalisatiestrategie werkt voldoende goed en vereist geen extra parameters.
Doelfunctie
Voor contextuele trainingsdoelen yt gebruikt het model een Smooth L1-verliesfunctie om de doelen via regressie te voorspellen, zoals hieronder weergegeven.

Hier regelt β de overgang van een kwadratisch verlies naar L1-verlies. Die overgang hangt af van de grootte van het verschil tussen de modelvoorspelling ft(x) op tijdstap t. Het voordeel is dat deze verliesfunctie relatief minder gevoelig is voor uitschieters, al moet β wel worden afgestemd.
Experimentele opzet
De onderzoekers testen twee modelgroottes: data2vec Large en data2vec Base. Voor numerieke stabiliteit worden EMA-updates uitgevoerd in fp32. De modellen bevatten L = 12 of L = 24 Transformer-blokken, met verborgen dimensie H = 768 of H = 1024. Hieronder bespreken we de opzet voor de verschillende modaliteiten en toepassingen.
Computervisie
Afbeeldingen van 224 × 224 pixels worden verdeeld in patches van 16 × 16 pixels. Iedere patch wordt lineair getransformeerd, waarna een reeks van 196 representaties naar de standaard Transformer gaat.
Het model volgt BEiT bij het maskeren van blokken met aangrenzende patches. Elk blok heeft minstens 16 patches en een willekeurige beeldverhouding. Waar BEiT oorspronkelijk 40% van de patches maskeert, maskeert data2vec 60% voor een betere nauwkeurigheid.
Daarnaast worden uitsneden willekeurig geschaald, horizontaal gespiegeld en in kleur gevarieerd. Leraar en leerling krijgen dezelfde aangepaste afbeelding.
ViT-B wordt 800 epochs voorgetraind. De batchgrootte is 8.192 voor ViT-L en 2.048 voor ViT-B. Het model gebruikt Adam en een cosinusschema met één cyclus. De leersnelheid wordt gedurende 80 epochs voor ViT-L en 40 epochs voor ViT-B opgewarmd tot 0,001.
Voor zowel ViT-B als ViT-L gelden β = 2, K = 6 en een constante τ = 0,9998 zonder veranderend schema. De kans voor stochastic depth is 0,2.
ViT-L wordt bovendien 1.600 epochs getraind. In de eerste 800 epochs wordt een leersnelheid van 0,9998 genoemd; vervolgens wordt het schema opnieuw gestart en volgen nog 800 epochs met een leersnelheid van 0,9999.
Voor beeldclassificatie wordt het gemiddelde van de uitvoer van het laatste Transformer-blok aan een classifier met softmax-normalisatie gegeven. ViT-L wordt vervolgens 50 epochs gefinetuned en ViT-B 100 epochs, met Adam en een cosinusschema met opwarming van de leersnelheid.
Spraakverwerking
Voor spraakverwerking gebruikt data2vec Fairseq, een toolkit voor sequentiemodellering waarmee aangepaste modellen voor samenvatting, vertaling en tekstgeneratie kunnen worden getraind. Een golfvorm van 16 kHz wordt verwerkt door een kenmerkencoder met temporele convoluties met 512 kanalen, kernelbreedtes (10, 3, 3, 3, 3, 2, 2) en stapgroottes (5, 2, 2, 2, 2, 2, 2).
Dit levert een uitvoerfrequentie van 50 Hz op, met stappen van 20 ms tussen representaties. Het receptieve veld beslaat 400 invoersamples, oftewel 25 ms audio. De ruwe golfvorm wordt vóór de encoder genormaliseerd tot variantie één en gemiddelde nul.
De maskeringsstrategie voor Base lijkt op het raamwerk van Baevski voor zelfgesuperviseerde spraakherkenning. Het model kiest voor iedere tijdstap een beginpositie met kans p = 0,065 en maskeert daarna de volgende tien tijdstappen. Bij een gebruikelijke trainingsreeks wordt zo ongeveer 49% van de tijdstappen gemaskeerd.
Tijdens de training wordt τ lineair aangepast met τo = 0,999, τe = 0,9999 en τn = 30.000. Voor Base wordt Adam gebruikt met een maximale leersnelheid van 5 × 10-4 . Een schema met drie fasen verhoogt de leersnelheid lineair gedurende de eerste 3% van de updates, houdt haar constant gedurende de volgende 90% en verlaagt haar lineair in de laatste 7%.
Natuurlijke taalverwerking
Het model tokeniseert de invoer met byte-pair encoding met 50.000 typen en leert voor ieder type een embedding. Vervolgens past het de BERT-maskeringsstrategie toe op 15% van de uniform gekozen tokens. Daarvan wordt 80% vervangen door een geleerd maskertoken, 10% door een willekeurig token uit het vocabulaire en blijft 10% ongewijzigd.
Tijdens de voortraining gebruikt het model τo = 0,999, τe = 0,9999 en τn = 100.000, K = 10 en β = 4. Het gebruikt Adam met een leersnelheidsschema in drie fasen: lineaire opwarming gedurende de eerste 5% van de updates, een constante waarde gedurende de volgende 80% en lineaire afname gedurende de laatste 15%. De maximale leersnelheid is 2 × 10-4.
Het model wordt getraind op 16 GPU’s met batches van 256 reeksen, die elk ongeveer 512 tokens bevatten. Voor vervolgtoepassingen worden vier leersnelheden getest: 1 × 10-4, 2 × 10-4, 3 × 10-4 en 4 × 10-4. De best presterende instelling wordt geselecteerd voor verdere NLP-taken.
Resultaten
Hieronder bekijken we de prestaties van data2vec met de beschreven strategieën voor de verschillende modaliteiten.
Computervisie
Voor computervisie wordt het model voorgetraind op afbeeldingen uit de ImageNet-1K dataset en vervolgens gefinetuned met de gelabelde gegevens van dezelfde benchmark. Volgens de gebruikelijke werkwijze wordt het geëvalueerd op de validatiegegevens met top-1-nauwkeurigheid .
De resultaten worden onderscheiden naar training met één zelfgesuperviseerd model, training van een afzonderlijke visuele tokenizer op extra gegevens en andere zelfgesuperviseerde methoden.
De onderstaande tabel vergelijkt de prestaties voor computervisie met bestaande modellen, voor ViT-L en ViT-B.

De resultaten zijn als volgt samen te vatten:
- data2vec presteert met zowel ViT-L als ViT-B beter dan eerder werk in de opzet met één model.
- Het voorspellen van contextuele latente representaties uit gemaskeerde invoer werkt beter dan methoden die lokale doelen voorspellen, zoals vooraf ontworpen beeldkenmerken, invoerpixels of visuele tokens.
- data2vec presteert ook beter dan zelfdistillatiemethoden die de laatste laag van het leerlingnetwerk via regressie voorspellen met twee verschillend geaugmenteerde versies van een afbeelding als invoer.
Audio- en spraakverwerking
Voor audio en spraak wordt het model getraind op ongeveer 960 uur audiogegevens uit de LibriSpeech-dataset (LS-960) . Deze bevat heldere spraak uit Engelstalige luisterboeken en geldt als een standaardbenchmark voor audio- en spraakverwerking.
Om verschillende hoeveelheden beschikbare gegevens te onderzoeken, wordt het model gefinetuned voor automatische spraakherkenning met uiteenlopende hoeveelheden gelabelde data, van enkele minuten tot meerdere uren. De prestaties worden vergeleken met HuBERT en wav2vec 2.0, twee veelgebruikte algoritmen voor het leren van spraak- en audiorepresentaties op basis van discrete spraakeenheden.

De bovenstaande tabel vergelijkt data2vec met bestaande modellen op woordniveau bij spraakherkenning. LM staat voor het taalmodel dat bij het decoderen wordt gebruikt. De resultaten laten het volgende zien:
- data2vec verbetert de prestaties bij de meeste hoeveelheden gelabelde gegevens. Voor Base is de winst het grootst bij tien minuten gelabelde data.
- Grote modellen presteren aanzienlijk beter bij kleine gelabelde datasets en vergelijkbaar bij rijke datasets met 100 of 960 uur gelabelde data. Bij zulke omvangrijke datasets bereiken de meeste modellen namelijk een prestatieplafond.
- De resultaten suggereren dat het leren van discrete eenheden niet noodzakelijk is wanneer het model rijke contextuele doelen gebruikt.
- Het leren van contextuele doelen tijdens de training verbetert de algehele prestaties aanzienlijk.
Om de benadering verder te toetsen, wordt het model ook getraind op de AudioSet benchmark. De voortrainingsopzet lijkt op die voor LibriSpeech, maar gebruikt K = 12 en meer dan 200.000 updates, met 94,5 minuten audio per batch.
Vervolgens worden het DeepNorm raamwerk en laagnormalisatie op de doelen toegepast om de training te stabiliseren. Het model wordt ook gefinetuned op gebalanceerde subsets, met 21,3 minuten per batch en 13.000 updates. Het gebruikt daarnaast Linear Softmax Pooling en mixup met kans 0,7. Een enkele lineaire projectie zet de uitvoer om naar 527 audioklassen, met een leersnelheid voor de projectie van 2e-4.
De voorgetrainde parameters gebruiken een leersnelheid van 3e-5 en tijdens het finetunen wordt maskering toegepast. De onderstaande tabel toont dat data2vec beter kan presteren dan een vergelijkbare opzet met dezelfde gegevens voor voortraining en finetuning.

Natuurlijke taalverwerking
Voor tekst wordt dezelfde trainingsopzet gevolgd als bij BERT . Het model wordt voorgetraind op de Engelstalige Wikipedia met meer dan één miljoen updates en batches van 256 reeksen. De evaluatie gebeurt met de GLUE-benchmark (General Language Understanding Evaluation) , die onder meer taken voor gevolgtrekking in natuurlijke taal omvat (MNLI, oftewel Multi-Genre Natural Language Inference), overeenkomst tussen zinnen (QQP, oftewel Quora Question Pairs; MRPC, oftewel Microsoft (MSFT ) Research Paragraph Corpus; en STS-B, oftewel Semantic Textual Similarity Benchmark), sentimentanalyse (SST-2, oftewel Stanford Sentiment Treebank) en grammaticale aanvaardbaarheid (CoLA).
Voor finetuning wordt de gelabelde dataset van iedere taak gebruikt. De gerapporteerde gemiddelde nauwkeurigheid op de ontwikkelsets is gebaseerd op vijf finetuningruns. De volgende tabel vergelijkt de NLP-prestaties met andere modellen.

- data2vec presteert beter dan het basismodel RoBERTa; de strategie gebruikt geen willekeurige doelen.
- Het is het eerste succesvolle voorgetrainde NLP-model dat geen discrete eenheden zoals tekens, woorden of subwoorden als trainingsdoelen gebruikt. In plaats daarvan voorspelt het contextuele latente representaties van de volledige ongemaskeerde tekstsequentie.
- De leertaak vraagt daardoor om doelen met eigenschappen van de huidige reeks, in plaats van algemene representaties die voor iedere afzonderlijke teksteenheid hetzelfde zijn.
- De verzameling trainingsdoelen ligt niet vast: het model kan nieuwe doelen definiëren en is niet gebonden aan een vaste vocabulaire-instelling.
data2vec: ablatieonderzoek
Ablatie betekent het verwijderen van een onderdeel uit een AI- of ML-systeem. Door belangrijke onderdelen weg te laten en de prestaties opnieuw te meten, kunnen onderzoekers vaststellen wat die onderdelen bijdragen aan het geheel.
Doelen op basis van laaggemiddelden
Een belangrijk verschil met andere zelfgesuperviseerde modellen is dat data2vec doelen gebruikt die zijn gebaseerd op het gemiddelde van meerdere lagen van het leraarnetwerk. Dit idee komt voort uit de observatie dat de hoogste lagen van wav2vec 2.0 bij vervolgtaken minder goed presteren dan de middelste lagen.
In het volgende experiment worden de prestaties voor alle drie de modaliteiten gemeten met gemiddelden van K = 1, 2, …, 12 lagen. Bij K = 1 wordt alleen de hoogste laag voorspeld. Om de experimenten sneller uit te voeren, wordt een Base-model met twaalf lagen gebruikt. Voor spraakherkenning wordt het meer dan 200.000 updates op LibriSpeech voorgetraind en daarna gefinetuned op een gelabeld deel van Libri-light van tien uur. Voor NLP wordt de gemiddelde GLUE-score op de validatieset gerapporteerd. Voor computervisie wordt het model 300 epochs voorgetraind en wordt de top-1-nauwkeurigheid op ImageNet gemeten.

De afbeelding laat zien dat doelen op basis van meerdere lagen voor alle modaliteiten doorgaans betere resultaten geven dan alleen de hoogste laag, K = 1. Het gebruik van alle beschikbare lagen is nuttig omdat neurale netwerken in verschillende lagen uiteenlopende kenmerken opbouwen die als doelkenmerken kunnen worden benut.
Kenmerken uit meerdere lagen verhogen de nauwkeurigheid en verrijken het zelfgesuperviseerde leerproces.
Type doelkenmerk
Transformer-blokken bevatten verschillende lagen die als doelen kunnen dienen. Om het effect van de gekozen laag te onderzoeken, worden spraakmodellen op LibriSpeech voorgetraind met verschillende lagen als doelkenmerken.
De onderstaande afbeelding laat zien dat de uitvoer van het feedforwardnetwerk (FFN) goed werkt, terwijl de uitvoer van de zelfaandachtsblokken geen bruikbaar model oplevert.

Contextualisering van de doelen
De representaties van de leraar gebruiken zelfaandacht over de volledige invoer om contextuele doelen te vormen. Dit onderscheidt data2vec van modellen die lokale delen van de invoer reconstrueren of voorspellen. Dat roept de vraag op: heeft data2vec contextuele doelen nodig om goed te werken?
Om dat te onderzoeken, worden doelrepresentaties gemaakt die niet de volledige invoer kunnen zien, maar alleen een vooraf bepaald gedeelte. De zelfaandacht van de leraar wordt beperkt tot een deel van de omliggende invoer. Na de training wordt het model gefinetuned met toegang tot de volledige context.
Een grotere context levert doorgaans betere prestaties op. De beste nauwkeurigheid wordt bereikt als het volledige invoervoorbeeld zichtbaar is. Dit ondersteunt de conclusie dat rijkere doelrepresentaties tot betere prestaties kunnen leiden.

Modaliteitsspecifieke kenmerkextractie en maskering
Het belangrijkste doel van data2vec is een eenvoudig leermechanisme dat met verschillende modaliteiten werkt. Bestaande modellen en raamwerken kunnen een gedeelde leeraanpak hebben, maar gebruiken nog steeds modaliteitsspecifieke maskering en kenmerkextractie.
Dat raamwerken vaak op één modaliteit zijn gericht, is begrijpelijk: de aard van de invoer verschilt sterk. Spraakherkenning gebruikt bijvoorbeeld invoer met een hoge resolutie, zoals een golfvorm van 10 kHz met duizenden samples. Een meerlaags convolutioneel neuraal netwerk zet die om in kenmerkreeksen van 50 Hz.
Gestructureerde en contextuele doelen
Het belangrijkste verschil met andere modellen voor gemaskeerde voorspelling is dat de kenmerken van de trainingsdoelen contextueel zijn. Ze worden in de leraarmodus opgebouwd met zelfaandacht over de volledige gemaskeerde invoer.
Raamwerken zoals BYOL (Bootstrap Your Own Latent) en DINO gebruiken eveneens latente representaties, maar richten zich vooral op representaties die onveranderlijk blijven onder transformaties.
Slotbeschouwing
Recent onderzoek laat zien dat gedeelde modelarchitecturen een effectieve aanpak voor meerdere modaliteiten kunnen zijn. data2vec gebruikt zelfgesuperviseerd leren voor spraak, afbeeldingen en taal.
Het kernidee is om contextuele informatie over de invoer via regressie te voorspellen op basis van een gedeeltelijk zicht op die invoer. De aanpak is effectief: zowel ViT-B als ViT-L presteert als afzonderlijk model op ImageNet-1K beter dan eerdere zelfgesuperviseerde modellen.
data2vec is een mijlpaal omdat het laat zien dat één leermethode voor meerdere modaliteiten modellen daadwerkelijk kan helpen om voor verschillende soorten gegevens te leren.












