data2vec: En milstolpe i självständig inlärning

Maskinlärningsmodeller har i stor utsträckning förlitat sig på märkt data för utbildning, och traditionellt sett har utbildning av modeller på märkt data gett precisa resultat. Men den största nackdelen med att använda märkt data är de höga annoteringskostnaderna som ökar med storleken på utbildningsdatat. Höga annoteringskostnader är ett stort hinder för utvecklare, särskilt när de arbetar med ett stort projekt med betydande mängder utbildningsdata.

För att tackla annoteringsproblemet kom utvecklare med konceptet SSL eller Självständig Inlärning. Självständig inlärning är en maskinlärningsprocess där modellen utbildar sig själv för att lära en del av indata från en annan del av indata. En Självständig Inlärningsmodell syftar till att utnyttja relationen mellan datan istället för att använda märkt datans övervakade signaler. 

Förutom Självständig Inlärning finns det flera andra metoder och modeller för att utbilda maskinlärningsmodeller utan att använda märkt data. Men de flesta av dessa metoder har två stora problem

1. De är ofta specialiserade för en enda modalitet som en bild eller text. 
2. De kräver en stor mängd beräkningskraft. 

Dessa begränsningar är ett stort problem eftersom den genomsnittliga människans hjärna kan lära sig från en enda typ av data mycket mer effektivt jämfört med en AI-modell som förlitar sig på separata modeller och utbildningsdata för att skilja på en bild, text och tal. 

För att tackla problemet med en enda modalitet släppte Meta AI data2vec, den första i sitt slag, självständig högpresterande algoritm för att lära mönsterinformation från tre olika modaliteter: bild, text och tal. Med implementeringen av data2vec-algoritmen kunde textförståelse tillämpas på en bildsegmenteringsuppgift eller den kunde också användas i en talsigenkänningstugas. 

I den här artikeln kommer vi att diskutera data2vec-modellen i detalj. Vi kommer att diskutera metodöversikten, relaterad forskning, arkitektur och resultat av modellen i större djup så att du har en tydlig förståelse för data2vec-algoritmen. 

Data2vec Introduktion: Kärnidén

Även om den grundläggande konceptet för Självständig Inlärning tillämpas över modaliteter, skiljer sig de faktiska objekten och algoritmerna från varandra eftersom de utformades med hänsyn till en enda modalitet. Att utforma en modell för en enda modalitet är anledningen till att samma självständiga inlärningsalgoritm inte kan fungera effektivt över olika typer av utbildningsdata. 

För att övervinna utmaningen som presenteras av en enda modalitet och algoritmer släppte Meta AI data2vec, en algoritm som använder samma inlärningsmetodik för antingen datorseende, NLP eller tal.  

Kärnidén bakom data2vec-algoritmen är att använda den maskerade vy av indata för att förutsäga latenta representationer av den fullständiga indata i en självdestilleringsuppsättning med hjälp av standard Transformer-arkitektur. Så, istället för modalitetsspecifika objekt som lokala i naturen, förutsäger data2vec-algoritmen latenta representationer med information från den fullständiga utbildnings- eller indata. 

Varför behöver AI-branschen data2vec-algoritmen?

Självständiga inlärningsmodeller bygger representationer av utbildningsdatan med hjälp av mänskligt annoterade etiketter, och det är en av de största anledningarna till framstegen inom NLP eller Naturlig Språkbehandling och Datorseende-tekniken. Dessa självständiga inlärningsrepresentationer är anledningen till att uppgifter som talsigenkänning och maskinlärning använder ostrukturerad inlärning i sina modeller. 

Tills nu har dessa självständiga inlärningsalgoritmer fokuserat på enskilda modaliteter, vilket resulterar i inlärningsbias och specifika design i modellerna. Den enskilda modaliteten för självständiga inlärningsalgoritmer skapar utmaningar i olika AI-tillämpningar, inklusive datorseende och NLP. 

Till exempel finns det en ordbok över talförståelseenheter i talförståelse som kan definiera en självständig inlärningsuppgift i NLP. Likaså, i datorseende, kan utvecklare antingen regressera indata, lära diskreta visuella token eller lära representationer som är invarianta för dataförstärkning. Även om dessa inlärningsbias är användbara, är det svårt att bekräfta om dessa bias kommer att generalisera till andra modaliteter. 

Data2vec-algoritmen är en stor milstolpe inom den självständiga inlärningsindustrin eftersom den syftar till att förbättra flera modaliteter snarare än bara en. Dessutom är data2vec-algoritmen inte beroende av att återställa indata eller kontrastiv inlärning. 

Så varför behöver världen data2vec? Det är för att data2vec-algoritmen har potentialen att accelerera framsteg inom AI och bidrar till utvecklingen av AI-modeller som kan lära sig om olika aspekter av sin omgivning utan ansträngning. Forskare hoppas att data2vec-algoritmen kommer att tillåta dem att utveckla mer anpassningsbara AI- och ML-modeller som kan utföra avancerade uppgifter utöver vad dagens AI-modeller kan göra.

Vad är data2vec-algoritmen?

Data2vec är en enhetlig ram som syftar till att implementera självständig maskinlärning över olika datamodaliteter, inklusive bilder, tal och text. 

Data2vec-algoritmen syftar till att utveckla ML-modeller som kan lära sig de allmänna mönstren i miljön mycket bättre genom att hålla inlärningsobjektivet enhetligt över olika modaliteter. Data2vec-modellen förenar inlärningsalgoritmen, men den lär sig fortfarande representationer för varje modalitet individuellt. 

Med introduktionen av data2vec-algoritmen hoppas Meta AI att den kommer att göra multimodal inlärning effektiv och mycket enklare. 

Hur fungerar data2vec-algoritmen?

Data2vec-algoritmen kombinerar inlärningen av latenta målrepresentationer med maskerad förutsägelse, även om den använder flera nätverkslager som mål för att generalisera de latenta representationerna. Modellen utbildar specifikt en färdig Transformer-nätverksarkitektur som sedan används antingen i lärar- eller elevläge. 

I lärarläget bygger modellen först representationer av indata som fungerar som mål i inlärningsuppgiften. I elevläget kodar modellen en maskerad version av indata som sedan används för att göra förutsägelser om fullständiga datarepresentationer. 

Bilden ovan representerar hur data2vec-modellen använder samma inlärningsprocess för olika modaliteter. I det första steget producerar modellen representationer av indata (lärarläge). Modellen regresserar sedan dessa representationer baserat på en maskerad version av indata. 

Dessutom, eftersom data2vec-algoritmen använder latenta representationer av indata, kan den ses som en förenklad version av modalitetsspecifika design som skapar lämpliga mål genom att normalisera indata eller lära en fast uppsättning visuella token. Men den avgörande differentieringspunkten mellan data2vec och andra algoritmer är att data2vec-algoritmen använder självuppmärksamhet för att göra sin målrepresentation kontextualiserad och kontinuerlig. Å andra sidan använder andra självständiga inlärningsmodeller en fast uppsättning mål som baseras på en lokal kontext. 

Data2vec: Modellmetod

Data2vec-modellen utbildas genom att förutsäga modellrepresentationer av indata baserat på en partiell vy av indata. Som du kan se i figuren, är hundens ansikte maskerat, en viss del av röstnoten är maskerad och ordet med är maskerat i texten. 

Modellen kodar först en maskerad version av utbildningsexemplet (elevläge), och sedan kodar den den omaskerade versionen av indata för att konstruera utbildningsmål med samma modell men bara när den parameteriseras som den exponentiella medelvärdet av modellvikterna (lärarläge). Dessutom kodar målrepresentationerna informationen i utbildningsexemplet, och i elevläget används inlärningsuppgiften för att förutsäga dessa representationer när en partiell vy av indata ges. 

Modellarkitektur

Data2vec-modellen använder en standard Transformer-arkitektur med modalitetsspecifik kodning av indata. För uppgifter relaterade till datorseende, använder modellen ViT-strategin för att koda en bild som en sekvens av patchar där varje bild omfattar 16×16 pixlar, och matas som en linjär transformation. 

Dessutom, för taligenkänning, kodar modellen datan med hjälp av ett flerskikts 1-D konvolutionsneuronnätverk som kartar 16 kHz-vågformer till 50 Hz-representationer. För att bearbeta textdata, förbehandlar modellen datan för att extrahera subord-enheter och sedan bäddar datan i distributionsrummet via inbäddningsvektorer. 

Maskering

När modellen bäddar indata som en sekvens av token, maskerar modellen delar av dessa enheter genom att ersätta dem med en inbäddningstoken och sedan mata sekvensen till Transformer-nätverket. För datorseende, använder modellen blockvis maskeringsstrategi. Latenta talsrepresentationer används för att maskera spänner av taldatat, och för språkrelaterade uppgifter, maskeras token. 

Utbildningsmål

Data2vec-modellen syftar till att förutsäga modellrepresentationer av den omaskerade utbildningsexemplet baserat på en kodning av den maskerade exemplet som ursprungligen matades till modellen. Modellen förutsäger representationer endast för maskerade tidssteg. 

Modellen förutsäger kontextualiserade representationer som inte bara kodar den specifika tidssteget, utan också kodar annan information från exemplet eftersom den använder självuppmärksamhet i Transformer-nätverket. De kontextualiserade representationerna och användningen av Transformer-nätverket är vad som skiljer data2vec-modellen från redan existerande BERT, wav2vec, BEiT, SimMIM, MAE och MaskFeat -modeller som förutsäger mål utan kontextuell information. 

Här är hur data2vec-modellen parameteriserar lärarläget för att förutsäga nätverksrepresentationer som sedan fungerar som mål. 

Lärarparameterisering

Data2vec-modellen parameteriserar kodningen av den omaskerade utbildningsexemplet med hjälp av EMA eller Exponentiell Medelvärde av modellparametrarna (θ) där vikterna av modellen i mål läge (△) är följande

                                           ∆ ← τ∆ + (1 − τ ) θ

Dessutom schemalägger modellen för τ som linjärt ökar parametern från  τ0 till τe (mål värde) över de första τn uppdateringarna. Efter dessa uppdateringar, håller modellen värdet konstant tills utbildningen är klar. Användningen av EMA-strategin uppdaterar läraren mycket oftare i början när utbildningen startar när modellen är slumpmässig. När utbildningen fortskrider och bra parametrar har lästs in, uppdateras läraren mindre ofta. 

Resultaten visar att modellen är mer effektiv och exakt när den delar parametrarna för funktionens kodare och positionskodare mellan elev- och lärarläge. 

Mål

Konstruktionen av utbildningsmålen är beroende av utdata från de översta K blocken av lärarnätverket för tidssteg som är maskerade i elevläget. Utdata från blocket l vid varje tidssteg t betecknas som alt. Modellen tillämpar sedan normalisering på varje block för att erhålla âlt innan den genomsnittligar de översta K-blocken 

för att erhålla utbildningsmålet yt för tidssteg t. För ett nätverk med L block i totalt. 

Det skapar utbildningsmål som modellen regresserar när den är i elevläge. I de första experimenten, presterade data2vec-modellen bra på att förutsäga varje block separat med en dedikerad projicering, och var samtidigt mycket mer effektiv. 

Dessutom, normaliserar målen också data2vec-modellen från att kollapsa till konstanta representationer för tidssteg, och förhindrar lager med hög normalisering att dominera funktionerna i måldatan. För talsigenkänning, använder modellen instansnormalisering över den aktuella indataexemplet utan några inlärda parametrar. Det är huvudsakligen för att som steget över indata är litet, är de närliggande representationerna starkt korrelerade. 

Dessutom, fann forskarna att när de arbetade med datorseende och NLP, fungerade parameterlös normalisering tillräckligt bra. Problemet kan också lösas med Varians-Invarians-Kovarians reglering, men den strategi som nämns ovan fungerar tillräckligt bra och kräver inga ytterligare parametrar. 

Mål

För kontextualiserade utbildningsmål yt, använder modellen en Smooth L1-förlust för att regressera målen som nämns nedan

Här, β är i kontroll av att gå över från en kvadrerad förlust till en L1-förlust, och det beror tungt på storleken på gapet mellan modellens förutsägelse ft(x) vid tidssteg t. Fördelen med den här förlusten är att den är jämförelsevis mindre känslig för utliggare, med behovet att justera inställningen av β. 

Experimentell Uppställning

Data2vec-modellen experimenteras med två modellstorlekar: data2vec Large och data2vec Base. För numerisk stabilitet, görs EMA-uppdateringar i fp32, och modellerna innehåller L= 12 eller L= 24 Transformer-block med dolda dimensioner (H) = 768 eller H= 1024.  Låt oss ta en detaljerad titt på den experimentella uppsättningen för olika modaliteter och syften. 

Datorseende

Data2vec-modellen bäddar bilder av 224×224 pixlar som patchar av 16×16 pixlar. Var och en av dessa patchar omvandlas linjärt, och en sekvens med 196 representationer matas till den standard Transformer. 

Modellen följer BEiT för att maskera block med angränsande patchar med varje block som har en minimum av 16 patchar med en slumpmässig aspektkvot. Men, istället för att maskera 40% av patchen som ursprungligen i BEiT-modellen, maskerar data2vec-modellen 60% av patchen för bättre noggrannhet. 

Dessutom, slumpmässigt återstorar modellen bildgrödor, horisontella vändningar och färgstörningar. Slutligen, använder data2vec-modellen samma modifierade bild i både lärar- och elevläge. 

ViT-B-modellerna förutbildas i 800 epoker, och data2vec-modellen använder batchstorleken 8,192 för ViT-L-modellen, och 2,048 för ViT-B-modellen. Data2vec-modellen använder också en cosinus och en Adam-schema med en enda cykel för att värma upp inlärningshastigheten i 80 epoker till 0,001 för ViT-L, och för 40 epoker till 0,001 för ViT-B. 

För både ViT-B och ViT-L, använder data2vec-modellen β = 2, K = 6 och τ = 0,9998 som konstant utan schema. Modellen använder också den stokastiska djuphastigheten 0,2. 

Dessutom, för ViT-L, utbildar modellen i 1,600 epoker där de första 800 epokerna har en inlärningshastighet som 0,9998, och sedan återställer modellen inlärningsschemat och fortsätter i de sista 800 epokerna med inlärningshastighet som 0,9999. 

För bildklassificering, använder modellen medel-poolen av utdata från det sista Transformer-blocket och matar det till den softmax-normaliserade klassificeraren. Modellen finjusterar sedan ViT-L i 50 epoker och ViT-B i 100 epoker med hjälp av cosinus och Adam för att värma upp inlärningshastigheten. 

Talsigenkänning

För talsigenkänning, använder data2vec-modellen Fairseq, en sekvensmodellingskit som används för att utbilda kundmodeller för sammanfattning, översättning och textgenerering. Modellen tar 16 kHz-vågform som indata som bearbetas med hjälp av en funktionkodare, och innehåller tidskonvolutioner med 512 kanaler, kärnbredden (10,3,3,3,3,2,2), och steg (5,2,2,2,2,2,2). 

Ovanstående resultat i utdatafrekvensen av kodaren är 50Hz, och den har ett steg på 20ms mellan varje exempel. Mottagandefältet består av 400 indataexempel eller 25 ms av ljud. Den råa vågformen som matas till kodaren är normaliserad till enhetsvarians och nollmedelvärde. 

Maskeringsstrategin som används av data2vec för basmodellen liknar Baevski-ramverket för självständig inlärning i talsigenkänning. Modellen provar p = 0,065 för alla tidssteg för att starta index, och fortsätter sedan att markera de följande tio tidsstegen. För en typisk utbildningsekvens, tillåter processen att nästan 49% av de totala tidsstegen är maskerade. 

Under utbildning, linjärt annealerar data2vec-modellen τ med hjälp av τo = 0,999, τe = 0,9999, och τn = 30,000. Data2vec-modellen använder Adam-optimisatorn med den maximala inlärningshastigheten som 5×10-4 för basmodellen. Dessutom, använder basmodellen en tri-stegs schema som värmer upp inlärningshastigheten linjärt under de första 3% av uppdateringarna, underhåller den sedan i de följande 90%, och sedan minskar den linjärt under de återstående 7%. 

Naturlig Språkbehandling

Data2vec-modellen använder byte-pair-kodning av 50K typer för att tokenisera indata, och modellen lär sedan en inbäddning för varje typ. Efter att datan har kodats, använder modellen BERT-maskeringsstrategin för att maskera 15% av enhetligt valda token, där 80% ersätts med inlärda masktoken, 10% ersätts med slumpmässiga ordboks-token, och de återstående 10% är oförändrade. 

Under förutbildning, använder modellen τo = 0,999, τe = 0,9999, och τn = 100,000, K= 10, och β = 4. Modellen använder Adam-optimisatorn med en tri-stegs inlärningshastighetsschema som värmer upp inlärningshastigheten linjärt under de första 5% av uppdateringarna, underhåller den sedan i de följande 80%, och sedan minskar den linjärt under de återstående 15%, med den maximala inlärningshastigheten som 2×10-4. 

Dessutom, utbildar modellen på 16 GPU:er med en batchstorlek på 256 sekvenser, och varje sekvens innehåller cirka 512 token. För nedströms, förutbildar modellen i fyra olika inlärningshastigheter: 1×10-4, 2×10-4, 3×10-4, 4×10-4, och den som presterar bäst väljs för ytterligare NLP-nedströmsuppgifter. 

Resultat

Låt oss ta en titt på hur data2vec-modellen presterar när den implementerar strategierna som diskuterats ovan för olika modaliteter. 

Datorseende

För att utvärdera resultaten för datorseende, förutbildas data2vec-modellen på bilderna från ImageNet-1K -datamängden. Den resulterande modellen finjusteras med hjälp av de märkta datan från samma benchmark. Enligt standardpraxis, utvärderas modellen sedan i termer av top-1 noggrannhet på valideringsdata. 

Resultaten är sedan differentierade baserat på en enda självständig modell, och utbildning av en separat visuell tokenisator på ytterligare data, eller andra självständiga inlärningsmodeller. 

Tabellen nedan jämför prestationen av data2vec-modellen för datorseende, och andra existerande modeller: ViT-L och ViT-B. 

Resultaten från tabellen ovan kan sammanfattas som följer. 

• Data2vec-modellen presterar bättre än tidigare arbete med både ViT-L och ViT-B-modellerna i enkel modellinställning. 
• Den maskerade förutsägelsesättning som används i data2vec-algoritmen för att förutsäga kontextualiserade latenta representationer presterar bättre när den jämförs med metoder som förutsäger lokala mål som konstruktion av bildfunktioner, indata pixlar eller visuella token. 
• Data2vec-modellen presterar också bättre än självdestilleringsmetoder som regresserar den sista lagret av elevnätverket medan de tar två olika förstärkta versioner av en bild som indata. 

Ljud och Talsigenkänning

För ljud- och talsigenkänning, utbildas data2vec-modellen på cirka 960 timmar av ljuddata från Librispeech(LS-960) -datamängden. Datamängden innehåller ren talspråksljud från ljudböcker på engelska, och den behandlas som en standardbenchmark i ljud- och talsigenkänningindustrin. 

För att analysera modellens prestation i olika resursinställningar, har forskarna finjusterat data2vec-modellen för att använda olika mängder märkt data (från några minuter till flera timmar) för automatisk talsigenkänning. För att analysera modellens prestation, jämförs data2vec mot HuBERT och wav2vec 2.0, två av de mest populära algoritmerna för ljud- och talspråksrepresentationer som förlitar sig på diskreta talförståelseenheter. 

Ovanstående tabell jämför prestationen av data2vec i termer av ordhastighet för talsigenkänning med andra existerande modeller. LM representerar språkmodellen som används för avkodning. Resultaten kan sammanfattas som följer. 

• Data2vec-modellen visar förbättringar för de flesta märkta datainställningar med den största vinsten av 10 minuter av märkt data för basmodeller. 
• När det gäller stora modeller, presterar modellen betydligt bättre på små märkta datamängder, och prestationen är jämförbar på resursrika datamängder med över 100 och 960 timmar av märkt data. Det är för att prestationen vanligtvis mättas på resursrika märkta datamängder för de flesta modeller. 
• Efter att ha analyserat prestationen, kan det slutas att när modellen använder rika kontextualiserade mål, är det inte nödvändigt att lära diskreta enheter. 
• Att lära kontextualiserade mål under utbildning hjälper till att förbättra den övergripande prestationen betydligt. 

Dessutom, för att validera data2vec:s tillvägagångssätt för talsigenkänning, utbildas modellen också på AudioSet -benchmarken. Även om förutbildningsuppsättningen för AudioSet är liknande Librispeech, utbildas modellen för K= 12, och för över 200 000 uppdateringar, där storleken på varje batch är 94,5 minuter. 

Modellen tillämpar sedan DeepNorm -ramverket och lager-normalisering till målen för att hjälpa till att stabilisera utbildningen. Dessutom, finjusteras modellen på balanserade undermängder med en batchstorlek på 21,3 minuter över 13 000 uppdateringar. Modellen använder också Linjär Softmax-Pooling och mixup med en sannolikhetspoäng på 0,7. Modellen lägger sedan till en enkel linjär projicering till 527 unika klasser av ljud, och ställer in projiceringsinlärningshastigheten till 2e-4. 

Dessutom, har de förutbildade parametrarna en inlärningshastighet på 3e-5, och modellen använder maskeringstekniker för finjustering av datamängden. Tabellen nedan sammanfattar resultaten, och det kan ses att data2vec-modellen är kapabel att prestera bättre än en jämförbar uppsättning med samma finjustering och förutbildningsdata. 

Naturlig Språkbehandling

För att analysera data2vec:s prestation på text, följer modellen samma utbildningssätt som BERT och förutbildar modellen på engelska Wikipedia-dataset med över 1M uppdateringar och batchstorlek 256 sekvenser. Modellen utvärderas på GLUE eller Allmän Språkförståelseutvärdering -benchmarken som innehåller naturlig språkinferensuppgifter (MNLI eller Multi Genre Naturlig Språkinferens), meningssimilaritet (QQP eller Quora Fråga Par benchmark, MRPC eller Microsoft (MSFT ) Research Paragraph Corpus, och STS-B eller Semantisk Textuell Similaritet Benchmark), sentimentanalys (SST-2 eller Stanford Sentiment Träd), och grammatik (CoLA). 

Dessutom, för att finjustera data2vec-modellen, tillhandahålls de märkta datan av varje uppgift, och den genomsnittliga noggrannheten rapporteras på utvecklingsuppsättningarna med 5 finjusteringskörningar. Följande tabell sammanfattar prestationen av data2vec-modellen för Naturlig Språkbehandlinguppgifter, och jämför den med andra modeller. 

• Ovanstående data visar att data2vec-modellen presterar bättre än baseline RoBERTa-modellen eftersom strategin i data2vec-modellen inte använder slumpmässiga mål. 
• Data2vec-modellen är den första lyckade förutbildade NLP-modellen som inte använder diskreta enheter som tecken, ord eller subord som utbildningsmål. Istället förutsäger data2vec-ramverket kontextualiserade latenta representationer över hela den omaskerade textsekvensen. 
• Det hjälper till att skapa en inlärningsuppgift där modellen krävs för att förutsäga mål med specifika egenskaper från den aktuella sekvensen snarare än att förutsäga representationer som är generiska för varje textenhet med särskild diskretion. 
• Dessutom, är måluppsättningen inte fast, och modellen är fri att definiera nya mål, och den är öppen för ordboksinställningar. 

Data2vec: Ablationsstudie

Ablation är en term som används för att definiera borttagandet av en komponent i AI- och ML-system. En ablationsstudie används för att undersöka eller analysera prestationen av en AI- eller ML-modell genom att ta bort vissa nyckelkomponenter från modellen som tillåter forskare att förstå bidraget från den komponenten i det övergripande systemet. 

Lagergenomsnittliga Mål

En stor skillnad mellan data2vec och andra självständiga inlärningsmodeller är att data2vec-modellen använder mål som baseras på att genomsnitta flera lager från lärarnätverket. Idén kommer från det faktum att de översta lagren av wav2vec 2.0-modellen inte presterar bra för nedströmsuppgifter när jämfört med mittenlager av modellen. 

I följande experiment, mäts prestationen av alla tre modaliteter genom att genomsnitta K= 1, 2, …, 12 lager där K= 1 förutsäger endast det översta lagret. Men för att extrahera snabbare omsvängningstid, utbildar data2vec basmodellen med 12 lager i totalt. För talsigenkänning, förutbildas modellen på över 200 000 uppdateringar på Librispeech, och sedan finjusteras den på en 10-timmars märkt delning av Libri-light. För Naturlig Språkbehandling, rapporterar modellen den genomsnittliga GLUE-poängen för valideringsuppsättningen, och förutbildar modellen i 300 epoker för datorseende och rapporterar sedan den top-1 noggrannhet som erhålls på ImageNet-datasetet. 

Ovanstående figur visar att mål baserade på flera lager generellt förbättrar när endast det översta lagret K=1 används för alla modaliteter. Att använda alla tillgängliga lager är en bra praxis eftersom neurala nätverk bygger funktioner över olika typer av funktioner, och många lager som sedan extraheras som funktionslager. 

Användning av funktioner från flera lager hjälper till att öka noggrannheten och berikar den självständiga inlärningsprocessen. 

Mål EgenskapsTyp

Transformer-blocken i data2vec-modellen har flera lager som alla kan fungera som mål. För att analysera hur olika lager påverkar prestationen, förutbildas modellen på Librispeechs talmål som använder olika lager som målfunktioner. 

Figuren nedan indikerar tydligt att utdata från feed-forward-nätverket eller FFN fungerar idealiskt, medan utdata från självuppmärksamhetsblocken inte resulterar i en användbar modell. 

Mål Kontextualisering

Lärarrepresentationer i data2vec-modellen använder självuppmärksamhet över hela indata för att producera kontextualiserade mål. Det är vad som skiljer data2vec från andra självständiga inlärningsmodeller som konstruerar en inlärningsuppgift genom att återställa eller förutsäga lokala delar av indata. Det ställer tydligt frågan: behöver data2vec-modellen kontextualiserade mål för att fungera bra? 

För att besvara frågan, konstruerar forskarna målrepresentationer som inte har tillgång till hela indata, utan endast en bråkdel av den som är förutbestämd. Modellen begränsar sedan självuppmärksamhetsmekanismen i läraren som tillåter den att komma åt endast en del av omgivande miljöindata. Efter att modellen har utbildats, finjusteras den för att komma åt full kontextstorlek. 

Figuren nedan indikerar att större kontextstorlekar ofta leder till bättre prestation, och när hela indataexemplet är synligt, ger det den bästa noggrannheten. Det bevisar ytterligare att rikare målrepresentationer kan ge bättre prestation. 

Modalitetsspecifika Funktionsextraherare och Maskering

Det primära målet med data2vec är att utforma en enkel inlärningsmekanism som kan fungera med olika modaliteter. Det är för att, även om de nuvarande modellerna och ramverken har en enhetlig inlärningsregim, använder de fortfarande modalitetsspecifik maskering och funktionsextraherare. 

Det är logiskt att ramverken främst fungerar med en enda modalitet med tanke på naturen av indata som varierar kraftigt från en till en annan. Till exempel, talsigenkänningsmodeller använder en högupplöst indata (som 10 kHz-vågform) som vanligtvis har tusentals prover. Vågformen bearbetas sedan av ramverket med hjälp av ett flerskikts 1-D konvolutionsneuronnätverk för att erhålla funktionsekvenser av 50 Hz. 

Strukturerade och Kontextualiserade Mål

Den huvudsakliga differentieringspunkten mellan data2vec och andra maskerade förutsägelsmodeller är att i data2vec-modellen är funktionerna av utbildningsmål kontextualiserade. Dessa funktioner byggs med hjälp av självuppmärksamhet av hela maskerade indata i lärarläge. 

Vissa andra ramverk som BYOL (Bootstrap Your Own Latent) eller DINO använder också latenta representationer som data2vec, men deras primära fokus är att lära omvandlingsinvarianta representationer. 

Slutgiltiga Tankar

Nylig forskning inom AI- och ML-industrin har indikerat att enhetliga modellarkitekturer kan vara en effektiv tillvägagångssätt för att tackla flera modaliteter. Data2vec-modellen använder en självständig inlärningsmetod för att fungera med tre modaliteter: tal, bilder och språk. 

Kärntanken bakom data2vec-modellen är att använda partiell vy av indata för att regressera kontextuell information eller indata. Tillvägagångssättet som används av data2vec-ramverket är effektivt eftersom modellen presterar bättre än tidigare självständiga inlärningsmodeller på ImageNet-1K-dataset för både ViT-B och ViT-L enkla modeller. 

Data2vec är verkligen en milstolpe inom den självständiga inlärningsindustrin eftersom den demonstrerar en enda inlärningsmetod för att lära flera modaliteter som kan göra det lättare för modeller att lära sig över modaliteter.