Modely a platformy AI
data2vec: Milník v učení s vlastním dohledem

Klíčové bodyMeta AI data2vec je první samoučící se algoritmus, který funguje napříč obrázky, textem…
Zobrazit více
- Meta AI data2vec je první samoučící se algoritmus, který funguje napříč obrázky, textem a řečí.
- Předpovídá plné kontextualizované reprezentace dat z maskovaných vstupů pomocí jediné architektury Transformer.
- Model se vyhýbá modality-specifickým zkreslením použitím jednotného učebního cíle pro všechny typy dat.
Modely strojového učení se při trénování do značné míry spoléhaly na označená data. Trénování na těchto datech tradičně přináší přesné výsledky. Hlavní nevýhodou jsou však vysoké náklady na anotaci, které rostou s velikostí trénovacího souboru. Pro vývojáře představují zásadní překážku, zejména u rozsáhlých projektů s velkým množstvím dat.
Aby tento problém vyřešili, přišli vývojáři s konceptem SSL neboli učení s vlastním dohledem. Jde o proces strojového učení, při kterém se model učí odvozovat část vstupu z jiné části téhož vstupu. Využívá tedy vztahy uvnitř dat místo signálů dohledu z označených příkladů.
Vedle učení s vlastním dohledem existují další metody a modely, které umožňují trénovat bez označených dat. Většina z nich však má dva zásadní problémy:
- Často se specializují na jedinou modalitu, například obraz nebo text.
- Vyžadují velký výpočetní výkon.
Tato omezení přispívají k rozdílu mezi lidskou myslí, která se dokáže z jednoho typu dat učit velmi účinně, a modely AI, jež pro obraz, text a řeč potřebují samostatné modely a trénovací data.
Společnost Meta AI proto představila data2vec, nový vysoce výkonný algoritmus učení s vlastním dohledem , který se učí vzorce ze tří různých modalit: obrazu, textu a řeči. S jeho využitím by bylo možné přenést porozumění textu na problém segmentace obrazu nebo algoritmus nasadit pro rozpoznávání řeči.
V tomto článku data2vec podrobně probereme. Zaměříme se na přehled metody, související výzkum, architekturu a výsledky, aby bylo jasné, jak algoritmus funguje.
Úvod do data2vec: základní myšlenka
Přestože se princip učení s vlastním dohledem používá napříč modalitami, konkrétní cíle a algoritmy se liší, protože byly navrženy pro jednotlivé modality. To je důvod, proč stejný algoritmus nemusí účinně fungovat pro různé druhy trénovacích dat.
Meta AI tuto překážku řeší algoritmem data2vec, který používá stejnou metodu učení pro počítačové vidění, NLP i řeč.
Základní myšlenkou je využít maskovaný pohled na vstup k předpovídání latentních reprezentací úplného vstupu pomocí sebedestilace a standardní architektury Transformer. Namísto místních cílů specifických pro obraz, text nebo hlas tak algoritmus předpovídá latentní reprezentace obsahující informace z celého trénovacího vstupu.

Proč odvětví AI potřebuje data2vec?
Modely učení s vlastním dohledem vytvářejí reprezentace trénovacích dat pomocí ručně anotovaných štítků. Tyto reprezentace patří k hlavním důvodům pokroku ve zpracování přirozeného jazyka a počítačovém vidění. Souvisejí také s využíváním učení bez dohledu v úlohách, jako je rozpoznávání řeči.
Dosavadní algoritmy se často zaměřují na jednotlivé modality, což vede k určitým předpokladům při učení a specifickým návrhům modelů. Tato specializace přináší problémy například pro počítačové vidění a NLP.
Při zpracování řeči mohou například slovníky řečových jednotek definovat úlohu učení s vlastním dohledem. V počítačovém vidění mohou vývojáři regresí předpovídat vstup, učit diskrétní vizuální tokeny nebo reprezentace invariantní vůči augmentaci dat. Taková induktivní přednastavení jsou užitečná, ale je obtížné ověřit, zda se přenesou i na jiné modality.
data2vec představuje významný krok, protože se snaží zlepšit učení pro více modalit, nikoli jen jednu. Nespoléhá se přitom na rekonstrukci vstupu ani na kontrastivní učení.
Může urychlit pokrok v AI a pomoci vyvíjet modely, které se plynule učí o různých aspektech okolního prostředí. Vědci doufají ve vznik přizpůsobivějších modelů AI a strojového učení, schopných zvládat náročnější úlohy než současné systémy.
Co je algoritmus data2vec?
Jde o jednotný rámec pro učení s vlastním dohledem napříč datovými modalitami, včetně obrazu, řeči a textu.
Cílem je umožnit modelům lépe se učit obecné vzorce prostředí tím, že se mezi modalitami zachová stejný učební cíl. Algoritmus je společný, ale reprezentace se stále učí samostatně pro každou modalitu.
Meta AI očekává, že tak multimodální učení bude účinnější a jednodušší.
Jak data2vec funguje?
Algoritmus spojuje učení latentních cílových reprezentací s předpovídáním maskovaného vstupu. Jako cíle používá více vrstev sítě, aby reprezentace zobecnil. Trénuje standardní síť Transformer , která se následně používá v režimu učitele nebo žáka .
V režimu učitele model nejprve vytváří reprezentace vstupních dat, které slouží jako cíle učební úlohy. V režimu žáka kóduje maskovanou verzi vstupu a předpovídá reprezentace úplných dat.

Obrázek ukazuje stejný proces učení pro různé modality. Nejprve model vytvoří reprezentace vstupu (režim učitele) a následně se je učí regresí předpovídat z maskované verze vstupu.
Protože data2vec používá latentní reprezentace vstupu, lze jej chápat jako zjednodušení modalitně specifických návrhů, například vytváření vhodných cílů normalizací vstupu nebo učení pevné množiny vizuálních tokenů. Zásadním rozdílem je, že data2vec využívá vlastní pozornost, aby jeho cílové reprezentace byly kontextové a spojité. Jiné modely naproti tomu používají pevné cíle založené na místním kontextu.
data2vec: metoda modelu
Model se učí předpovídat reprezentace vstupních dat na základě jejich částečného zobrazení. Na obrázku je zakrytý obličej psa, část zvukového záznamu a slovo „with“ v textu.

Nejprve model zakóduje maskovaný trénovací příklad (režim žáka) a následně úplný nemaskovaný vstup pro vytvoření trénovacích cílů. Použije stejný model, ale s parametry odpovídajícími exponenciálnímu klouzavému průměru vah (režim učitele). Cílové reprezentace zachycují informace z trénovacího příkladu. Žák je má předpovědět na základě částečného pohledu na vstup.
Architektura modelu
data2vec používá standardní architekturu Transformer s kódováním vstupu specifickým pro jednotlivé modality. U počítačového vidění využívá přístup ViT: obraz rozdělí na výřezy o velikosti 16 × 16 pixelů a lineárně je transformuje na posloupnost reprezentací.
Pro řeč používá vícevrstvou jednorozměrnou konvoluční neuronovou síť, která převádí průběh signálu o frekvenci 16 kHz na reprezentace s frekvencí 50 Hz. Text se předzpracuje na podslovní jednotky a vloží do reprezentačního prostoru pomocí embeddingových vektorů.
Maskování
Po převodu vstupu na posloupnost tokenů model některé jednotky nahradí maskovacím embeddingem a pošle posloupnost do sítě Transformer . U obrazu maskuje bloky, u latentních reprezentací řeči souvislé úseky a u jazykových úloh tokeny.
Trénovací cíle
Model předpovídá reprezentace nemaskovaného trénovacího příkladu z kódování jeho maskované verze. Předpovědi vytváří pouze pro maskované časové kroky.
Předpovídá kontextové reprezentace , které nekódují pouze daný časový krok, ale díky vlastní pozornosti v Transformeru i další informace z příkladu. Právě kontextové reprezentace a využití Transformeru odlišují data2vec od modelů BERT, wav2vec, BEiT, SimMIM, MAE a MaskFeat , které předpovídají cíle bez kontextových informací.
Následuje popis parametrizace učitele, který vytváří reprezentace sítě sloužící jako cíle.
Parametrizace učitele
Kódování nemaskovaného příkladu se parametrizuje pomocí EMA neboli exponenciálního klouzavého průměru parametrů modelu (θ). Váhy v cílovém režimu (△) se aktualizují takto:
∆ ← τ∆ + (1 − τ ) θ
Parametr τ roste lineárně z τ0 na τe (cílovou hodnotu) během prvních τn aktualizací. Poté zůstává až do konce trénování konstantní. Strategie EMA aktualizuje učitele častěji na začátku, kdy je model náhodný. Jakmile se model naučí vhodné parametry, učitel se aktualizuje méně často.
Výsledky ukazují vyšší účinnost a přesnost při sdílení parametrů kodéru příznaků a pozičního kodéru mezi učitelem a žákem.
Cíle
Trénovací cíle závisejí na výstupech nejvyšších K bloků učitele pro časové kroky, které žák dostává maskované. Výstup bloku l v časovém kroku t se značí alt. Každý blok se normalizuje na âlt a následně se zprůměruje horních K bloků

pro získání cíle yt v časovém kroku t pro síť s celkem L bloky.
Vzniklé cíle žák předpovídá regresí. V počátečních experimentech model dobře fungoval také při samostatném předpovídání jednotlivých bloků pomocí vlastních projekcí a současně byl mnohem efektivnější.
Normalizace cílů zabraňuje zhroucení do konstantních reprezentací pro všechny časové kroky a dominanci vrstev s vysokými hodnotami. U řeči se používá normalizace instance nad aktuálním vstupním příkladem bez učených parametrů. Důvodem je zejména malý posun po vstupních datech, kvůli němuž sousední reprezentace silně korelují.
U počítačového vidění a NLP výzkumníci zjistili, že postačuje normalizace bez učených parametrů. Problém lze řešit také regularizací Variance-Invariance-Covariance , uvedená strategie však funguje dostatečně dobře a nepotřebuje další parametry.
Účelová funkce
Pro kontextové trénovací cíle yt používá model ztrátovou funkci Smooth L1 k regresnímu předpovídání cílů podle následujícího vztahu.

Parametr β řídí přechod mezi kvadratickou a L1 ztrátou v závislosti na velikosti rozdílu mezi předpovědí modelu ft(x) v časovém kroku t. Výhodou této funkce je nižší citlivost na odlehlé hodnoty, je však nutné nastavit β.
Experimentální uspořádání
Experimenty používají dvě velikosti modelu: data2vec Large a data2vec Base. Pro numerickou stabilitu probíhají aktualizace EMA v fp32. Modely mají L = 12 nebo L = 24 bloků Transformeru se skrytou dimenzí H = 768 nebo H = 1024. Podívejme se na uspořádání pro jednotlivé modality a účely.
Počítačové vidění
Obrazy o velikosti 224 × 224 pixelů se rozdělí na výřezy 16 × 16 pixelů. Každý se lineárně transformuje a posloupnost 196 reprezentací vstupuje do standardního Transformeru.
Maskování navazuje na BEiT : bloky sousedních výřezů mají alespoň 16 výřezů a náhodný poměr stran. Zatímco BEiT původně maskuje 40 % výřezů, data2vec pro vyšší přesnost maskuje 60 %.
Dále se náhodně mění velikost obrazových výřezů, provádí vodorovné převrácení a barevné změny. Učitel i žák dostávají tentýž upravený obraz.
ViT-B se předtrénuje 800 epoch. Velikost dávky je 8 192 pro ViT-L a 2 048 pro ViT-B. Používá se Adam a kosinový plán s jedním cyklem; rychlost učení se zahřívá na 0,001 během 80 epoch u ViT-L a 40 epoch u ViT-B.
Pro oba modely platí β = 2, K = 6 a konstantní τ = 0,9998 bez proměnlivého plánu. Míra stochastické hloubky je 0,2.
ViT-L se trénuje 1 600 epoch. V prvních 800 epochách je uvedena rychlost učení 0,9998, pak se plán obnoví a následuje dalších 800 epoch s rychlostí 0,9999.
Pro klasifikaci obrazu se zprůměruje výstup posledního bloku Transformeru a předá klasifikátoru s normalizací softmax. ViT-L se dále dolaďuje 50 epoch a ViT-B 100 epoch, s Adamem a kosinovým plánem se zahříváním rychlosti učení.
Zpracování řeči
Pro řeč model využívá Fairseq, sadu nástrojů pro modelování posloupností, umožňující trénovat vlastní modely pro shrnování, překlad a generování textu. Vstupní signál o frekvenci 16 kHz zpracuje kodér příznaků s časovými konvolucemi s 512 kanály, šířkami jader (10, 3, 3, 3, 3, 2, 2) a posuny (5, 2, 2, 2, 2, 2, 2).
Výstup kodéru má frekvenci 50 Hz a krok 20 ms mezi reprezentacemi. Receptivní pole zahrnuje 400 vstupních vzorků, tedy 25 ms zvuku. Surový signál se před vstupem normalizuje na jednotkový rozptyl a nulový průměr.
Maskování ve variantě Base připomíná Baevského rámec pro učení s vlastním dohledem při rozpoznávání řeči. Každý časový krok je vybrán jako začátek s pravděpodobností p = 0,065 a poté se maskuje následujících deset kroků. V obvyklé trénovací posloupnosti tak lze zamaskovat přibližně 49 % kroků.
Při trénování se τ lineárně mění s parametry τo = 0,999, τe = 0,9999 a τn = 30 000. Base používá Adam s nejvyšší rychlostí učení 5 × 10-4 . Třífázový plán rychlost lineárně zvyšuje během prvních 3 % aktualizací, udržuje ji během dalších 90 % a lineárně snižuje v závěrečných 7 %.
Zpracování přirozeného jazyka
Vstup se tokenizuje pomocí byte-pair encoding s 50 000 typy a pro každý typ se naučí embedding. Poté se strategie BERT použije na 15 % rovnoměrně vybraných tokenů: 80 % z nich nahradí učený maskovací token, 10 % náhodný token slovníku a 10 % zůstane beze změny.
Při předtrénování se používá τo = 0,999, τe = 0,9999 a τn = 100 000, K = 10 a β = 4. Adam používá třífázový plán: lineární zahřívání v prvních 5 % aktualizací, konstantní hodnotu v dalších 80 % a lineární pokles v posledních 15 %. Nejvyšší rychlost učení je 2 × 10-4.
Model se trénuje na 16 GPU s dávkou 256 posloupností, každou přibližně o 512 tokenech. Pro následné úlohy se zkoušejí čtyři rychlosti učení: 1 × 10-4, 2 × 10-4, 3 × 10-4 a 4 × 10-4. Pro další úlohy NLP se vybere nejlepší nastavení.
Výsledky
Podívejme se, jak model s uvedenými strategiemi funguje u jednotlivých modalit.
Počítačové vidění
Model se předtrénuje na obrazech z datového souboru ImageNet-1K a poté doladí na označených datech stejného benchmarku. Standardně se vyhodnocuje pomocí přesnosti top-1 na validačních datech.
Výsledky se rozlišují podle použití jediného modelu učení s vlastním dohledem, samostatného vizuálního tokenizéru trénovaného na dalších datech a jiných metod učení s vlastním dohledem.
Následující tabulka srovnává výkon data2vec v počítačovém vidění s dalšími modely pro architektury ViT-L a ViT-B.

Výsledky lze shrnout takto:
- data2vec překonává předchozí práce s ViT-L i ViT-B v uspořádání s jediným modelem.
- Předpovídání kontextových latentních reprezentací z maskovaného vstupu funguje lépe než metody předpovídající místní cíle, například ručně navržené obrazové příznaky, vstupní pixely nebo vizuální tokeny.
- Překonává také metody sebedestilace, které regresí předpovídají poslední vrstvu žáka ze dvou různě augmentovaných verzí obrazu.
Zpracování zvuku a řeči
Pro zvuk a řeč se používá přibližně 960 hodin audia z datového souboru LibriSpeech (LS-960) . Obsahuje čisté nahrávky řeči z anglických audioknih a představuje standardní benchmark v tomto oboru.
Pro různé podmínky dostupnosti dat výzkumníci dolaďují automatické rozpoznávání řeči s různým množstvím označených dat, od několika minut po více hodin. Model srovnávají s HuBERT a wav2vec 2.0, dvěma oblíbenými algoritmy pro učení reprezentací zvuku a řeči, které využívají diskrétní řečové jednotky.

Tabulka porovnává výsledky rozpoznávání řeči na úrovni slov s dalšími modely. LM označuje jazykový model použitý při dekódování. Výsledky jsou následující:
- data2vec přináší zlepšení ve většině nastavení označených dat; u Base je největší přínos při deseti minutách označených dat.
- Velké modely jsou výrazně lepší na malých označených souborech a srovnatelné u bohatých souborů se 100 nebo 960 hodinami označených dat. U většiny modelů se totiž při velkém množství označených dat výkon již blíží svému stropu.
- Výsledky naznačují, že při použití bohatých kontextových cílů není nutné učit diskrétní jednotky.
- Učení kontextových cílů výrazně zlepšuje celkový výkon.
Pro další ověření přístupu se model trénuje také na benchmarku AudioSet . Předtrénování připomíná LibriSpeech, ale používá K = 12 a více než 200 000 aktualizací s 94,5 minutami audia v každé dávce.
Ke stabilizaci trénování se na cíle aplikuje rámec DeepNorm a normalizace vrstev . Model se dále dolaďuje na vyvážených podmnožinách s dávkou 21,3 minuty po 13 000 aktualizací. Používá také Linear Softmax Pooling a mixup s pravděpodobností 0,7. Následně přidá jedinou lineární projekci do 527 zvukových tříd a nastaví rychlost učení projekce na 2e-4.
Předtrénované parametry používají rychlost učení 3e-5 a při dolaďování se využívá maskování. Tabulka shrnuje výsledky: data2vec dokáže překonat srovnatelnou konfiguraci se stejnými daty pro předtrénování i dolaďování.

Zpracování přirozeného jazyka
Pro text se používá stejná konfigurace jako u BERT . Model se předtrénuje na anglické Wikipedii přes milion aktualizací s dávkou 256 posloupností. Hodnotí se na benchmarku GLUE neboli General Language Understanding Evaluation , který zahrnuje vyvozování závěrů z přirozeného jazyka (MNLI neboli Multi-Genre Natural Language Inference), podobnost vět (QQP neboli Quora Question Pairs, MRPC neboli Microsoft (MSFT ) Research Paragraph Corpus a STS-B neboli Semantic Textual Similarity Benchmark), analýzu sentimentu (SST-2 neboli Stanford Sentiment Treebank) a gramatickou přijatelnost (CoLA).
Pro dolaďování poskytuje každá úloha vlastní označená data. Uvádí se průměrná přesnost na vývojových sadách z pěti běhů dolaďování. Následující tabulka srovnává data2vec s dalšími modely v úlohách NLP.

- data2vec překonává základní model RoBERTa; jeho strategie nepoužívá náhodné cíle.
- Jde o první úspěšný předtrénovaný NLP model, který jako trénovací cíle nepoužívá diskrétní jednotky, například znaky, slova nebo podslova. Předpovídá kontextové latentní reprezentace celé nemaskované textové posloupnosti.
- Vzniká tak úloha, v níž model předpovídá cíle se specifickými vlastnostmi aktuální posloupnosti místo obecných reprezentací jednotlivých textových jednotek.
- Množina trénovacích cílů není pevná. Model může definovat nové cíle a není vázán na pevné nastavení slovníku.
data2vec: ablační studie
Ablace označuje odstranění komponenty ze systému AI nebo strojového učení. Ablační studie zkoumá výkon po odebrání důležitých částí a umožňuje určit jejich přínos pro celek.
Cíle zprůměrované přes vrstvy
Na rozdíl od jiných modelů data2vec používá cíle vytvořené průměrováním více vrstev učitele. Myšlenka vychází z toho, že nejvyšší vrstvy wav2vec 2.0 nejsou u následných úloh tak dobré jako prostřední vrstvy.
V experimentu se výkon všech tří modalit měří při průměrování K = 1, 2, …, 12 vrstev. K = 1 znamená pouze nejvyšší vrstvu. Pro rychlejší experimentování se používá Base s celkem dvanácti vrstvami. U řeči proběhne přes 200 000 aktualizací předtrénování na LibriSpeech a poté dolaďování na desetihodinové označené části Libri-light. U NLP se uvádí průměrné skóre GLUE na validační sadě. U obrazu se model předtrénuje 300 epoch a měří se přesnost top-1 na ImageNet.

Obrázek ukazuje, že cíle z více vrstev obecně přinášejí lepší výsledky než samotná nejvyšší vrstva K = 1 u všech modalit. Je vhodné využívat všechny dostupné vrstvy, protože neuronové sítě v jednotlivých vrstvách vytvářejí různé typy příznaků, které lze použít jako cíle.
Příznaky z více vrstev zvyšují přesnost a obohacují učení s vlastním dohledem.
Typ cílového příznaku
Bloky Transformeru obsahují několik vrstev, které mohou sloužit jako cíle. Vliv jejich volby se zkoumá předtrénováním řečových modelů na LibriSpeech s různými vrstvami jako cílovými příznaky.
Obrázek ukazuje, že výstup dopředné sítě (FFN) funguje dobře, zatímco výstupy bloků vlastní pozornosti nevedou k použitelnému modelu.

Kontextualizace cílů
Reprezentace učitele využívají vlastní pozornost přes celý vstup a vytvářejí kontextové cíle. Tím se data2vec liší od modelů, které rekonstruují nebo předpovídají místní části vstupu. Nabízí se otázka: potřebuje data2vec kontextové cíle, aby dobře fungoval?
Výzkumníci proto vytvořili cílové reprezentace, které nevidí celý vstup, ale jen předem určenou část. Vlastní pozornost učitele omezili na část okolního kontextu. Po trénování se model dolaďuje s přístupem k úplnému kontextu.
Větší kontext obvykle zlepšuje výkon a nejlepší přesnosti se dosahuje při zobrazení celého příkladu. To podporuje závěr, že bohatší cílové reprezentace mohou přinášet lepší výsledky.

Extraktory příznaků a maskování specifické pro modality
Hlavním cílem data2vec je jednoduchý mechanismus učení použitelný pro různé modality. Současné modely a rámce sice mohou mít společný režim učení, ale stále používají maskování a extrakci příznaků specifické pro danou modalitu.
Specializace je pochopitelná, protože povaha vstupních dat se velmi liší. Rozpoznávání řeči například používá vstup s vysokým rozlišením, třeba signál 10 kHz s tisíci vzorků. Vícevrstvá konvoluční síť jej následně převede na posloupnost příznaků s frekvencí 50 Hz.
Strukturované a kontextové cíle
Hlavní rozdíl oproti jiným modelům maskované predikce spočívá v kontextových příznacích trénovacích cílů. Vznikají pomocí vlastní pozornosti přes celý maskovaný vstup v režimu učitele.
Rámce jako BYOL (Bootstrap Your Own Latent) nebo DINO také využívají latentní reprezentace, ale zaměřují se především na reprezentace invariantní vůči transformacím.
Závěrečné úvahy
Nedávný výzkum ukazuje, že jednotné architektury mohou účinně zpracovávat více modalit. data2vec používá učení s vlastním dohledem pro řeč, obraz a jazyk.
Základní myšlenkou je regresí předpovídat kontextové informace o vstupu na základě jeho částečného zobrazení. Přístup je účinný: samostatné modely ViT-B i ViT-L překonávají na ImageNet-1K dřívější modely učení s vlastním dohledem.
data2vec je milníkem, protože ukazuje, že jediná metoda učení pro více modalit může modelům skutečně usnadnit učení napříč různými typy dat.












