Modele i platformy AI

data2vec: Kamień milowy w uczeniu samonadzorowanym

Kunal Kejriwal
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyMeta AI data2vec to pierwszy algorytm samonadzorowany, który działa zarówno dla…
Zobacz więcej
  • Meta AI data2vec to pierwszy algorytm samonadzorowany, który działa zarówno dla obrazów, tekstu, jak i mowy.
  • Przewiduje pełne, skontekstualizowane reprezentacje danych z zamaskowanych danych wejściowych, wykorzystując jednolitą architekturę Transformer.
  • Model unika uprzedzeń specyficznych dla modalności, stosując jednolity cel uczenia się dla wszystkich typów danych.

Modele uczenia maszynowego w dużej mierze opierały trening na oznaczonych danych, co tradycyjnie zapewniało dokładne wyniki. Główną wadą są jednak wysokie koszty anotacji, rosnące wraz z wielkością zbioru treningowego. Stanowią poważną przeszkodę dla twórców, zwłaszcza przy dużych projektach wymagających znacznych ilości danych.

Aby rozwiązać problem anotacji, opracowano koncepcję SSL, czyli uczenia samonadzorowanego. Jest to proces uczenia maszynowego, w którym model uczy się przewidywać część danych wejściowych na podstawie innej ich części. Wykorzystuje związki wewnątrz danych zamiast sygnałów nadzoru z oznaczonych przykładów.

Istnieją również inne metody i modele trenowane bez oznaczonych danych. Większość ma jednak dwa główne ograniczenia:

  1. Często specjalizują się w jednej modalności, na przykład obrazie lub tekście.
  2. Wymagają dużej mocy obliczeniowej.

Ograniczenia te pomagają wyjaśnić różnicę między ludzkim umysłem, który potrafi wydajniej uczyć się z jednego rodzaju danych, a modelem AI wykorzystującym osobne modele i zbiory treningowe dla obrazu, tekstu i mowy.

Aby przezwyciężyć ograniczenie do jednej modalności, Meta AI przedstawiła data2vec — nowy, wydajny algorytm uczenia samonadzorowanego , który poznaje wzorce z trzech modalności: obrazu, tekstu i mowy. Jego zastosowanie mogłoby pozwolić wykorzystać rozumienie tekstu w segmentacji obrazu albo wdrożyć algorytm do rozpoznawania mowy.

W artykule szczegółowo omawiamy metodę, powiązane badania, architekturę i wyniki data2vec, aby wyjaśnić działanie algorytmu.

Wprowadzenie do data2vec: główna idea

Choć uczenie samonadzorowane stosuje się w różnych modalnościach, konkretne cele i algorytmy różnią się, ponieważ powstawały z myślą o jednej z nich. Dlatego ten sam algorytm nie zawsze skutecznie działa na różnych rodzajach danych.

Meta AI proponuje data2vec, stosujący tę samą metodę uczenia w widzeniu komputerowym, NLP i przetwarzaniu mowy.

Główna idea polega na wykorzystaniu zamaskowanego wejścia do przewidywania ukrytych reprezentacji pełnych danych w schemacie samodestylacji, przy użyciu standardowej architektury Transformer. Zamiast lokalnych celów specyficznych dla obrazu, tekstu lub głosu algorytm przewiduje reprezentacje zawierające informacje o całym wejściu treningowym.

Dlaczego branża AI potrzebuje data2vec?

Modele uczenia samonadzorowanego tworzą reprezentacje danych treningowych przy użyciu etykiet nadanych przez ludzi. Reprezentacje te są jednym z powodów postępu w przetwarzaniu języka naturalnego i widzeniu komputerowym. Wiążą się również ze stosowaniem uczenia nienadzorowanego w takich zadaniach jak rozpoznawanie mowy.

Dotychczas algorytmy te koncentrowały się na pojedynczych modalnościach, co prowadziło do określonych założeń uczenia i specyficznych projektów modeli. Taka specjalizacja tworzy wyzwania między innymi w widzeniu komputerowym i NLP.

Przy przetwarzaniu mowy słowniki jednostek mowy mogą na przykład definiować zadanie uczenia samonadzorowanego. W widzeniu komputerowym można przewidywać wejście regresją, uczyć dyskretnych tokenów wizualnych lub reprezentacji niezmienniczych względem augmentacji danych. Takie założenia indukcyjne bywają użyteczne, ale trudno stwierdzić, czy uogólnią się na inne modalności.

data2vec jest ważnym krokiem, ponieważ ma poprawiać wyniki w wielu modalnościach, a nie tylko jednej. Nie opiera się na rekonstrukcji wejścia ani na uczeniu kontrastowym.

Może przyspieszyć rozwój AI i pomóc tworzyć modele poznające różne aspekty otoczenia. Badacze liczą na bardziej adaptacyjne modele AI i uczenia maszynowego, zdolne do zadań wykraczających poza możliwości dzisiejszych systemów.

Czym jest algorytm data2vec?

To wspólny schemat uczenia samonadzorowanego dla różnych modalności, w tym obrazu, mowy i tekstu.

Zachowuje jednolity cel uczenia w różnych modalnościach, aby modele lepiej poznawały ogólne wzorce środowiska. Algorytm jest wspólny, ale reprezentacje każdej modalności nadal uczone są oddzielnie.

Meta AI ma nadzieję uczynić uczenie multimodalne skuteczniejszym i prostszym.

Jak działa data2vec?

Łączy uczenie ukrytych reprezentacji docelowych z przewidywaniem na podstawie zamaskowanego wejścia. Do uogólniania reprezentacji wykorzystuje jako cele kilka warstw sieci. Trenuje standardową sieć Transformer , używaną następnie w trybie nauczyciela lub ucznia .

Nauczyciel najpierw tworzy reprezentacje danych wejściowych, służące jako cele zadania uczenia. Uczeń koduje zamaskowane wejście i przewiduje reprezentacje pełnych danych.

Ilustracja pokazuje ten sam proces dla różnych modalności. Model najpierw tworzy reprezentacje wejścia (tryb nauczyciela), a następnie uczy się przewidywać je regresją z zamaskowanej wersji danych.

Ponieważ data2vec wykorzystuje ukryte reprezentacje, można go uznać za uproszczenie rozwiązań specyficznych dla modalności, takich jak tworzenie odpowiednich celów przez normalizację wejścia lub uczenie stałego zestawu tokenów wizualnych. Kluczowe jest jednak wykorzystanie mechanizmu samouwagi, dzięki któremu reprezentacje docelowe są kontekstowe i ciągłe. Inne modele używają stałych celów opartych na lokalnym kontekście.

data2vec: metoda modelu

Model przewiduje reprezentacje pełnego wejścia na podstawie jego częściowego widoku. Na ilustracji zamaskowano pysk psa, fragment nagrania i słowo „with” w tekście.

Najpierw kodowana jest zamaskowana próbka treningowa (tryb ucznia), a następnie pełne wejście w celu utworzenia celów. Używa się tego samego modelu, ale z parametrami będącymi wykładniczą średnią kroczącą wag (tryb nauczyciela). Reprezentacje docelowe zawierają informacje z próbki, a uczeń przewiduje je na podstawie częściowego wejścia.

Architektura modelu

data2vec stosuje standardową architekturę Transformer z kodowaniem wejścia specyficznym dla modalności. W widzeniu komputerowym wykorzystuje podejście ViT: obraz dzieli na fragmenty 16 × 16 pikseli, przekształcane liniowo w sekwencję reprezentacji.

Mowę koduje wielowarstwowa jednowymiarowa sieć konwolucyjna, przekształcająca przebieg 16 kHz w reprezentacje 50 Hz. Tekst jest najpierw dzielony na jednostki podwyrazowe, a następnie osadzany w przestrzeni reprezentacji za pomocą wektorów embeddingowych.

Maskowanie

Po zamianie wejścia na sekwencję tokenów część jednostek zastępuje się embeddingiem maski i podaje do sieci Transformer . W obrazie maskowane są bloki, w ukrytych reprezentacjach mowy — ciągłe odcinki, a w zadaniach językowych — tokeny.

Cele treningowe

Model przewiduje reprezentacje niemaskowanej próbki na podstawie kodowania zamaskowanego wejścia, wyłącznie dla zamaskowanych kroków czasowych.

Przewiduje reprezentacje kontekstowe , które dzięki samouwadze kodują nie tylko dany krok, ale też pozostałe informacje z próbki. To odróżnia data2vec od modeli BERT, wav2vec, BEiT, SimMIM, MAE i MaskFeat , przewidujących cele bez kontekstu.

Poniżej opisano parametryzację nauczyciela tworzącego reprezentacje sieci będące celami.

Parametryzacja nauczyciela

Kodowanie pełnego wejścia wykorzystuje EMA, czyli wykładniczą średnią kroczącą parametrów modelu (θ). Wagi w trybie docelowym (△) aktualizowane są następująco:

                                           ∆ ← τ∆ + (1 − τ ) θ

 

Parametr τ rośnie liniowo od τ0 do τe (wartości docelowej) przez pierwsze τn aktualizacji, po czym pozostaje stały do końca treningu. Strategia EMA aktualizuje nauczyciela częściej na początku, gdy model jest losowy. Gdy zostaną poznane dobre parametry, nauczyciel aktualizowany jest rzadziej.

Wyniki wskazują na większą wydajność i dokładność, gdy nauczyciel i uczeń współdzielą parametry kodera cech i kodera pozycji.

Cele

Cele zależą od wyjść najwyższych K bloków nauczyciela dla kroków maskowanych u ucznia. Wyjście bloku l w kroku t oznaczane jest jako alt. Każdy blok normalizuje się do âlt , po czym uśrednia się najwyższe K bloków

  

 

w celu uzyskania celu yt dla kroku t w sieci zawierającej łącznie L bloków.

Uczeń przewiduje te cele regresją. W początkowych eksperymentach oddzielne przewidywanie każdego bloku z własną projekcją również działało dobrze i było znacznie wydajniejsze.

Normalizacja zapobiega zapadaniu się modelu do stałych reprezentacji wszystkich kroków i dominacji warstw o wysokich wartościach. W mowie stosuje się normalizację instancji bieżącej próbki bez uczonych parametrów, głównie dlatego, że mały krok po wejściu powoduje silną korelację sąsiednich reprezentacji.

Dla obrazu i NLP wystarcza normalizacja bez uczonych parametrów. Problem może też rozwiązać regularyzacja Variance-Invariance-Covariance , ale opisana strategia działa wystarczająco dobrze bez dodatkowych parametrów.

Funkcja celu

Dla kontekstowych celów yt model stosuje funkcję straty Smooth L1 do regresyjnego przewidywania celów, zgodnie z poniższym wzorem.

Parametr β steruje przejściem od straty kwadratowej do L1 w zależności od różnicy między przewidywaniem modelu ft(x) w kroku t. Zaletą jest mniejsza wrażliwość na wartości odstające, choć β wymaga dostrojenia.

Konfiguracja eksperymentów

Badano dwa rozmiary: data2vec Large i data2vec Base. Dla stabilności numerycznej aktualizacje EMA wykonywane są w fp32. Modele mają L = 12 lub L = 24 bloki Transformer i wymiar ukryty H = 768 albo H = 1024. Poniżej omówiono ustawienia poszczególnych modalności i zastosowań.

Widzenie komputerowe

Obrazy 224 × 224 piksele dzielone są na fragmenty 16 × 16 pikseli. Każdy przekształca się liniowo, a sekwencja 196 reprezentacji trafia do Transformera.

Maskowanie nawiązuje do BEiT : bloki sąsiednich fragmentów zawierają co najmniej 16 fragmentów o losowych proporcjach. Zamiast pierwotnych 40% w BEiT data2vec maskuje 60% fragmentów dla większej dokładności.

Losowo zmienia się rozmiar wycinków, odbija je poziomo i modyfikuje kolory. Nauczyciel i uczeń otrzymują ten sam zmodyfikowany obraz.

ViT-B jest wstępnie trenowany przez 800 epok. Wielkość partii wynosi 8192 dla ViT-L i 2048 dla ViT-B. Stosuje się Adam i jednocyklowy harmonogram cosinusowy; współczynnik uczenia zwiększany jest do 0,001 przez 80 epok dla ViT-L i 40 dla ViT-B.

Dla obu modeli β = 2, K = 6, a τ = 0,9998 pozostaje stałe. Współczynnik stochastic depth wynosi 0,2.

ViT-L trenowany jest przez 1600 epok. Dla pierwszych 800 podano współczynnik uczenia 0,9998, następnie harmonogram uruchamiany jest ponownie i trening trwa kolejne 800 epok ze współczynnikiem 0,9999.

W klasyfikacji obrazu uśrednia się wyjście ostatniego bloku i podaje klasyfikatorowi z normalizacją softmax. ViT-L dostrajany jest przez 50 epok, a ViT-B przez 100, z Adamem i harmonogramem cosinusowym z rozgrzewką.

Przetwarzanie mowy

Model wykorzystuje Fairseq, zestaw narzędzi do modelowania sekwencji i trenowania własnych modeli podsumowywania, tłumaczenia oraz generowania tekstu. Sygnał 16 kHz przetwarza koder cech z konwolucjami czasowymi o 512 kanałach, szerokościach jąder (10, 3, 3, 3, 3, 2, 2) i krokach (5, 2, 2, 2, 2, 2, 2).

Wyjście ma częstotliwość 50 Hz, a krok między reprezentacjami wynosi 20 ms. Pole recepcyjne obejmuje 400 próbek wejściowych, czyli 25 ms dźwięku. Surowy sygnał normalizowany jest do wariancji jednostkowej i średniej zerowej.

Maskowanie w Base przypomina podejście Baevskiego do samonadzorowanego rozpoznawania mowy. Każdy krok wybierany jest jako początek z prawdopodobieństwem p = 0,065, po czym maskuje się kolejnych dziesięć kroków. W typowej sekwencji maskowanych jest około 49% kroków.

W treningu τ zmieniane jest liniowo przy τo = 0,999, τe = 0,9999 i τn = 30 000. Base używa Adama z maksymalnym współczynnikiem uczenia 5 × 10-4 . Trzyetapowy harmonogram liniowo zwiększa go przez pierwsze 3% aktualizacji, utrzymuje przez kolejne 90% i liniowo zmniejsza w ostatnich 7%.

Przetwarzanie języka naturalnego

Wejście tokenizowane jest kodowaniem par bajtów z 50 000 typami, dla których uczone są embeddingi. Strategię maskowania BERT stosuje się do 15% równomiernie wybranych tokenów: 80% zastępuje uczony token maski, 10% losowy token słownika, a 10% pozostaje bez zmian.

W treningu wstępnym stosuje się τo = 0,999, τe = 0,9999 i τn = 100 000, K = 10 oraz β = 4. Adam ma trzyetapowy harmonogram: liniowa rozgrzewka przez pierwsze 5% aktualizacji, stała wartość przez kolejne 80% i liniowy spadek w ostatnich 15%. Maksymalny współczynnik to 2 × 10-4.

Model trenuje się na 16 GPU z partiami po 256 sekwencji, każda licząca około 512 tokenów. Dla dalszych zadań testuje się cztery współczynniki: 1 × 10-4, 2 × 10-4, 3 × 10-4 i 4 × 10-4. Najlepszy wariant wybiera się do kolejnych zadań NLP.

Wyniki

Przyjrzyjmy się wynikom opisanych strategii dla poszczególnych modalności.

Widzenie komputerowe

Model jest wstępnie trenowany na obrazach ze zbioru ImageNet-1K i dostrajany na oznaczonych danych tego samego testu. Standardowo ocenia się dokładność top-1 na danych walidacyjnych.

Wyniki rozróżnia się według użycia pojedynczego modelu samonadzorowanego, osobnego tokenizera wizualnego trenowanego na dodatkowych danych lub innych metod uczenia samonadzorowanego.

Tabela porównuje wyniki data2vec z istniejącymi rozwiązaniami dla ViT-L i ViT-B.

Wnioski są następujące:

  • data2vec przewyższa wcześniejsze prace z ViT-L i ViT-B w konfiguracji pojedynczego modelu.
  • Przewidywanie kontekstowych reprezentacji ukrytych z zamaskowanego wejścia działa lepiej niż przewidywanie lokalnych celów: zaprojektowanych cech obrazu, pikseli lub tokenów wizualnych.
  • Przewyższa także samodestylację, która regresyjnie przewiduje ostatnią warstwę ucznia z dwóch odmiennie augmentowanych wersji obrazu.

Przetwarzanie dźwięku i mowy

Model trenowany jest na około 960 godzinach dźwięku ze zbioru LibriSpeech (LS-960) . Zawiera on czyste nagrania angielskich audiobooków i jest standardowym benchmarkiem przetwarzania mowy.

Dla różnych zasobów danych model dostrajany jest do rozpoznawania mowy z użyciem od kilku minut do wielu godzin oznaczonych nagrań. Porównuje się go z HuBERT i wav2vec 2.0, popularnymi algorytmami uczenia reprezentacji dźwięku i mowy wykorzystującymi dyskretne jednostki mowy.

Tabela porównuje wyniki rozpoznawania mowy na poziomie słów z innymi modelami. LM oznacza model językowy do dekodowania. Wyniki można podsumować następująco:

  • data2vec poprawia wyniki w większości konfiguracji oznaczonych danych; dla Base największą korzyść daje przy dziesięciu minutach oznaczonych nagrań.
  • Duże modele znacznie lepiej wypadają na małych zbiorach, a porównywalnie na bogatych zbiorach ze 100 lub 960 godzinami oznaczonych danych. Przy tak dużej ilości danych większość modeli zbliża się już do pułapu wyników.
  • Przy bogatych celach kontekstowych uczenie dyskretnych jednostek nie musi być konieczne.
  • Uczenie kontekstowych celów wyraźnie poprawia ogólny wynik.

Podejście sprawdzane jest również na benchmarku AudioSet . Konfiguracja przypomina LibriSpeech, ale stosuje K = 12, ponad 200 000 aktualizacji i 94,5 minuty nagrań na partię.

Dla stabilizacji do celów stosuje się DeepNorm i normalizację warstw . Model dostrajany jest też na zrównoważonych podzbiorach przez 13 000 aktualizacji, z partiami po 21,3 minuty. Wykorzystuje Linear Softmax Pooling i mixup z prawdopodobieństwem 0,7. Następnie dodaje się pojedynczą projekcję liniową na 527 klas dźwięku, a współczynnik uczenia projekcji ustala na 2e-4.

Wstępnie wytrenowane parametry mają współczynnik 3e-5, a w dostrajaniu stosuje się maskowanie. Tabela pokazuje przewagę nad porównywalną konfiguracją z tymi samymi danymi treningu wstępnego i dostrajania.

Przetwarzanie języka naturalnego

Dla tekstu stosuje się konfigurację podobną do BERT . Trening wstępny na angielskiej Wikipedii trwa ponad milion aktualizacji z partiami 256 sekwencji. Ocena wykorzystuje GLUE (General Language Understanding Evaluation) , obejmujący wnioskowanie w języku naturalnym (MNLI, czyli Multi-Genre Natural Language Inference), podobieństwo zdań (QQP, czyli Quora Question Pairs; MRPC, czyli Microsoft (MSFT ) Research Paragraph Corpus; STS-B, czyli Semantic Textual Similarity Benchmark), analizę sentymentu (SST-2, czyli Stanford Sentiment Treebank), oraz poprawność gramatyczną (CoLA).

Każde zadanie dostarcza oznaczonych danych do dostrajania. Raportowana jest średnia dokładność na zbiorach deweloperskich z pięciu uruchomień. Tabela porównuje wyniki NLP z innymi modelami.

  • data2vec przewyższa bazowy RoBERTa; jego strategia nie używa losowych celów.
  • To pierwszy skuteczny wstępnie wytrenowany model NLP bez dyskretnych celów takich jak znaki, słowa lub podwyrazy. Przewiduje kontekstowe reprezentacje ukryte całej niemaskowanej sekwencji tekstu.
  • Zadanie wymaga więc przewidywania celów o właściwościach bieżącej sekwencji zamiast ogólnych reprezentacji każdej jednostki tekstowej.
  • Zestaw celów nie jest stały: model może definiować nowe cele i nie jest przywiązany do ustalonego słownika.

data2vec: badanie ablacyjne

Ablacja oznacza usunięcie komponentu systemu AI lub uczenia maszynowego. Badanie wyników po wyłączeniu ważnych części pozwala określić ich wkład w całość.

Cele uśredniane między warstwami

data2vec wyróżnia wykorzystanie celów będących średnią kilku warstw nauczyciela. Pomysł wynika z obserwacji, że najwyższe warstwy wav2vec 2.0 są mniej przydatne w dalszych zadaniach niż środkowe.

Eksperyment mierzy wyniki trzech modalności przy uśrednianiu K = 1, 2, …, 12 warstw; K = 1 oznacza tylko najwyższą. Dla szybkości używa się Base z dwunastoma warstwami. Dla mowy trening wstępny na LibriSpeech trwa ponad 200 000 aktualizacji, a dostrajanie wykorzystuje dziesięć godzin oznaczonych danych Libri-light. Dla NLP raportuje się średnie GLUE na walidacji. Dla obrazu przeprowadza się 300 epok treningu wstępnego i mierzy top-1 na ImageNet.

Wykres pokazuje, że cele z wielu warstw zwykle poprawiają wyniki względem samej najwyższej warstwy K = 1 we wszystkich modalnościach. Warto wykorzystywać wszystkie warstwy, ponieważ każda buduje inne cechy, które mogą posłużyć jako cele.

Cechy z wielu warstw zwiększają dokładność i wzbogacają uczenie samonadzorowane.

Rodzaj cechy docelowej

Bloki Transformer zawierają kilka warstw mogących służyć jako cele. Ich wpływ sprawdza się, trenując na LibriSpeech modele mowy z różnymi warstwami jako cechami docelowymi.

Wyjście sieci feedforward (FFN) działa dobrze, natomiast wyjścia bloków samouwagi nie prowadzą do użytecznego modelu.

Kontekstualizacja celów

Nauczyciel używa samouwagi nad całym wejściem do tworzenia celów kontekstowych. To odróżnia data2vec od modeli odtwarzających lub przewidujących lokalne części danych. Powstaje pytanie: czy cele kontekstowe są potrzebne do dobrego działania data2vec?

Badacze tworzą cele widzące tylko z góry określoną część wejścia. Samouwaga nauczyciela ograniczana jest do fragmentu otoczenia. Po treningu model dostrajany jest z dostępem do całego kontekstu.

Większy kontekst zwykle poprawia wyniki, a najlepszą dokładność daje pełna widoczność próbki. Potwierdza to, że bogatsze reprezentacje docelowe mogą zapewniać lepsze wyniki.

Ekstrakcja cech i maskowanie specyficzne dla modalności

Celem data2vec jest prosty mechanizm uczenia dla różnych modalności. Współczesne modele mogą mieć wspólny tryb uczenia, ale nadal stosują specyficzne dla modalności maskowanie i ekstrakcję cech.

Specjalizacja jest zrozumiała, bo rodzaje wejścia bardzo się różnią. Rozpoznawanie mowy używa na przykład sygnału wysokiej rozdzielczości, takiego jak 10 kHz z tysiącami próbek. Wielowarstwowa sieć konwolucyjna przekształca go w sekwencję cech 50 Hz.

Cele ustrukturyzowane i kontekstowe

Główną różnicą wobec innych modeli maskowanego przewidywania są kontekstowe cechy celów. Powstają przez samouwagę nad całym zamaskowanym wejściem w trybie nauczyciela.

BYOL (Bootstrap Your Own Latent) i DINO także używają reprezentacji ukrytych, ale skupiają się przede wszystkim na niezmienniczości względem transformacji.

Uwagi końcowe

Niedawne badania pokazują, że wspólna architektura może skutecznie obsługiwać wiele modalności. data2vec stosuje uczenie samonadzorowane dla mowy, obrazu i języka.

Główna idea to regresyjne przewidywanie informacji kontekstowej z częściowego widoku wejścia. Podejście jest skuteczne: pojedyncze ViT-B i ViT-L przewyższają wcześniejsze modele samonadzorowane na ImageNet-1K.

data2vec jest kamieniem milowym, ponieważ pokazuje, że jedna metoda uczenia dla wielu modalności rzeczywiście ułatwia modelom uczenie się z różnych rodzajów danych.

Kunal Kejriwal jest inżynierem backendu specjalizującym się w Pythonie, PostgreSQL, Redis oraz infrastrukturze chmurowej w GCP i AWS. Z trzyletnim doświadczeniem w budowaniu i skalowaniu systemów produkcyjnych pisze o infrastrukturze AI, systemach rozproszonych i architekturze wdrażania obciążeń uczenia maszynowego.