data2vec: Kamień milowy w samouczącym się uczeniu

Modele uczenia maszynowego w dużej mierze opierają się na danych oznaczonych podczas treningu, a tradycyjnie mówiąc, trening modeli na danych oznaczonych daje dokładne wyniki. Jednak główną wadą korzystania z danych oznaczonych jest wysoki koszt adnotacji, który rośnie wraz ze wzrostem rozmiaru danych treningowych. Wysokie koszty adnotacji są dużym utrudnieniem dla deweloperów, zwłaszcza podczas pracy nad dużym projektem z znacznymi ilościami danych treningowych.

Aby rozwiązać problem adnotacji, deweloperzy wprowadzili pojęcie SSL lub Samouczącego się Uczenia. Samouczące się uczenie jest procesem uczenia maszynowego, w którym model uczy się samodzielnie, aby nauczyć się części danych wejściowych z innej części danych wejściowych. Model samouczącego się uczenia ma na celu wykorzystanie relacji między danymi zamiast sygnałów nadzorowanych z oznaczonych danych.

Oprócz samouczącego się uczenia istnieją inne metody i modele do treningu modeli uczenia maszynowego bez użycia danych oznaczonych. Jednak większość tych metod ma dwie główne wady

1. Często są one specjalizowane dla jednej modalności, takiej jak obraz lub tekst.
2. Wymagają one dużej ilości mocy obliczeniowej.

Te ograniczenia są dużym problemem, dlaczego przeciętny ludzki umysł jest w stanie uczyć się z jednego typu danych znacznie skuteczniej w porównaniu z modelem AI, który polega na oddzielnych modelach i danych treningowych, aby odróżnić obraz, tekst i mowę.

Aby rozwiązać problem jednej modalności, Meta AI wydało data2vec, pierwszy w swoim rodzaju, samouczący się algorytm o wysokiej wydajności, aby nauczyć się informacji o wzorach z trzech różnych modalności: obrazu, tekstu i mowy. Z implementacją algorytmu data2vec, zrozumienie tekstu może być stosowane do problemu segmentacji obrazu lub może być również wdrożone w zadaniu rozpoznawania mowy.

W tym artykule będziemy omawiać model data2vec w szczegółach. Omówimy przegląd metody, powiązane prace, architekturę i wyniki modelu, abyście mieli jasne zrozumienie algorytmu data2vec.

Wprowadzenie do data2vec: Podstawowa Idea

Chociaż podstawowa koncepcja samouczącego się uczenia jest stosowana w różnych modalnościach, rzeczywiste cele i algorytmy różnią się od siebie, ponieważ zostały zaprojektowane z uwzględnieniem jednej modalności. Projektowanie modelu dla jednej modalności jest powodem, dla którego ten sam algorytm samouczącego się uczenia nie może działać skutecznie w różnych rodzajach danych treningowych.

Aby pokonać wyzwanie przedstawione przez modele i algorytmy jednej modalności, Meta AI wydało data2vec, algorytm, który używa tej samej metody uczenia dla komputerowego widzenia, NLP lub mowy.

Podstawowa idea za algorytmem data2vec polega na użyciu maskowanego widoku danych wejściowych do przewidzenia latentnych reprezentacji pełnych danych wejściowych w samowyodrębnieniu z pomocą standardowej architektury Transformer. Zatem, zamiast modalności-specyficznych obiektów, takich jak obrazy, tekst lub głos, które są lokalne, algorytm data2vec przewiduje latentne reprezentacje z informacjami z całych danych treningowych.

Dlaczego Przemysł AI Potrzebuje Algorytmu Data2Vec?

Modele samouczącego się uczenia budują reprezentacje danych treningowych za pomocą adnotacji ludzkich, i jest to jeden z głównych powodów postępu technologie NLP i komputerowego widzenia. Te reprezentacje samouczącego się uczenia są powodem, dla którego zadania takie jak rozpoznawanie mowy i uczenie maszynowe wykorzystują nienadzorowane uczenie w swoich modelach.

Do tej pory te algorytmy samouczącego się uczenia koncentrują się na indywidualnych modalnościach, co skutkuje uczeniem się skuteczniejszym w jednej modalności, ale mniej skutecznym w innych. Indywidualna modalność algorytmów samouczącego się uczenia tworzy wyzwania w różnych aplikacjach AI, w tym komputerowym widzeniu i NLP.

Na przykład, istnieje słownictwo jednostek mowy w przetwarzaniu mowy, które może zdefiniować zadanie samouczącego się uczenia w NLP. Podobnie, w komputerowym widzeniu, deweloperzy mogą regresować dane wejściowe, uczyć dyskretne tokeny wizualne lub uczyć reprezentacje niezależne od augmentacji danych. Chociaż te skłonności są przydatne, trudno potwierdzić, czy te skłonności będą ogólnie stosowane w innych modalnościach.

Algorytm data2vec jest kamieniem milowym w przemyśle samouczącego się uczenia, ponieważ ma na celu poprawę wielu modalności, a nie tylko jednej. Ponadto, algorytm data2vec nie opiera się na odtwarzaniu danych wejściowych lub nienadzorowanym uczeniu.

Dlatego algorytm data2vec ma potencjał przyspieszenia postępu w AI i przyczynienia się do rozwoju modeli AI, które mogą uczyć się o różnych aspektach swojego otoczenia bezproblemowo. Naukowcy mają nadzieję, że algorytm data2vec pozwoli im na rozwój bardziej adaptowalnych modeli AI i ML, które będą w stanie wykonywać zaawansowane zadania poza tym, co mogą zrobić dzisiejsze modele AI.

Czym Jest Algorytm Data2Vec?

Data2vec to ujednolicony framework, który ma na celu wdrożenie samouczącego się uczenia maszynowego w różnych modalnościach danych, w tym obrazach, mowie i tekście.

Algorytm data2vec ma na celu rozwój modeli ML, które mogą nauczyć się ogólnych wzorów w środowisku znacznie lepiej, utrzymując cel uczenia jednolity w różnych modalnościach. Model data2vec ujednolica algorytm uczenia, ale nadal uczy reprezentacji dla każdej modalności indywidualnie.

Z wprowadzeniem algorytmu data2vec, Meta AI ma nadzieję, że ułatwi multimodalne uczenie i uczyni je znacznie prostszym.

Jak Działa Algorytm Data2Vec?

Algorytm data2vec łączy się z uczeniem latentnych reprezentacji z przewidywaniem maskowanym, chociaż używa wielu warstw sieci jako celów, aby uogólnić latentne reprezentacje. Model szkoli standardową sieć Transformer, która jest następnie używana w trybie nauczyciela lub ucznia.

W trybie nauczyciela, model najpierw tworzy reprezentacje danych wejściowych, które służą jako cele w zadaniu uczenia. W trybie ucznia, model koduje maskowaną wersję danych wejściowych, która jest następnie używana do przewidywania pełnych reprezentacji danych.

Powyższy obraz reprezentuje, jak model data2vec używa tego samego procesu uczenia dla różnych modalności. W pierwszym kroku, model tworzy reprezentacje danych wejściowych (tryb nauczyciela). Następnie model regresuje te reprezentacje na podstawie maskowanej wersji danych wejściowych.

Ponadto, ponieważ algorytm data2vec używa latentnych reprezentacji danych wejściowych, może być postrzegany jako uproszczona wersja modalności-specyficznych projektów, takich jak tworzenie odpowiednich celów przez normalizację danych wejściowych lub uczenie ustalonego zbioru tokenów wizualnych. Ale kluczowa różnica między data2vec a innymi algorytmami polega na tym, że algorytm data2vec używa samouwagi, aby uczynić swoją reprezentację celu kontekstualizowaną i ciągłą. Z drugiej strony, inne modele samouczącego się uczenia używają ustalonego zbioru celów opartych na lokalnym kontekście.

Metoda Modelu Data2Vec

Model data2vec jest szkoleniowy przez przewidywanie reprezentacji modelu danych wejściowych na podstawie częściowego widoku danych wejściowych. Jak widać na powyższym obrazie, twarz psa jest maskowana, określony fragment notatki głosowej jest maskowany, a słowo “z” jest maskowane w tekście.

Model najpierw koduje maskowaną wersję próbki treningowej (tryb ucznia), a następnie koduje niezmaskowaną wersję danych wejściowych, aby utworzyć cele treningowe z tym samym modelem, ale tylko wtedy, gdy jest on parametryzowany jako średnia wykładnicza wag modelu (tryb nauczyciela). Ponadto, reprezentacje celów kodują informacje zawarte w próbce treningowej, a w trybie ucznia, zadanie uczenia jest używane do przewidywania tych reprezentacji, gdy jest podana częściowa wersja danych wejściowych.

Architektura Modelu

Model data2vec używa standardowej architektury Transformer z modalności-specyficznym kodowaniem danych wejściowych. Dla zadań związanych z komputerowym widzeniem, model używa strategii ViT do kodowania obrazu jako sekwencji patchów, z których każdy obraz obejmuje 16×16 pikseli, i podaje ją jako liniową transformację.

Ponadto, dla danych rozpoznawania mowy, model koduje dane za pomocą wielowarstwowej sieci neuronowej z 512 kanałami, szerokościami jądra (10,3,3,3,3,2,2) i skokami (5,2,2,2,2,2,2). Wynikający z tego jest częstotliwość wyjściowa kodera wynosząca 50 Hz, a skok między każdą próbką wynosi 20 ms. Pole receptywnego obejmuje 400 próbek wejściowych lub 25 ms dźwięku.

Powyższe wyniki pokazują, że model jest bardziej wydajny i dokładny, gdy dzieli parametry kodera cech i kodera pozycyjnego między trybem nauczyciela i ucznia.

Maska

Po zakodowaniu danych wejściowych jako sekwencji tokenów, model maskuje części tych jednostek, zastępując je tokenem maski, a następnie podaje sekwencję do sieci Transformer. Dla komputerowego widzenia, model praktykuje strategię maskowania blokowego. Latentne reprezentacje mowy są używane do maskowania przedziałów danych mowy, a dla zadań związanych z językiem, tokeny są maskowane.

Cele Treningowe

Model data2vec ma na celu przewidywanie reprezentacji modelu niezmaskowanej próbki treningowej na podstawie kodowania maskowanej próbki, która została wcześniej podana do modelu. Model przewiduje reprezentacje tylko dla maskowanych kroków czasowych.

Model przewiduje kontekstualizowane reprezentacje, które nie tylko kodują konkretny krok czasowy, ale także kodują inne informacje z próbki, ponieważ używa samouwagi w sieci Transformer. Kontekstualizowane reprezentacje i użycie sieci Transformer to to, co odróżnia model data2vec od już istniejących modeli BERT, wav2vec, BEiT, SimMIM, MAE i MaskFeat, które przewidują cele bez kontekstualnej informacji.

Oto, jak model data2vec parametryzuje tryb nauczyciela, aby przewidywać reprezentacje sieci, które służą jako cele.

Parametryzacja Nauczyciela

Model data2vec parametryzuje kodowanie niezmaskowanej próbki treningowej za pomocą EMA (średniej wykładniczej) wag modelu (θ), gdzie wagi modelu w trybie celu (△) są następujące

                                           ∆ ← τ∆ + (1 − τ ) θ

Ponadto, model zaplanuje τ, który liniowo zwiększa parametr z τ0 do τe (wartość docelowa) w ciągu pierwszych τn aktualizacji. Po tych aktualizacjach model utrzymuje wartość stałą, aż do zakończenia treningu. Użycie strategii EMA aktualizuje nauczyciela znacznie częściej na początku, gdy trening zaczyna się, gdy model jest losowy. Gdy trening postępuje i dobre parametry są nauczone, nauczyciel jest aktualizowany mniej często.

Wyniki pokazują, że model jest bardziej wydajny i dokładny, gdy dzieli parametry kodera cech i kodera pozycyjnego między trybem nauczyciela i ucznia.

Cele

Konstrukcja celów treningowych zależy od wyjścia górnych K bloków sieci nauczyciela dla kroków czasowych, które są maskowane w trybie ucznia. Wyjście bloku l w dowolnym kroku czasowym t jest oznaczone jako a l t. Następnie model stosuje normalizację do każdego bloku, aby uzyskać a l t przed tym, jak średnio waży górne K bloki 

aby uzyskać cel treningowy y t dla kroku czasowego t dla sieci z L blokami w sumie. 

Tworzy cele treningowe, które model regresuje, gdy jest w trybie ucznia. W początkowych eksperymentach, model data2vec działał dobrze, przewidując każdy blok oddzielnie z dedykowaną projekcją, i był znacznie bardziej wydajny w tym samym czasie. 

Ponadto, normalizacja celów pozwala modelowi data2vec uniknąć zapadnięcia się w stałe reprezentacje dla kroków czasowych i zapobiega dominowaniu cech w zbiorze danych celów przez warstwy z wysoką normalizacją. Dla rozpoznawania mowy, model używa normalizacji instancyjnej nad bieżącą próbką wejściową bez żadnych nauczonych parametrów. Jest to głównie dlatego, że ponieważ skok nad danymi wejściowymi jest mały, sąsiednie reprezentacje są silnie skorelowane.

Dodatkowo, badacze stwierdzili, że podczas pracy z komputerowym widzeniem i NLP, normalizacja bezparametryczna robi wystarczająco dobrą robotę. Problem można również rozwiązać za pomocą regularizacji Variancji-Niezmienności-Kowariancji, ale powyższa strategia działa wystarczająco dobrze i nie wymaga dodatkowych parametrów.

Cel

Dla kontekstualizowanych celów treningowych y t, model używa stratified L1 straty, aby regresować cele, jak podano poniżej

Oto, gdzie β kontroluje przejście od straty kwadratowej do straty L1, i zależy głównie od rozmiaru lukę między przewidywaniem modelu f t(x) w kroku czasowym t. Zaletą tej straty jest to, że jest porównywalnie mniej wrażliwa na outsiders, z potrzebą dostosowania ustawienia β.