Badania Google wykazały wąskie gardło w podejściach do sztucznej inteligencji w skali hiperskali

Nowy artykuł opublikowany przez Google Research wskazuje, że obecny trend tworzenia bardzo dużych zbiorów danych może być szkodliwy dla rozwoju skutecznych systemów sztucznej inteligencji. W rzeczywistości badania wskazują, że lepsze produkty machine learning mogą powstać dzięki szkoleniu na mniejszych, mniej dokładnych zbiorach danych.

Jeśli założenia badaczy są słuszne, oznacza to, że “hiperskalowe” zbiory danych, takie jak niedawno opublikowany LAION-400M (który zawiera 400 milionów par tekstowych i obrazowych), oraz dane za GPT-3 (które zawierają 175 miliardów parametrów), mogą być podatne na rodzaj “termicznego limitu” w tradycyjnych i popularnych architekturach oraz metodach machine learning, gdzie ogromna ilość danych “nasycuje” aplikacje downstream i uniemożliwia im generalizację w sposób użyteczny.

Badacze proponują również alternatywne metody ponownego rozważenia architektury zbiorów danych w skali hiperskali, aby naprawić niedobór.

W artykule stwierdza się:

‘Głębiej badając przyczyny tych zjawisk, pokazujemy, że zachowanie nasycenia, które obserwujemy, jest ściśle związane z tym, jak reprezentacje ewoluują w warstwach modeli. Prezentujemy nawet bardziej ekstremalny scenariusz, w którym wyniki górne i dolne są ze sobą w konflikcie. Innymi słowy, aby uzyskać lepsze wyniki dolne, musimy pogorszyć dokładność górnych.’

Badanie tutaj nosi tytuł Exploring the Limits of Large Scale Pre-training i pochodzi od czterech autorów z Google Research.

Badanie ‘nasycenia’

Autorzy kwestionują dominujące założenia dotyczące relacji między danymi a maszynami w erze danych hiperskali: że zwiększanie rozmiaru modeli i ilości danych znacznie poprawia wyniki (przekonanie, które zostało utrwalone w związku z GPT-3); oraz że ta poprawa wyników “przechodzi” do zadań dolnych w sposób liniowy (tj. pożądany), tak aby algorytmy uruchamiane na urządzeniach, które są ostatecznie wdrażane na rynek, pochodzące z ogromnych zbiorów danych i niesprężonych modeli, korzystają w pełni z wglądu w pełnowymiarowe architektury górne.

‘Te poglądy,’ zauważają badacze ‘sugerują, że poświęcanie czasu i wysiłku na poprawę wyników na jednym ogromnym korpusie przyniosłoby korzyści, ponieważ umożliwiłoby nam rozwiązać wiele zadań dolnych prawie za darmo.’

Jednak artykuł utrzymuje, że brak zasobów obliczeniowych i następujące po nich “ekonomiczne” metody oceny modeli przyczyniają się do fałszywego wrażenia dynamiki relacji między ilością danych a użytecznymi systemami sztucznej inteligencji. Autorzy identyfikują ten nawyk jako “znaczącą wadę”, ponieważ społeczność badawcza zwykle zakłada, że wyniki lokalne (pozytywne) przekładają się na użyteczne późniejsze wdrożenia:

‘[Ze] względu na ograniczenia obliczeniowe, wyniki dla różnych wyborów wartości hiperparametrów nie są raportowane. Wykresy skalowania wydają się bardziej korzystne, jeśli hiperparametr wybrany dla każdej skali jest ustalony lub określony przez prostą funkcję skalowania.’

Badacze stwierdzają ponadto, że wiele badań nad skalowaniem jest mierzone nie w stosunku do absolutnych skal, ale jako przyrostowe poprawy w stosunku do stanu sztuki (SotA), obserwując, że “nie ma powodu, a priori, aby skalowanie odbywało się poza badanym zakresem”.

Wstępne szkolenie

Artykuł zajmuje się praktyką “wstępnego szkolenia”, środka zaprojektowanego w celu zaoszczędzenia zasobów obliczeniowych i skrócenia czasu potrzebnego do szkolenia modelu na danych w skali hiperskali od zera. Migawki wstępnego szkolenia obsługują “ABC” sposobu, w jaki dane w obrębie jednego domeny staną się uogólnione podczas szkolenia, i są powszechnie stosowane w różnych sektorach i specjalnościach machine learning, od przetwarzania języka naturalnego (NLP) po deepfakes.

Poprzednie badania akademickie wykazały, że wstępne szkolenie może znacznie poprawić wytrzymałość i dokładność modelu, ale nowy artykuł sugeruje, że złożoność cech, nawet w stosunkowo krótkich szablonach wstępnego szkolenia, mogłaby być bardziej korzystna, gdyby została przesunięta w dół do późniejszych procesów w potoku.

Jednak nie może to nastąpić, jeśli badacze nadal polegają na wstępnie wytrenowanych modelach, które stosują obecnie najlepsze praktyki w zakresie stawek uczenia, które, jak stwierdza badanie, mogą znacznie wpłynąć na ostateczną dokładność końcowych zastosowań pracy. W tym zakresie autorzy zauważają, że “nie można liczyć na znalezienie jednego punktu kontrolnego wstępnego szkolenia, który działałby dobrze we wszystkich możliwych zadaniach dolnych”.

Badanie

Aby ustalić efekt nasycenia, autorzy przeprowadzili 4800 eksperymentów na Vision Transformers, ResNets i MLP-Mixers, każdy z różną liczbą parametrów, od 10 milionów do 10 miliardów, wszystkie wytrenowane na największych zbiorach danych dostępnych w odpowiednich sektorach, w tym ImageNet21K i JFT-300M od Google.

Wyniki, jak twierdzi artykuł, wskazują, że rozmaitość danych powinna być brana pod uwagę jako dodatkowa oś przy próbach “skalowania” danych, parametrów modelu i czasu obliczeniowego. Jak jest teraz, ciężka koncentracja zasobów obliczeniowych (i uwagi badaczy) na sekcji górnej potoku sztucznej inteligencji skutecznie zalewa aplikacje dolne lawiną parametrów do punktu “nasycenia”, obniżając zdolność wdrożonych algorytmów do nawigowania przez cechy i wykonania inferencji lub przekształceń.

Artykuł kończy się następująco:

‘Przez obszerną analizę ustalamy, że wraz ze wzrostem wyników zadania górne, zarówno przez skalowanie w górę, jak i wybór hiperparametrów i architektury, wyniki zadań dolnych wykazują zachowanie nasycenia. Ponadto dostarczamy silne dowody empiryczne, że, wbrew powszechnemu narracji, skalowanie nie prowadzi do rozwiązania “jednego modelu na wszystko”.’