Cercetarea Google identifică un blocaj în abordările hyperscale pentru IA

O nouă lucrare de cercetare de la Google Research indică faptul că tendința actuală de a crea seturi de date de foarte mare volum poate fi contraproductivă pentru dezvoltarea de sisteme de inteligență artificială eficiente. În realitate, cercetarea arată că produsele de învățare automată mai bune pot apărea prin antrenarea pe seturi de date mai puțin precise (adică tehnic “mai slabe”).

Dacă principiile obținute de cercetători sunt valabile, aceasta înseamnă că seturile de date “hyperscale” cum ar fi recent lansat LAION-400M (care conține 400 de milioane de perechi text/imagină), și datele din spatele motorului de limbaj neural GPT-3 (care conține 175 de miliarde de parametri), sunt potențial supuse unui fel de “limită termică” în arhitecturile și metodologiile tradiționale și populare de învățare automată, în care volumul uriaș de date “saturează” aplicațiile downstream și împiedică generalizarea într-un mod util.

Cercetătorii propun, de asemenea, metode alternative pentru a reevalua arhitectura setului de date hyperscale, pentru a corecta dezechilibrul.

Lucrarea afirmă:

‘Delving deeper to understand the reasons that give rise to these phenomena, we show that the saturation behavior we observe is closely related to the way that representations evolve through the layers of the models. We showcase an even more extreme scenario where performance on upstream and downstream are at odds with each other. That is, to have a better downstream performance, we need to hurt upstream accuracy.’

Studiul este intitulat Exploring the Limits of Large Scale Pre-training și provine de la patru autori de la Google Research.

Investigarea ‘saturării’

Autorii contestă ipotezele predominante ale relațiilor dintre date și învățare automată în era datelor hyperscale: faptul că scalarea modelului și a dimensiunii datelor îmbunătățește semnificativ performanța (o credință care a fost consolidată în hype-ul din jurul GPT-3 de la lansare); și că această îmbunătățire a performanței “trece” la sarcinile downstream într-un mod liniar (adică de dorit), astfel încât algoritmii de pe dispozitiv care sunt lansați în cele din urmă pe piață, derivați din seturile de date uriașe și din modelele antrenate nedistilate, beneficiază în totalitate de insight-urile arhitecturilor upstream de dimensiuni complete.

‘Aceste puncte de vedere,’ notează cercetătorii ‘sugerează că cheltuirea de resurse de calcul și efort de cercetare pentru îmbunătățirea performanței pe un corpus uriaș ar fi rentabil, deoarece ar permite să rezolvăm multe sarcini downstream aproape gratuit.’

Dar lucrarea susține că lipsa de resurse de calcul și metodele “economice” de evaluare a modelului sunt factori care contribuie la o impresie falsă asupra dinamicii relației dintre volumul de date și sistemele de inteligență artificială utile. Autorii identifică această obișnuință ca “o lipsă majoră”, deoarece comunitatea de cercetare presupune în mod obișnuit că rezultatele locale (pozitive) se vor traduce în implementări utile ulterioare:

‘[Din cauza] limitărilor de calcul, performanța pentru diferite alegeri de valori de hiperparametri nu este raportată. Graficele de scalare par mai favorabile dacă hiperparametrul ales pentru fiecare scară este fix sau determinat de o funcție de scalare simplă.’

Cercetătorii afirmă, de asemenea, că multe studii de scalare sunt măsurate nu împotriva unor scări absolute, ci ca îmbunătățiri incrementale față de stadiul actual al tehnologiei (SotA), observând că “nu există niciun motiv, a priori, pentru ca scalarea să se mențină în afara intervalului studiat”.

Pre-antrenarea

Lucrarea abordează practica “pre-antrenării”, o măsură destinată să salveze resursele de calcul și să reducă timpul necesar pentru antrenarea unui model pe date de mare volum de la zero. Seturile de date pre-antrenate gestionează “ABC-urile” modului în care datele dintr-un anumit domeniu vor deveni generalizate în timpul antrenării și sunt utilizate în mod obișnuit în diverse sectoare și specialități de învățare automată, de la Procesarea Limbajului Natural (NLP) la deepfakes.

Cercetările academice anterioare au arătat că pre-antrenarea poate îmbunătăți semnificativ robustețea și acuratețea modelului, dar noua lucrare sugerează că complexitatea caracteristicilor, chiar și în șabloanele pre-antrenate relativ scurte, ar putea fi de mai mare beneficiu dacă ar fi transferate mai târziu în procesul de pipeline.

Cu toate acestea, acest lucru nu poate apărea dacă cercetătorii continuă să se bazeze pe modele pre-antrenate care utilizează practica curentă de aplicare a ratelor de învățare, care, conform cercetării, poate afecta semnificativ acuratețea finală a aplicațiilor finale. În acest sens, autorii notează că “nu se poate spera să se găsească un singur punct de referință pre-antrenat care să performeze bine pe toate sarcinile downstream posibile”.

Studiul

Pentru a stabili efectul de saturație, autorii au efectuat 4800 de experimente pe Transformatori de Viziune, Rețele Neuronale ResNets și MLP-Mixers, fiecare cu un număr variabil de parametri, de la 10 milioane la 10 miliarde, toate antrenate pe seturile de date de cel mai mare volum disponibile în sectoarele respective, inclusiv ImageNet21K și JFT-300M al Google.

Rezultatele, conform lucrării, arată că diversitatea datelor ar trebui să fie considerată ca o axă suplimentară atunci când se încearcă “scalarea” datelor, parametrilor modelului și timpului de calcul. Așa cum stau lucrurile, concentrarea puternică a resurselor de antrenare (și a atenției cercetătorilor) asupra secțiunii upstream a pipeline-ului de IA este, în esență, bombardarea aplicațiilor downstream cu o avalanșă de parametri până la un punct de “saturație”, reducând capacitatea algoritmilor implementați de a naviga prin caracteristici și de a efectua inferențe sau transformări.

Lucrarea concluzionează:

‘Prin intermediul unui studiu extins, stabilim că, pe măsură ce îmbunătățim performanța sarcinii upstream, fie prin scalare, fie prin alegeri de hiperparametri și arhitectură, performanța sarcinilor downstream prezintă un comportament de saturație. În plus, oferim dovezi empirice puternice că, contrar narativului comun, scalarea nu conduce la o soluție care se potrivește tuturor.’