Google Research Identifikuje Úzké Místo v Hyperscale Přístupech k AI

Nová studie od Google Research naznačuje, že současný trend směrem k vytváření velmi rozsáhlých datových sad může být kontraproduktivní pro vývoj efektivní umělé inteligence. Ve skutečnosti výzkum ukazuje, že lepší produkty strojového učení mohou vzniknout z trénování na méně přesných (tj. technicky “horších”) datech.

Pokud jsou principy získané výzkumníky platné, znamená to, že “hyperscale” datové sady, jako je nedávno uvolněná LAION-400M (která obsahuje 400 milionů textových a obrazových párů) a data za neuronovým jazykovým motorem GPT-3 (obsahujícím 175 miliard parametrů), jsou potenciálně podrobeny某种 “tepelné hranice” v tradičních a populárních architekturách a metodách strojového učení, kdy samotný objem dat “saturuje” aplikace a brání jim v generalizaci užitečným způsobem.

Výzkumníci také navrhují alternativní metody pro přehodnocení architektury hyperscale datových sad, aby se vyrovnala nerovnováha.

Studie uvádí:

‘Delving deeper to understand the reasons that give rise to these phenomena, we show that the saturation behavior we observe is closely related to the way that representations evolve through the layers of the models. We showcase an even more extreme scenario where performance on upstream and downstream are at odds with each other. That is, to have a better downstream performance, we need to hurt upstream accuracy.’

Studie s názvem Exploring the Limits of Large Scale Pre-training pochází od čtyř autorů z Google Research.

Vyšetřování ‘Saturation’

Autoři zpochybňují převládající předpoklady vztahů mezi strojovým učením a daty v éře hyperscale dat: že škálování modelů a velikosti dat významně zlepšuje výkon (víra, která se upevnila v hype kolem GPT-3 od jeho spuštění); a že tento zlepšený výkon “projde” do downstream úkolů lineárním (tj. žádoucím) způsobem, takže algoritmy, které jsou nakonec spuštěny na trhu, odvozené z jinak nekontrolovatelně velkých datových sad a nedestilovaných trénovaných modelů,pletely bénéficují z poznatků plnohodnotných, upstream architektur.

‘Tyto názory,’ výzkumníci poznamenají ‘naznačují, že vynaložení výpočetních zdrojů a výzkumného úsilí na zlepšení výkonu na jedné obrovské korpus by se vyplatilo, protože by nám to umožnilo řešit mnoho downstream úkolů téměř zdarma.’

Ale studie tvrdí, že nedostatek výpočetních zdrojů a následné “ekonomické” metody hodnocení modelů přispívají k falešnému dojmu o dynamice vztahů mezi objemem dat a užitečnými systémy AI. Autoři identifikují tuto praxi jako “závažnou vadu”, neboť výzkumná komunita obecně předpokládá, že lokální (pozitivní) výsledky se přenesou do užitečných pozdějších implementací:

‘[Due] to compute limitations, performance for different choices of hyper-parameter values is not reported. Scaling plots seem more favorable if the hyper-parameter chosen for each scale is fixed or determined by a simple scaling function.’

Výzkumníci dále uvádějí, že mnoho škálovacích studií je měřeno ne proti absolutním škálám, ale jako incrementální zlepšení proti stavu umění (SotA), přičemž “není žádný důvod, a priori, pro škálování, aby drželo mimo studovaný rozsah”.

Předtrénování

Studie se zabývá praxí “předtrénování”, která je navržena tak, aby šetřila výpočetní zdroje a zkrátila často hrozivé časové rámce potřebné k trénování modelu na velkém množství dat od nuly. Předtrénované snímky zpracovávají “ABC” toho, jak data v jednom doméně budou generalizována během trénování, a jsou běžně používány v různých sektorech a specializacích strojového učení, od zpracování přirozeného jazyka (NLP) až po deepfakes.

Předchozí akademický výzkum nalézá, že předtrénování může výrazně zlepšit odolnost a přesnost modelu, ale nová studie naznačuje, že složitost funkcí, i v relativně krátkém trénování předtrénovaných šablon, by mohla být výhodnější, kdyby byla posunuta dolů po řadě později procesů.

Ale to nemůže nastat, pokud výzkumníci budou i nadále záviset na předtrénovaných modelech, které používají současné nejlepší postupy v aplikaci učících se rychlostí, které, dle závěru výzkumu, mohou výrazně ovlivnit konečnou přesnost konečných aplikací práce. V tomto ohledu autoři poznamenávají, že “nelze doufat, že najdeme jeden předtrénovaný kontrolní bod, který funguje dobře na všech možných downstream úkolech”.

Studie

Aby bylo možné stanovit efekt saturace, autoři provedli 4800 experimentů na Vision Transformerech, ResNetech a MLP-Mixerech, každém s různým počtem parametrů, od 10 milionů do 10 miliard, všechny trénované na nejvyšších objemech dat dostupných v příslušných sektorech, včetně ImageNet21K a Googleova vlastního JFT-300M.

Výsledky, dle tvrzení studie, ukazují, že diverzita dat by měla být považována za další osu, když se pokusíme “škálovat” data, modelové parametry a výpočetní čas. Jak tomu je, taková koncentrace trénovacích zdrojů (a pozornosti výzkumníků) na upstream sekci AI potrubí efektivní saturuje downstream aplikace s parametry až do bodu “saturace”, snižuje schopnost nasazených algoritmů procházet funkcemi a provádět inferenci nebo efektivní transformace.

Studie uzavírá:

‘Through an extensive study, we establish that as we improve the performance of the upstream task either by scaling up or hyper-parameter and architectural choices, the performance of downstream tasks shows a saturating behaviour. In addition, we provide strong empirical evidence that, contrary to the common narrative, scaling does not lead to a one-model-fits-all solution.’