Google Research Identificeert een Flessenhals in Hyperschaalbenaderingen voor AI

Een nieuw artikel van Google Research geeft aan dat de huidige trend naar het creëren van zeer grote datasets mogelijk contraproductief is voor het ontwikkelen van effectieve kunstmatige intelligentiesystemen. In feite geeft het onderzoek aan dat betere machine learning-producten mogelijk ontstaan door training op minder accurate (d.w.z. technisch ‘slechtere’) datasets.

Als de principes die door de onderzoekers zijn verkregen, geldig zijn, betekent dit dat ‘hyperschaal’ datasets zoals de onlangs uitgebrachte LAION-400M (die 400 miljoen tekst/afbeeldingparen bevat), en de data achter de GPT-3 neurale taalengine (die 175 miljard parameters bevat), mogelijk onderhevig zijn aan een soort ‘thermische limiet’ in traditionele en populaire machine learning-architecturen en -methodologieën, waarbij de enorme hoeveelheid data ‘verzadiging’ van downstream-toepassingen veroorzaakt en voorkomt dat ze op een nuttige manier generaliseren.

De onderzoekers stellen ook alternatieve methoden voor om de architectuur van hyperschaal datasets te heroverwegen, om het onevenwicht te verhelpen.

Het artikel zegt:

‘Door dieper te graven om de redenen te begrijpen die deze fenomenen veroorzaken, laten we zien dat het verzadigingsgedrag dat we observeren nauw verwant is met de manier waarop representaties evolueren door de lagen van de modellen heen. We laten een nog extremer scenario zien waarin de prestaties op upstream en downstream met elkaar in conflict zijn. Dat wil zeggen, om een betere downstream-prestatie te hebben, moeten we de upstream-accuraatheid schaden.’

De studie heet Exploring the Limits of Large Scale Pre-training en komt van vier auteurs bij Google Research.

Verzadiging onderzoeken

De auteurs betwisten de heersende aannames over machine learning-data-relaties in de hyperschaaldataleeftijd: dat het schalen van modellen en gegevensgrootte de prestaties aanzienlijk verbetert (een overtuiging die is verankerd in de hype rond GPT-3 sinds de lancering); en dat deze verbeterde prestatie ‘doorloopt’ naar downstream-taken op een lineaire (d.w.z. wenselijke) manier, zodat de algoritmen die uiteindelijk op apparaten worden gelanceerd, afgeleid van de anders onbeheersbaar grote datasets en ongedistilleerde getrainde modellen, volledig profiteren van de inzichten van de volledige, upstream-architecturen.

‘Deze meningen,’ merken de onderzoekers op ‘geven aan dat het besteden van rekenkracht en onderzoeksinspanningen aan het verbeteren van de prestaties op één enorm corpus zou lonen, omdat dit ons in staat zou stellen om veel downstream-taken bijna gratis op te lossen.’

Maar het artikel stelt dat een gebrek aan rekenbronnen en de daaropvolgende ‘economische’ methoden van modelbeoordeling bijdragen aan een vals beeld van de relatie tussen gegevensvolume en nuttige AI-systemen. De auteurs identificeren deze gewoonte als ‘een groot tekortkoming’, aangezien de onderzoekscommunity doorgaans aanneemt dat lokale (positieve) resultaten zullen vertalen naar nuttige latere implementaties:

‘[Vanwege] rekenbeperkingen wordt de prestatie voor verschillende keuzes van hyperparameterwaarden niet gerapporteerd. Schaalplots lijken gunstiger als de hyperparameter die voor elke schaal is gekozen, vast is of wordt bepaald door een eenvoudige schaalfunctie.’

De onderzoekers stellen verder dat veel schaallestudies niet worden gemeten tegen absolute schalen, maar als incrementele verbeteringen ten opzichte van de stand van de techniek (SotA), waarbij wordt opgemerkt dat ‘er geen reden is, a priori, voor de schaling om buiten het bestudeerde bereik te houden’.

Pre-training

Het artikel behandelt de praktijk van ‘pre-training’, een maatregel ontworpen om rekenbronnen te besparen en de vaak verschrikkelijke tijdschalen te verkorten die nodig zijn om een model te trainen op grote schaaldata vanaf nul. Pre-trainingssnapshots behandelen de ‘ABC’s’ van de manier waarop data binnen één domein zal worden gegeneraliseerd tijdens de training, en worden algemeen gebruikt in een verscheidenheid aan machine learning-sectoren en -specialiteiten, van Natural Language Processing (NLP) tot deepfakes.

Eerder academisch onderzoek heeft aangetoond dat pre-training de robuustheid en nauwkeurigheid van modellen aanzienlijk kan verbeteren, maar het nieuwe artikel suggereert dat de complexiteit van functies, zelfs in relatief kort getrainde pre-trainingssjablonen, mogelijk meer voordeel kan opleveren als deze later in de pijplijn worden doorgegeven.

Echter, dit kan niet gebeuren als onderzoekers blijven vertrouwen op pre-getrainde modellen die de huidige beste praktijken voor de toepassing van leerpercentages gebruiken, die, zoals het onderzoek concludeert, de uiteindelijke nauwkeurigheid van de eindtoepassingen van het werk aanzienlijk kunnen beïnvloeden. In dit opzicht merken de auteurs op dat ‘men niet kan hopen één pre-getraind controlepunt te vinden dat goed presteert op alle mogelijke downstream-taken’.

De studie

Om het verzadigingseffect vast te stellen, voerden de auteurs 4800 experimenten uit op Vision Transformers, ResNets en MLP-Mixers, elk met een variabel aantal parameters, van 10 miljoen tot 10 miljard, allemaal getraind op de hoogste-volumedatasets die beschikbaar zijn in de respectieve sectoren, waaronder ImageNet21K en Google’s eigen JFT-300M.

De resultaten, zo beweert het artikel, laten zien dat gegevensdiversiteit moet worden overwogen als een extra as wanneer men probeert ‘op te schalen’ data, modelparameters en rekentijd. Zoals het er nu voor staat, is de zware concentratie van trainingsbronnen (en onderzoekerachtige aandacht) op het upstream-gedeelte van een AI-pijplijn effectief het bombarderen van downstream-toepassingen met een lawine van parameters tot een punt van ‘verzadiging’, waardoor de mogelijkheid van geïmplementeerde algoritmen om door functies te navigeren en inferentie of transformaties uit te voeren, wordt verlaagd.

Het artikel concludeert:

‘Door een uitgebreide studie stellen we vast dat als we de prestaties van de upstream-taak verbeteren, hetzij door op te schalen of door hyperparameter- en architectuurkeuzes, de prestaties van downstream-taken een verzadigend gedrag vertonen. Bovendien bieden we sterke empirische bewijzen dat, in tegenstelling tot het gebruikelijke verhaal, schalen niet leidt tot een one-size-fits-all-oplossing.’