Onderzoekers ontdekken zeer efficiënte subnetwerken binnen diepe neurale netwerken

Diepe neurale netwerken zijn vaak enorm en vereisen enorme hoeveelheden rekenkracht, maar een nieuwe ontdekking toont aan hoe dit kan worden teruggeschroefd om taken meer efficiënt uit te voeren. Jonathan Frankle en zijn team van het MIT hebben de “lottery ticket hypotheses” bedacht, die aantoont hoe er slankere subnetwerken binnen de grotere neurale netwerken zijn. Deze subnetwerken kunnen de taak meer efficiënt uitvoeren met minder benodigde rekenkracht, waarbij een van de grootste uitdagingen is om deze subnetwerken te vinden, of winnende loterijkaartjes zoals het team ze noemt.

Het team ontdekte deze subnetwerken binnen BERT, de state-of-the-art machine learning-techniek voor natuurlijke taalverwerking (NLP). NLP, dat een subveld van kunstmatige intelligentie (AI) is, is verantwoordelijk voor het ontcijferen en analyseren van menselijke taal en wordt gebruikt voor toepassingen zoals voorspellende tekstgeneratie en chatbots.

However, BERT is groot en vereist supercomputing-kracht, die ontoegankelijk is voor de meeste gebruikers. Met de nieuwe ontdekking van deze subnetwerken, kan dit de toegang openen, waardoor meer gebruikers de technologie kunnen gebruiken om NLP-hulpmiddelen te ontwikkelen.

“We zijn op het punt waarop we deze modellen slanker en efficiënter moeten maken,” zegt Frankle.

Volgens hem kan deze ontwikkeling “de toegangsbarrières verlagen” voor NLP.

BERT – “Obsceen duur”  

BERT is fundamenteel voor dingen zoals Google’s zoekmachine en heeft veel aandacht gekregen sinds Google het in 2018 heeft uitgebracht. Het is een methode voor het creëren van neurale netwerken en wordt getraind door meerdere keren te proberen om een blanco passage van schrijfstukken in te vullen. Een van de meest indrukwekkende functies van BERT is zijn enorme initiële trainingsdataset.

Het kan vervolgens worden aangepast door gebruikers voor specifieke taken, zoals klantenservice-chatbots, maar opnieuw, het vereist enorme hoeveelheden verwerkingskracht, met de mogelijkheid van parameters die 1 miljard bereiken.

“Een standaard BERT-model van tegenwoordig – de gebruikelijke soort – heeft 340 miljoen parameters,” zegt Frankle. “Dit is gewoon obsceen duur. Dit is ver buiten de berekeningscapaciteit van u of mij.”

Volgens de hoofdauteur Tianlong Chen van de Universiteit van Texas in Austin, lijden modellen zoals BERT “aan een enorm netwerkgrootte”, maar dankzij het nieuwe onderzoek, “lijkt de lottery ticket-hypothese een oplossing te zijn.”

Efficiënte subnetwerken 

Chen en het team zochten naar een kleiner model binnen BERT en vergeleken de prestaties van de ontdekte subnetwerken met het originele BERT-model. Dit werd getest op een verscheidenheid aan verschillende NLP-taken, waaronder het beantwoorden van vragen en het invullen van lege woorden in een zin.

Het team ontdekte succesvolle subnetwerken die indrukwekkend 40 tot 90 procent slanker waren dan het originele BERT-model, waarbij het werkelijke percentage afhankelijk was van de taak. Bovendien konden ze deze identificeren voordat ze specifiek werden aangepast, wat resulteert in nog verder verlaagde berekeningskosten. Een ander voordeel was dat sommige van de subnetwerken die waren geselecteerd voor een specifieke taak, vervolgens konden worden hergebruikt voor een andere.

“Ik was een beetje geschokt dat dit überhaupt werkte,” zegt Frankle. “Het is niets dat ik vanzelfsprekend vond. Ik verwachtte een veel rommeliger resultaat dan we kregen.”

Volgens Ari Morcos, een wetenschapper bij Facebook (META ) AI Research, is deze ontdekking “overtuigend” en “Deze modellen worden steeds meer gebruikt. Dus het is belangrijk om te begrijpen of de lottery ticket-hypothese standhoudt.”

Morcos zegt ook dat als deze subnetwerken kunnen worden uitgevoerd met aanzienlijk minder rekenkracht, dit “zeer impactvol zou zijn, gezien deze extreem grote modellen momenteel zeer duur zijn om uit te voeren.”

“Ik weet niet hoeveel groter we kunnen gaan met deze supercomputer-achtige berekeningen,” voegt Frankle toe. “We zullen de toegangsbarrière moeten verlagen.”

“De hoop is dat dit de kosten zal verlagen, dat dit het meer toegankelijk zal maken voor iedereen… voor de kleine jongens die alleen een laptop hebben,” concludeert hij.

Het onderzoek zal worden gepresenteerd op de Conferentie over Neurale Informatieverwerkingssystemen.