Ingenieurs ontwikkelen energie-efficiënte "Early Bird"-methode om diepe neurale netwerken te trainen

Ingenieurs van Rice University hebben een nieuwe methode ontwikkeld om diepe neurale netwerken (DNN's) te trainen met een fractie van de energie die normaal nodig is. DNN's zijn de vorm van kunstmatige intelligentie (AI) die een sleutelrol speelt bij de ontwikkeling van technologieën zoals zelfrijdende auto's, intelligente assistenten, gezichtsherkenning en andere toepassingen.

Early Bird werd beschreven een krant op 29 april door onderzoekers van Rice en Texas A&M University. Het vond plaats bij de Internationale conferentie over leervertegenwoordigingen, of ICLR 2020. 

De hoofdauteurs van het onderzoek waren Haoran You en Chaojian Li van Rice's Efficient and Intelligent Computing (EIC) Lab. In één onderzoek toonden ze aan hoe de methode een DNN op hetzelfde niveau en dezelfde nauwkeurigheid kon trainen als de huidige methoden, maar met 10.7 keer minder energie. 

Het onderzoek werd geleid door Yingyan Lin, directeur van EIC Lab, Richard Baraniuk van Rice en Zhangyang Wang van Texas A&M. Andere co-auteurs zijn Pengfei Xu, Yonggan Fu, Yue Wang en Xiaohan Chen. 

"Een belangrijke drijvende kracht achter recente AI-doorbraken is de introductie van grotere, duurdere DNN's", aldus Lin. "Maar het trainen van deze DNN's vergt veel energie. Om meer innovaties te kunnen onthullen, is het essentieel om 'groenere' trainingsmethoden te vinden die zowel rekening houden met milieuoverwegingen als de financiële barrières voor AI-onderzoek verlagen."

Duur om DNN's te trainen

Het kan erg duur zijn om 's werelds beste DNN's te trainen, en het prijskaartje blijft stijgen. In 2019 ontdekte een onderzoek onder leiding van het Allen Institute for AI in Seattle dat er 300,000 keer meer berekeningen nodig zijn om een ​​diep neuraal netwerk van topklasse te trainen in vergelijking met 2012-2018. Een ander onderzoek uit 2019, dit keer geleid door onderzoekers van de Universiteit van Massachusetts Amherst, ontdekte dat door het trainen van een enkele elite-DNN ongeveer dezelfde hoeveelheid kooldioxide-uitstoot vrijkomt als vijf Amerikaanse auto's. 

Om ervoor te zorgen dat DNN's hun zeer gespecialiseerde taken kunnen uitvoeren, bestaan ​​ze uit minstens miljoenen kunstmatige neuronen. Ze zijn in staat om te leren hoe ze beslissingen moeten nemen, soms beter dan mensen, door grote aantallen voorbeelden te observeren. Ze kunnen dit doen zonder expliciete programmering. 

Snoeien en trainen

Lin is een assistent-professor in elektrische en computertechniek aan de Brown School of Engineering van Rice. 

"De meest geavanceerde manier om DNN-training uit te voeren, heet 'progressive prune and train'", aldus Lin. "Eerst train je een dicht, gigantisch netwerk en verwijder je vervolgens onderdelen die er niet belangrijk uitzien – zoals het snoeien van een boom. Vervolgens train je het gesnoeide netwerk opnieuw om de prestaties te herstellen, want de prestaties nemen af ​​na het snoeien. En in de praktijk moet je meerdere keren snoeien en opnieuw trainen om goede prestaties te krijgen."

Deze methode wordt gebruikt omdat niet alle kunstmatige neuronen nodig zijn om de gespecialiseerde taak te voltooien. De verbindingen tussen neuronen worden door de training versterkt en andere kunnen worden weggegooid. Deze snoeimethode verlaagt de rekenkosten en verkleint de modelgrootte, waardoor volledig getrainde DNN's betaalbaarder worden. 

"De eerste stap, het trainen van het dichte, gigantische netwerk, is de duurste", aldus Lin. "Ons idee in dit werk is om het uiteindelijke, volledig functionele, gesnoeide netwerk te identificeren, dat we het 'early-bird ticket' noemen, in de beginfase van deze kostbare eerste stap."

De onderzoekers doen dit door te zoeken naar belangrijke netwerkconnectiviteitspatronen en ze konden deze early-bird tickets ontdekken. Hierdoor konden ze de DNN-training versnellen. 

Early Bird in de beginfase van de training

Lin en de andere onderzoekers ontdekten dat Early Bird op een tiende of minder van de beginfase van de training kon verschijnen. 

"Onze methode kan automatisch early-bird tickets identificeren binnen de eerste 10% of minder van de training van de dichte, gigantische netwerken," zei Lin. "Dit betekent dat je een DNN kunt trainen om dezelfde of zelfs betere nauwkeurigheid te bereiken voor een bepaalde taak in ongeveer 10% of minder van de tijd die nodig is voor traditionele training, wat kan leiden tot meer dan één orderbesparing in zowel rekenkracht als energie."

Behalve dat ze sneller en energiezuiniger zijn, hebben de onderzoekers een sterke focus op milieu-impact. 

"Ons doel is om AI zowel milieuvriendelijker als inclusiever te maken", zei ze. “De enorme omvang van complexe AI-problemen heeft kleinere spelers buiten de deur gehouden. Groene AI kan de deur openen waardoor onderzoekers met een laptop of beperkte rekenkracht AI-innovaties kunnen verkennen. "

Het onderzoek kreeg steun van de National Science Foundation.