Ingenieurs ontwikkelen energie-efficiënte “Early Bird”-methode voor het trainen van diepe neurale netwerken

Ingenieurs van de Rice University hebben een nieuwe methode ontwikkeld voor het trainen van diepe neurale netwerken (DNN’s) met een fractie van de energie die normaal gesproken nodig is. DNN’s zijn de vorm van kunstmatige intelligentie (AI) die een sleutelrol speelt in de ontwikkeling van technologieën zoals zelfrijdende auto’s, intelligente assistenten, gezichtsherkenning en andere toepassingen.

Early Bird werd gedetailleerd in een paper op 29 april door onderzoekers van Rice en Texas A&M University. Het vond plaats op de Internationale Conferentie over Leren van Representaties, of ICLR 2020.

De hoofdauteurs van de studie waren Haoran You en Chaojian Li van het Efficient en Intelligent Computing (EIC) Lab van Rice. In een studie toonden ze aan hoe de methode een DNN kon trainen op hetzelfde niveau en met dezelfde nauwkeurigheid als de huidige methoden, maar met 10,7 keer minder energie.

Het onderzoek werd geleid door EIC Lab-directeur Yingyan Lin, Richard Baraniuk van Rice en Zhangyang Wang van Texas A&M. Andere co-auteurs zijn onder meer Pengfei Xu, Yonggan Fu, Yue Wang en Xiaohan Chen.

“Een belangrijke drijvende kracht achter de recente doorbraken in AI is de introductie van grotere, duurdere DNN’s,” zei Lin. “Maar het trainen van deze DNN’s vereist aanzienlijke hoeveelheden energie. Om meer innovaties te kunnen onthullen, is het essentieel om ‘groenere’ trainingsmethoden te vinden die zowel milieuoverwegingen als financiële barrières voor AI-onderzoek aanpakken.”

Duur om DNN’s te trainen

Het kan erg duur zijn om de beste DNN’s ter wereld te trainen, en de prijs blijft stijgen. In 2019 vond een studie onder leiding van het Allen Institute for AI in Seattle dat om een top-DNN te trainen, 300.000 keer meer berekeningen nodig zijn dan in 2012-2018. Een andere studie uit 2019, dit keer onder leiding van onderzoekers van de Universiteit van Massachusetts Amherst, vond dat door het trainen van één enkele, elite DNN, ongeveer evenveel koolstofdioxide-uitstoot vrijkomt als vijf Amerikaanse auto’s.

Om hun zeer gespecialiseerde taken uit te voeren, bestaan DNN’s uit minstens miljoenen kunstmatige neuronen. Ze kunnen leren om beslissingen te nemen, soms beter dan mensen, door het observeren van grote aantallen voorbeelden. Ze kunnen dit doen zonder expliciete programmering.

Snoeien en trainen

Lin is assistent-professor in de afdeling Elektrotechniek en Informatica van de Brown School of Engineering van Rice.

“De state-of-the-art-methode voor DNN-training heet progressief snoeien en trainen,” zei Lin. “Eerst train je een dicht, groot netwerk, verwijder je delen die niet belangrijk lijken – zoals het snoeien van een boom. Vervolgens train je het gesnoeide netwerk opnieuw om de prestaties te herstellen, omdat de prestaties na het snoeien verslechteren. En in de praktijk moet je meerdere keren snoeien en opnieuw trainen om goede prestaties te krijgen.”

Deze methode wordt gebruikt omdat niet alle kunstmatige neuronen nodig zijn om de gespecialiseerde taak uit te voeren. De verbindingen tussen neuronen worden versterkt door de training, en andere kunnen worden verwijderd. Deze snoeimethode vermindert de berekeningskosten en verkleint de modelgrootte, waardoor volledig getrainde DNN’s betaalbaarder worden.

“De eerste stap, het trainen van het dichte, grote netwerk, is de duurste,” zei Lin. “Ons idee in dit werk is om het uiteindelijke, volledig functionele gesnoeide netwerk te identificeren, dat we de ‘early-bird-ticket’ noemen, in het beginstadium van deze dure eerste stap.”

De onderzoekers doen dit door naar belangrijke netwerkverbindingenpatronen te zoeken, en ze konden deze early-bird-tickets ontdekken. Dit stelde hen in staat om de DNN-training te versnellen.

Early Bird in de beginfase van de training

Lin en de andere onderzoekers vonden dat Early Bird kan verschijnen een tiende of minder van de weg door de beginfase van de training.

“Onze methode kan automatisch early-bird-tickets identificeren binnen de eerste 10% of minder van de training van de dichte, grote netwerken,” zei Lin. “Dit betekent dat je een DNN kunt trainen om dezelfde of zelfs betere nauwkeurigheid te bereiken voor een bepaalde taak in ongeveer 10% of minder van de tijd die nodig is voor traditionele training, wat kan leiden tot meer dan één orde van grootte besparingen in zowel berekening als energie.”

Naast dat het sneller en energie-efficiënter is, hebben de onderzoekers een sterke focus op de milieu-impact.

“Ons doel is om AI zowel meer milieuvriendelijk als meer inclusief te maken,” zei ze. “De grote omvang van complexe AI-problemen heeft kleinere spelers buitengesloten. Groene AI kan de deur openen voor onderzoekers met een laptop of beperkte berekeningsbronnen om AI-innovaties te verkennen.”

Het onderzoek kreeg steun van de National Science Foundation.