Groei en snoei AI-strategie lijkt AI-energieverbruik te verminderen

Het menselijk brein werkt met een “groei en snoei”-strategie, waarbij het aanvankelijk een enorme hoeveelheid neurale verbindingen heeft en vervolgens de ongebruikte verbindingen over tijd wegsnoeit. Onlangs heeft een team van AI-onderzoekers deze aanpak toegepast op AI-systemen en ontdekt dat het de hoeveelheid energie die nodig is om een AI te trainen aanzienlijk kan verminderen.

Een team van onderzoekers van de Princeton University heeft onlangs een nieuwe methode ontwikkeld om kunstmatige intelligentie-systemen te trainen. Deze nieuwe trainingsmethode lijkt in staat om de industrienormen voor nauwkeurigheid te bereiken of te overtreffen, maar het doet dit terwijl het veel minder rekenkracht en dus minder energie verbruikt dan traditionele machine learning-modellen. In de loop van twee verschillende papers hebben de Princeton-onderzoekers aangetoond hoe ze een netwerk kunnen laten groeien door neuronen en verbindingen toe te voegen. De ongebruikte verbindingen werden vervolgens over tijd weggesnoeid, waardoor alleen de meest effectieve en efficiënte delen van het model overbleven.

Niraj Jha, professor in Elektrotechniek aan de Princeton, legde aan Princeton News uit dat het model dat de onderzoekers hebben ontwikkeld werkt op een “groei en snoei-paradigma”. Jha legde uit dat het menselijk brein op zijn meest complexe punt is rond de leeftijd van drie jaar, en dat het brein daarna ongebruikte synaptische verbindingen begint te snoeien. Het resultaat is dat het volledig ontwikkelde brein in staat is om alle uitzonderlijk complexe taken die we elke dag uitvoeren uit te voeren, maar het gebruikt ongeveer de helft van alle synapsen die het op zijn hoogtepunt had. Jha en de andere onderzoekers hebben deze strategie nagebootst om de training van AI te verbeteren.

Jha legde uit:

“Onze aanpak is wat we een groei en snoei-paradigma noemen. Het is vergelijkbaar met wat een brein doet vanaf het moment dat we een baby zijn tot het moment dat we een peuter zijn. In het derde levensjaar begint het menselijk brein verbindingen tussen hersencellen te snoeien. Dit proces gaat door tot in de volwassenheid, zodat het volledig ontwikkelde brein ongeveer op de helft van zijn synaptische piek werkt. Het volwassen brein is gespecialiseerd in de training die we het hebben gegeven. Het is niet zo goed in algemene leerprocessen als een peuterbrein.”

Dankzij de groei en snoei-techniek kunnen even goede voorspellingen worden gedaan over patronen in gegevens met slechts een fractie van de rekenkracht die eerder nodig was. Onderzoekers proberen methoden te vinden om het energieverbruik en de rekenkosten te verminderen, omdat dit essentieel is om machine learning naar kleine apparaten zoals telefoons en smartwatches te brengen. Het verminderen van de hoeveelheid energie die door machine learning-algoritmes wordt verbruikt, kan ook helpen om de koolstofvoetafdruk van de industrie te verminderen. Xiaoliang Dai, de eerste auteur van de papers, legde uit dat de modellen lokaal getraind moeten worden vanwege de grote hoeveelheid energie die nodig is om gegevens naar de cloud te verzenden.

Tijdens de eerste studie hebben de onderzoekers geprobeerd een hulpmiddel voor het maken van neurale netwerken te ontwikkelen dat ze konden gebruiken om neurale netwerken te ontwerpen en enkele van de best presterende netwerken van scratch te reconstrueren. Het hulpmiddel heette NeST (Neural network Synthesis Tool), en wanneer het slechts een paar neuronen en verbindingen krijgt, neemt het snel in complexiteit toe door meer neuronen aan het netwerk toe te voegen. Zodra het netwerk een bepaalde benchmark bereikt, begint het zichzelf over tijd te snoeien. Hoewel eerdere netwerkmodellen snoeitechnieken hebben gebruikt, was de methode die door de Princeton-onderzoekers werd ontwikkeld de eerste die een netwerk nam en de ontwikkelingsstadia simuleerde, van “baby” tot “peuter” en uiteindelijk tot “volwassen brein”.

Tijdens de tweede paper werkten de onderzoekers samen met een team van de University of California-Berkely en Facebook (META ) om hun techniek te verbeteren met behulp van een hulpmiddel genaamd Chameleon. Chameleon kan beginnen met het gewenste eindpunt, de gewenste resultaten, en werkt vervolgens terug om het juiste type neurale netwerk te construeren. Dit elimineert een groot deel van de trial-and-error die nodig is om een netwerk handmatig aan te passen, waardoor ingenieurs startpunten krijgen die waarschijnlijk meteen bruikbaar zijn. Chameleon voorspelt de prestaties van verschillende architectuuronder verschillende omstandigheden. Het combineren van Chameleon en het NeST-kader kan helpen om onderzoeksorganisaties die geen zware rekenbronnen hebben te profiteren van de kracht van neurale netwerken.