Groeien en snoeien AI-strategie lijkt het energieverbruik van AI te verminderen

Het menselijk brein werkt met een strategie van "groeien en snoeien", aanvankelijk beginnend met een enorme hoeveelheid neurale verbindingen en vervolgens de ongebruikte verbindingen in de loop van de tijd wegsnoeien. Onlangs heeft een team van AI-onderzoekers deze benadering toegepast op AI-systemen en ontdekt dat het de hoeveelheid energie die nodig is om een ​​AI te trainen aanzienlijk kan verminderen.

Een team van onderzoekers van Princeton University heeft onlangs een nieuwe methode ontwikkeld om kunstmatige-intelligentiesystemen te trainen. Deze nieuwe trainingsmethode lijkt in staat te zijn om aan de industrienormen voor nauwkeurigheid te voldoen of deze te overtreffen, maar kan dit bereiken terwijl het veel minder rekenkracht, en dus minder energie, verbruikt dan traditionele machine learning-modellen. In de loop van twee verschillende artikelen hebben de Princeton-onderzoekers gedemonstreerd hoe je een netwerk kunt laten groeien door er neuronen en verbindingen aan toe te voegen. De ongebruikte verbindingen werden vervolgens in de loop van de tijd weggesnoeid, waardoor alleen de meest effectieve en efficiënte delen van het model overbleven.

Niraj Jha, professor Electrical Engineering aan Princeton, legde aan Princeton News uit dat het door de onderzoekers ontwikkelde model werkt volgens een "row-and-prune-paradigma". Jha legde uit dat het brein van een mens het meest complexe is dat het ooit zal zijn op een leeftijd van ongeveer drie jaar, en daarna beginnen de hersenen onnodige synaptische verbindingen weg te snijden. Het resultaat is dat de volledig ontwikkelde hersenen in staat zijn om alle buitengewoon complexe taken uit te voeren die we elke dag doen, maar dat ze ongeveer de helft van alle synapsen gebruiken die ze op hun hoogtepunt hadden. Jha en de andere onderzoekers bootsten deze strategie na om de training van AI te verbeteren.

Jha legde uit:

“Onze aanpak is wat we een groeien-en-snoeien-paradigma noemen. Het is vergelijkbaar met wat een brein doet vanaf het moment dat we een baby zijn tot wanneer we een peuter zijn. In het derde jaar begint het menselijk brein verbindingen tussen hersencellen weg te knippen. Dit proces gaat door tot in de volwassenheid, zodat de volledig ontwikkelde hersenen op ongeveer de helft van hun synaptische piek werken. Het volwassen brein is gespecialiseerd in de training die we het hebben gegeven. Het is niet zo goed voor algemeen leren als het brein van een peuter.”

Dankzij de groei- en snoeitechniek kunnen even goede voorspellingen worden gedaan over patronen in data met slechts een fractie van de rekenkracht die voorheen nodig was. Onderzoekers streven ernaar methoden te vinden om het energieverbruik en de rekenkosten te verminderen, aangezien dit de sleutel is om machine learning naar kleine apparaten zoals telefoons en smartwatches te brengen. Het verminderen van de hoeveelheid energie die door machine learning-algoritmen wordt verbruikt, kan de industrie ook helpen haar ecologische voetafdruk te verkleinen. Xiaoliang Dai, de eerste auteur van de kranten, legde uit dat de modellen lokaal moeten worden getraind omdat de overdracht naar de cloud veel energie kost.

Tijdens de eerste studie probeerden de onderzoekers een tool voor het maken van neurale netwerken te ontwikkelen die ze konden gebruiken om neurale netwerken te ontwikkelen en enkele van de best presterende netwerken helemaal opnieuw te creëren. e tool heette NeST (Neural network Synthesis Tool), en wanneer het is voorzien van slechts een paar neuronen en verbindingen, wordt het snel complexer door meer neuronen aan het netwerk toe te voegen. Zodra het netwerk aan een geselecteerde benchmark voldoet, begint het zichzelf na verloop van tijd te snoeien. Terwijl eerdere netwerkmodellen snoeitechnieken gebruikten, was de door de Princeton-onderzoekers ontwikkelde methode de eerste die een netwerk nam en ontwikkelingsstadia simuleerde, gaande van "baby" tot "peuter" en uiteindelijk tot "volwassen brein".

Tijdens het tweede artikel werkten de onderzoekers samen met een team van de University of California-Berkely en Facebook om hun techniek te verbeteren met behulp van een tool genaamd Chameleon. Chameleon is in staat om te beginnen met het gewenste eindpunt, de gewenste resultaten, en terug te werken om het juiste type neuraal netwerk te bouwen. Dit elimineert veel van het giswerk dat gepaard gaat met het handmatig aanpassen van een netwerk, waardoor technici startpunten krijgen die waarschijnlijk direct bruikbaar zijn. Chameleon voorspelt de prestaties van verschillende architecturen onder verschillende omstandigheden. Door Chameleon en het NeST-framework te combineren, kunnen onderzoeksorganisaties die geen zware rekenbronnen hebben, profiteren van de kracht van neurale netwerken.