Wachsen und Beschneiden: Eine AI-Strategie, die den Energieverbrauch reduziert

Das menschliche Gehirn funktioniert mit einer “Wachsen und Beschneiden”-Strategie, indem es zunächst mit einer großen Menge an neuronalen Verbindungen beginnt und dann die ungenutzten Verbindungen im Laufe der Zeit beschneidet. Kürzlich hat ein Team von AI-Forschern diesen Ansatz auf AI-Systeme angewendet und festgestellt, dass er den Energieverbrauch für die Ausbildung eines AI-Systems erheblich reduzieren kann.

Ein Team von Forschern von der Princeton University hat kürzlich eine neue Methode zur Ausbildung von künstlichen Intelligenz-Systemen entwickelt. Diese neue Ausbildungsmethode scheint in der Lage zu sein, die Branchenstandards für Genauigkeit zu erreichen oder zu übertreffen, aber sie kann dies bei gleichzeitig geringerem Energieverbrauch und weniger Rechenleistung als herkömmliche Machine-Learning-Modelle erreichen. Im Laufe von zwei verschiedenen Studien demonstrierten die Princeton-Forscher, wie man ein Netzwerk durch Hinzufügen von Neuronen und Verbindungen wachsen lassen kann. Die ungenutzten Verbindungen wurden dann im Laufe der Zeit beschneidet, so dass nur die effektivsten und effizientesten Teile des Modells übrig blieben.

Niraj Jha, Professor für Elektrotechnik an der Princeton University, erklärte gegenüber der Princeton News, dass das von den Forschern entwickelte Modell auf einem “Wachsen und Beschneiden”-Paradigma basiert. Jha erklärte, dass das menschliche Gehirn am komplexesten ist, wenn es etwa drei Jahre alt ist, und dass es nach diesem Zeitpunkt beginnt, ungenutzte synaptische Verbindungen zu beschneiden. Das Ergebnis ist, dass das vollständig entwickelte Gehirn in der Lage ist, alle außergewöhnlich komplexen Aufgaben auszuführen, die wir jeden Tag erledigen, aber es verwendet nur etwa die Hälfte aller Synapsen, die es in seinem Höhepunkt hatte. Jha und die anderen Forscher ahmten diese Strategie nach, um die Ausbildung von AI zu verbessern.

Jha erklärte:

„Unser Ansatz ist das, was wir ein Wachsen-und-Beschneiden-Paradigma nennen. Es ist ähnlich wie das, was ein Gehirn tut, wenn wir ein Baby sind, bis wir ein Kleinkind sind. Im dritten Jahr beginnt das menschliche Gehirn, Verbindungen zwischen Gehirnzellen zu beschneiden. Dieser Prozess setzt sich bis ins Erwachsenenalter fort, so dass das vollständig entwickelte Gehirn bei etwa der Hälfte seiner synaptischen Spitze arbeitet. Das erwachsene Gehirn ist spezialisiert auf die Ausbildung, die wir ihm gegeben haben. Es ist nicht so gut für allgemeines Lernen wie ein Kleinkind-Gehirn.“

Thanks to der Wachsen-und-Beschneiden-Technik können gleich gute Vorhersagen über Muster in Daten gemacht werden, indem nur ein Bruchteil der Rechenleistung verwendet wird, die zuvor erforderlich war. Forscher suchen nach Methoden, um den Energieverbrauch und die Rechenkosten zu reduzieren, da dies der Schlüssel ist, um Machine Learning auf kleine Geräte wie Smartphones und Smartwatches zu bringen. Die Reduzierung des Energieverbrauchs von Machine-Learning-Algorithmen kann auch dazu beitragen, dass die Branche ihren CO2-Fußabdruck reduziert. Xiaoliang Dai, der erste Autor der Studien, erklärte, dass die Modelle lokal ausgebildet werden müssen, da die Übertragung in die Cloud viel Energie erfordert.

Im Laufe der ersten Studie versuchten die Forscher, ein Werkzeug zur Erstellung von neuronalen Netzen zu entwickeln, das sie verwenden konnten, um neuronale Netze zu konstruieren und einige der leistungsstärksten Netze von Grund auf neu zu erstellen. Das Werkzeug wurde NeST (Neuronales Netzwerk-Synthese-Werkzeug) genannt, und wenn es mit nur wenigen Neuronen und Verbindungen ausgestattet wird, wächst es schnell in der Komplexität, indem es weitere Neuronen zum Netz hinzufügt. Sobald das Netz einen bestimmten Benchmark erreicht, beginnt es, sich selbst zu beschneiden. Während frühere Netzmodelle Beschneidetechniken verwendet haben, war die von den Princeton-Forschern entwickelte Methode die erste, die ein Netz nahm und die Entwicklungsstadien simuliert, von “Baby” zu “Kleinkind” und schließlich zu “Erwachsenengehirn”.

Im Laufe der zweiten Studie arbeiteten die Forscher mit einem Team von der University of California-Berkeley und Facebook (META ) zusammen, um ihre Technik mit einem Werkzeug namens Chameleon zu verbessern. Chameleon kann mit dem gewünschten Endpunkt beginnen, den gewünschten Ergebnissen, und rückwärts arbeiten, um das richtige neuronale Netzwerk zu konstruieren. Dies eliminiert viel der Mühe, die bei der manuellen Anpassung eines Netzwerks erforderlich ist, und gibt Ingenieuren Startpunkte, die wahrscheinlich sofort nützlich sind. Chameleon prognostiziert die Leistung unterschiedlicher Architekturen unter verschiedenen Bedingungen. Die Kombination von Chameleon und dem NeST-Framework könnte Forschungsorganisationen helfen, die über keine schweren Rechenressourcen verfügen, die Macht von neuronalen Netzen zu nutzen.