Ingenieure entwickeln energiesparendes “Early Bird”-Verfahren zum Trainieren von Deep Neural Networks

Ingenieure an der Rice University haben eine neue Methode entwickelt, um Deep Neural Networks (DNNs) mit einem Bruchteil der normalerweise erforderlichen Energie zu trainieren. DNNs sind die Form der künstlichen Intelligenz (KI), die eine Schlüsselrolle bei der Entwicklung von Technologien wie selbstfahrenden Autos, intelligenten Assistenten, Gesichtserkennung und anderen Anwendungen spielt.

Early Bird wurde in einem Paper am 29. April von Forschern der Rice University und der Texas A&M University vorgestellt. Es fand auf der International Conference on Learning Representations statt, auch ICLR 2020 genannt.

Die Studienleiter waren Haoran You und Chaojian Li aus dem Efficient and Intelligent Computing (EIC) Lab der Rice University. In einer Studie demonstrierten sie, wie die Methode ein DNN auf demselben Niveau und mit der gleichen Genauigkeit wie heutige Methoden trainieren kann, aber mit 10,7-mal weniger Energie.

Die Forschung wurde von EIC-Lab-Direktor Yingyan Lin, Richard Baraniuk von der Rice University und Zhangyang Wang von der Texas A&M University geleitet. Weitere Co-Autoren sind Pengfei Xu, Yonggan Fu, Yue Wang und Xiaohan Chen.

“Ein wichtiger Treiber für die jüngsten KI-Durchbrüche ist die Einführung größerer, teurerer DNNs”, sagte Lin. “Aber das Training dieser DNNs erfordert erhebliche Energie. Um weitere Innovationen zu ermöglichen, ist es wichtig, ‘grünere’ Trainingsmethoden zu finden, die sowohl Umweltbedenken als auch finanzielle Barrieren der KI-Forschung angehen.”

Teuer zu trainieren: DNNs

Es kann sehr teuer sein, die weltbesten DNNs zu trainieren, und der Preis steigt weiter. Im Jahr 2019 fand eine Studie der Allen Institute for AI in Seattle heraus, dass zum Training eines Spitzen-DNNs 300.000-mal mehr Berechnungen erforderlich sind als im Zeitraum 2012-2018. Eine weitere Studie aus dem Jahr 2019, diesmal von Forschern der University of Massachusetts Amherst, ergab, dass durch das Training eines einzelnen, Elite-DNNs etwa die gleiche Menge an Kohlendioxidemissionen freigesetzt wird wie durch fünf US-Automobile.

Um ihre hochspezialisierten Aufgaben auszuführen, bestehen DNNs aus mindestens Millionen künstlicher Neuronen. Sie können lernen, Entscheidungen zu treffen, manchmal besser als Menschen, indem sie große Mengen an Beispielen beobachten. Sie können dies tun, ohne explizite Programmierung zu benötigen.

Ausdünnen und trainieren

Lin ist Assistant Professor für Elektro- und Computertechnik an der Brown School of Engineering der Rice University.

“Die aktuelle Methode zum Trainieren von DNNs heißt progressives Ausdünnen und Trainieren”, sagte Lin. “Zuerst trainieren Sie ein dichtes, großes Netzwerk, dann entfernen Sie Teile, die nicht wichtig erscheinen – wie das Beschneiden eines Baumes. Dann trainieren Sie das ausgedünnte Netzwerk erneut, um die Leistung wiederherzustellen, da die Leistung nach dem Ausdünnen beeinträchtigt wird. In der Praxis müssen Sie mehrmals ausdünnen und trainieren, um eine gute Leistung zu erzielen.”

Diese Methode wird verwendet, da nicht alle künstlichen Neuronen erforderlich sind, um die spezialisierte Aufgabe auszuführen. Die Verbindungen zwischen Neuronen werden durch das Training gestärkt, und andere können verworfen werden. Diese Ausdünnungsmethode reduziert die Rechenkosten und verringert die Modellgröße, was vollständig trainierte DNNs erschwinglicher macht.

“Der erste Schritt, das dichte, große Netzwerk zu trainieren, ist der teuerste”, sagte Lin. “Unsere Idee in dieser Arbeit ist es, das endgültige, voll funktionsfähige ausgedünnte Netzwerk, das wir ‘Early-Bird-Ticket’ nennen, in der Anfangsphase dieses teuren ersten Schritts zu identifizieren.”

Die Forscher tun dies, indem sie nach wichtigen NetzwerkverbindungsMustern suchen, und sie konnten diese Early-Bird-Tickets entdecken. Dies ermöglichte es ihnen, das DNN-Training zu beschleunigen.

Early Bird in der Anfangsphase des Trainings

Lin und die anderen Forscher fanden heraus, dass Early Bird bereits ein Zehntel oder weniger der Anfangsphase des Trainings erscheinen kann.

“Unsere Methode kann Early-Bird-Tickets innerhalb der ersten 10% oder weniger des Trainings der dichten, großen Netze automatisch identifizieren”, sagte Lin. “Dies bedeutet, dass Sie ein DNN trainieren können, um die gleiche oder sogar bessere Genauigkeit für eine bestimmte Aufgabe in etwa 10% oder weniger der Zeit zu erreichen, die für traditionelles Training erforderlich ist, was zu mehr als einer Größenordnung an Einsparungen bei Rechenleistung und Energie führen kann.”

Neben der höheren Geschwindigkeit und Energieeffizienz legen die Forscher einen starken Fokus auf die Umweltbilanz.

“Unser Ziel ist es, KI sowohl umweltfreundlicher als auch inklusiver zu machen”, sagte sie. “Die Größe komplexer KI-Probleme hat kleinere Spieler ausgeschlossen. Green AI kann die Tür öffnen und Forschern mit einem Laptop oder begrenzten Rechenressourcen ermöglichen, KI-Innovationen zu erforschen.”

Die Forschung erhielt Unterstützung von der National Science Foundation.