Forscher verwenden Memristoren, um energieeffizientere neuronale Netze zu erstellen

Einer der weniger glamourösen Aspekte der künstlichen Intelligenz ist, dass sie oft eine große Menge an Rechenleistung erfordert und daher oft einen großen Energieverbrauch hat. Kürzlich haben Forscher an der UCL eine Methode entwickelt, um die Energieeffizienz von künstlicher Intelligenz zu verbessern.

Neuronale Netze und maschinelles Lernen sind leistungsstarke Werkzeuge, aber die beeindruckendsten Leistungen der künstlichen Intelligenz haben in der Regel einen hohen Energieverbrauch. Zum Beispiel wurde geschätzt, dass die Leistung von OpenAI, einem Roboterhand zu manipulieren, um ein Rubik’s Cube zu lösen, etwa 2,8 Gigawattstunden Strom erforderte.

Laut TechExplore haben Forscher an der UCL eine neue Methode entwickelt, um künstliche neuronale Netze zu generieren. Die neue Methode verwendet Memristoren, um das Netzwerk zu generieren, die etwa 1000-mal energieeffizienter sind als Netze, die mit herkömmlichen Ansätzen erstellt werden. Memristoren sind Geräte, die die Menge an elektrischer Ladung erinnern können, die zuletzt durch sie floss, und diesen Zustand auch nach dem Ausschalten beibehalten. Dies bedeutet, dass sie ihren Zustand auch dann beibehalten können, wenn ein Gerät den Strom verliert. Obwohl Memristoren vor etwa 50 Jahren zum ersten Mal theoretisiert wurden, wurde es erst 2008 möglich, einen echten Memristor zu erstellen.

Memristoren werden gelegentlich als “neuromorphe” Rechengeräte oder “brain-inspired”-Geräte bezeichnet. Memristoren sind ähnlich wie die Bausteine, die das Gehirn verwendet, um Informationen zu verarbeiten und Erinnerungen zu speichern. Sie sind im Vergleich zu den meisten modernen Computersystemen sehr effizient. Diese Memristor-Geräte besitzen Aspekte von Kondensatoren und Widerständen und wurden in den letzten zehn Jahren oder so in verschiedenen Speichergeräten hergestellt und verwendet. Das Forschungsteam der UCL hofft, dass ihre Forschung dazu beitragen wird, diese Geräte in den nächsten Jahren für die Erstellung von künstlicher Intelligenz zu verwenden.

Trotz ihrer erhöhten Energieeffizienz sind Memristoren traditionell viel weniger effizient als herkömmliche neuronale Netze, aber die Forscher der UCL fanden eine Möglichkeit, die Genauigkeit von Memristoren zu erhöhen. Die Forscher fanden heraus, dass sie, wenn sie viele Memristoren verwendeten, diese in mehrere Untergruppen aufteilen und dann ihre Berechnungen mitteln konnten. Die Mittelung der Berechnungen half, Fehler in den Untergruppen auszugleichen und die relevantesten Muster zu finden.

Dr. Adnan Mehonic und der Doktorand Dovydas Joksas (beide UCL Electronic and Electrical Engineering) und ihre Co-Autoren testeten diesen Mittelungsansatz mit verschiedenen Memristor-Typen und fanden heraus, dass die Technik die Genauigkeit in allen getesteten Memristoren zu verbessern schien, nicht nur in einem oder zwei von ihnen. Die Genauigkeitsverbesserungen galten für alle getesteten Gruppen, unabhängig vom Material, aus dem der Memristor hergestellt wurde.

Laut Dr. Mehonic, wie von TechExplore zitiert:

“Wir hofften, dass es möglicherweise generischere Ansätze gibt, die nicht das Geräteverhalten, sondern das Systemverhalten verbessern, und wir glauben, dass wir einen solchen Ansatz gefunden haben. Unser Ansatz zeigt, dass, wenn es um Memristoren geht, mehrere Köpfe besser sind als einer. Die Anordnung des neuronalen Netzes in mehrere kleinere Netze anstelle eines großen Netzes führte zu einer höheren Gesamtgenauigkeit.”

Das Forschungsteam war begeistert, eine Technik aus der Informatik auf Memristoren anwendet zu haben und eine gängige Fehlervermeidungstechnik (Mittelung von Berechnungen) verwendet zu haben, um die Genauigkeit von memristischen neuronalen Netzen zu erhöhen. Der Co-Autor Professor Tony Kenyon von der UCL Electronic & Electrical Engineering glaubt, dass Memristoren eine “führende Rolle” bei der Schaffung von energieeffizienteren Edge-Computing-Geräten und IoT-Geräten spielen könnten.

Memristoren sind nicht nur energieeffizienter als herkömmliche neuronale Netzmodelle, sondern können auch leicht in ein handgehaltenes, mobiles Gerät integriert werden. Dies ist von zunehmender Bedeutung in der nahen Zukunft, da immer mehr Daten erstellt und übertragen werden, obwohl es schwierig ist, die Übertragungskapazität über einen bestimmten Punkt hinaus zu erhöhen. Memristoren könnten dazu beitragen, die Übertragung großer Datenmengen bei einem Bruchteil der Energiekosten zu ermöglichen.