Neues künstliches Neuronen-Gerät könnte Energieanforderungen für neuronale Berechnungen erheblich reduzieren

Forscher an der University of San Diego haben ein neues künstliches Neuronen-Gerät entwickelt, das neuronale Berechnungen mit 100 bis 1000 Mal weniger Energie und Fläche als die aktuellen CMOS-basierten Hardware durchführen kann.

Der aktuelle Bericht wurde in einem Artikel am 18. März in Nature Nanotechnology veröffentlicht.

Um die Eingabe für eine der verbundenen Schichten künstlicher Neuronen in neuronalen Netzen zu erzeugen, muss eine mathematische Berechnung namens nicht-lineare Aktivierungsfunktion angewendet werden. Diese Anwendung erfordert jedoch viel Rechenleistung und Schaltungstechnik aufgrund der Notwendigkeit, Daten zwischen dem Speicher und dem externen Prozessor zu übertragen.

Die Forscher an der UC San Diego entwickelten ein neues nano-meter-großes Gerät, das diese Aktivierungsfunktion viel effizienter ausführen kann.

Duygu Kuzum ist Professorin für Elektrotechnik und Informatik an der UC San Diego Jacobs School of Engineering.

“Die neuronale Netzwerkberechnung in Hardware wird immer ineffizienter, je größer und komplexer die neuronalen Netzwerkmodelle werden”, sagte Kuzum. “Wir entwickelten ein einzelnes nanoskaliges künstliches Neuronen-Gerät, das diese Berechnungen in Hardware auf sehr flächeneffiziente und energieeffiziente Weise implementiert.”

Die Studie wurde von Kuzum und dem Doktoranden Shangheon Oh geleitet, und sie arbeiteten mit dem Physik-Professor Ivan Schuller von der UC San Diego zusammen, der ein DOE Energy Frontier Research Center leitet. Das Zentrum ist an der Entwicklung von Hardware-Implementierungen energieeffizienter künstlicher neuronalen Netze beteiligt.

Das neue Gerät

Das neu entwickelte Gerät basiert auf einer rektifizierten linearen Einheit, die eine der am häufigsten verwendeten Aktivierungsfunktionen im neuronalen Netzwerk-Training ist. Es erfordert Hardware, die allmähliche Änderungen im Widerstand durchführen kann, was das Ziel der Ingenieure war. Das Gerät kann allmählich von einem isolierenden in einen leitfähigen Zustand mit einer kleinen Menge an Wärme wechseln.

Dieser Wechsel, der als Mott-Übergang bezeichnet wird, tritt in einer extrem dünnen Schicht von Vanadiumdioxid auf, und darüber befindet sich ein Nanodraht-Heizer aus Titan und Gold. Die Vanadiumdioxid-Schicht heizt sich langsam auf, wenn Strom durch den Nanodraht fließt, und dies verursacht einen langsamen und kontrollierten Wechsel von isolierend zu leitfähig.

Oh ist der erste Autor der Studie.

“Diese Gerätearchitektur ist sehr interessant und innovativ”, sagte Oh. “In diesem Fall fließen wir Strom durch einen Nanodraht auf dem Material, um es zu heizen und einen sehr allmählichen Widerstandswechsel zu induzieren.”

Implementierung des Geräts

Für die Implementierung stellte das Team ein Array von Aktivierungsgeräten und ein synaptisches Geräte-Array her, gefolgt von der Integration der beiden auf einer benutzerdefinierten Leiterplatte. Sie wurden dann miteinander verbunden, was zu einer Hardware-Version eines neuronalen Netzes führte.

Das Netzwerk wurde verwendet, um ein Bild durch Kantenerkennung zu verarbeiten, wobei die Umrisse und Kanten von Objekten im Bild identifiziert wurden. Das integrierte Hardwaresystem demonstrierte seine Fähigkeit, Konvolutionsoperationen durchzuführen, die für verschiedene Arten von tiefen neuronalen Netzen wichtig sind.

“Im Moment ist dies ein Beweis des Konzepts”, sagte Kuzum. “Es ist ein winziges System, in dem wir nur eine Synapsenschicht mit einer Aktivierungsschicht gestapelt haben. Durch das Stapeln von mehreren davon können Sie ein komplexeres System für verschiedene Anwendungen erstellen.”