Neue Forschungsergebnisse deuten darauf hin, dass künstliche Gehirne vom Schlaf profitieren könnten

Neue Forschungsergebnisse kommen von Los Alamos Nationales Laboratorium legt nahe, dass künstliche Gehirne mit ziemlicher Sicherheit wie lebende Gehirne von Ruhephasen profitieren. 

Die Forschungsergebnisse werden am 14. Juni auf dem Women in Computer Vision Workshop in Seattle vorgestellt. 

Yijing Watkins ist Informatiker am Los Alamos National Laboratory. 

„Wir untersuchen Spike-Neuronale Netze, Systeme, die genauso viel lernen wie lebende Gehirne“, sagte Watkins. „Wir waren fasziniert von der Aussicht, einen neuromorphen Prozessor auf eine Weise zu trainieren, die der Art und Weise ähnelt, wie Menschen und andere biologische Systeme während der kindlichen Entwicklung von ihrer Umwelt lernen.“

Lösung von Instabilität in Netzwerksimulationen

Watkins und das Team stellten fest, dass kontinuierliche Perioden unbeaufsichtigten Lernens zu Instabilität in den Netzwerksimulationen führten. Nachdem das Team die Netzwerke jedoch in Zustände gebracht hatte, die ein Ergebnis der Wellen sind, die lebende Gehirne während des Schlafs erfahren, konnte die Stabilität wiederhergestellt werden. 

„Es war, als würden wir den neuronalen Netzwerken das Äquivalent einer erholsamen Nachtruhe gönnen“, sagte Watkins.

Die Entdeckung machte das Team, als es an der Entwicklung neuronaler Netze arbeitete, die darauf basieren, wie Menschen und andere biologische Systeme das Sehen lernen. Das Team stand vor einigen Herausforderungen, als es darum ging, simulierte neuronale Netze zu stabilisieren, die einem unbeaufsichtigten Wörterbuchtraining unterzogen wurden. Beim unbeaufsichtigten Wörterbuchtraining werden Objekte klassifiziert, ohne dass vorherige Beispiele zum Vergleich herangezogen werden können.

Garrett Kenyon ist Informatiker in Los Alamos und Mitautor der Studie.

„Die Frage, wie man verhindern kann, dass Lernsysteme instabil werden, stellt sich eigentlich nur dann, wenn man versucht, biologisch realistische, impulsgebende neuromorphe Prozessoren zu nutzen oder wenn man versucht, die Biologie selbst zu verstehen“, sagte Kenyon. „Die überwiegende Mehrheit der Forscher im Bereich maschinelles Lernen, Deep Learning und KI stößt nie auf dieses Problem, weil sie in den sehr künstlichen Systemen, die sie untersuchen, den Luxus haben, globale mathematische Operationen durchzuführen, die den Effekt haben, den gesamten dynamischen Gewinn des Systems zu regulieren.“

Schlaf als letzte Lösung

Den Forschern zufolge war es ihr letzter Ausweg, die Netzwerke einem künstlichen Analogon des Schlafes auszusetzen, um sie zu stabilisieren. Nach dem Experimentieren mit verschiedenen Arten von Rauschen, das dem Rauschen zwischen Sendern in einem Radio ähnelt, wurden die besten Ergebnisse mit den Wellen des Gaußschen Rauschens erzielt. Diese Art von Lärm umfasst ein breites Spektrum an Frequenzen und Amplituden. 

Die Forscher stellten die Hypothese auf, dass der Lärm während des Tiefschlafs den von biologischen Neuronen empfangenen Input nachahmt. Die Ergebnisse deuten darauf hin, dass langsamer Schlaf eine Rolle dabei spielen könnte, sicherzustellen, dass kortikale Neuronen nicht unter Halluzinationen leiden und ihre Stabilität aufrechterhalten. 

Das Team wird nun an der Implementierung des Algorithmus auf dem neuromorphen Loihi-Chip von Intel arbeiten und hofft, dass der Schlaf dabei hilft, Informationen von einer Silizium-Retina-Kamera stabil in Echtzeit zu verarbeiten. Wenn die Forschung tatsächlich zeigt, dass künstliche Gehirne vom Schlaf profitieren, gilt dies wahrscheinlich auch für Androiden und andere intelligente Maschinen.

Quelle: Verwendung von sinusförmig moduliertem Rauschen als Ersatz für langsamen Schlaf, um stabiles, unbeaufsichtigtes Wörterbuchlernen in einem Spike-basierten Sparse-Coding-Modell zu erreichen, CVPR Women in Computer Vision Workshop, 2020 (Seattle, Washington, USA)