DeepMind entdeckt AI-Trainings-Technik, die auch im menschlichen Gehirn funktionieren könnte

DeepMind hat kürzlich einen Artikel veröffentlicht, in dem eine neue Art von Verstärkungs-Lernen vorgestellt wird, die möglicherweise erklären kann, wie Belohnungspfade im menschlichen Gehirn funktionieren. Laut NewScientist handelt es sich bei der maschinellen Lernmethode um das sogenannte Verteilungs-Verstärkungs-Lernen, und die Mechanismen dahinter scheinen plausibel zu erklären, wie Dopamin durch Neuronen im Gehirn freigesetzt wird.

Die Neurowissenschaft und die Informatik haben eine lange Geschichte miteinander. Bereits 1951 verwendete Marvin Minsky ein System von Belohnungen und Bestrafungen, um ein Computerprogramm zu erstellen, das in der Lage war, ein Labyrinth zu lösen. Minsky wurde von der Arbeit von Iwan Pawlow inspiriert, der gezeigt hatte, dass Hunde durch eine Reihe von Belohnungen und Bestrafungen lernen können. DeepMinds neuer Artikel fügt der Verbindung zwischen Neurowissenschaft und Informatik hinzu, indem er eine Art von Verstärkungs-Lernen anwendet, um Einblicke in die Funktion von Dopamin-Neuronen zu gewinnen.

Wenn eine Person oder ein Tier eine Handlung ausführt, machen die Neuronen im Gehirn, die für die Freisetzung von Dopamin verantwortlich sind, eine Vorhersage darüber, wie belohnend die Handlung sein wird. Sobald die Handlung ausgeführt wurde und die Konsequenzen (Belohnungen) der Handlung offensichtlich sind, setzt das Gehirn Dopamin frei. Die Freisetzung von Dopamin wird jedoch skaliert, entsprechend der Größe des Fehlers in der Vorhersage. Wenn die Belohnung größer/besser ist als erwartet, wird ein stärkerer Dopamin-Schub ausgelöst. Im Gegenzug führt eine schlechtere Belohnung zu weniger freigesetztem Dopamin. Das Dopamin dient als korrektive Funktion, die die Neuronen dazu bringt, ihre Vorhersagen zu verfeinern, bis sie mit den tatsächlichen Belohnungen übereinstimmen. Dies ist sehr ähnlich wie bei Verstärkungs-Lernalgorithmen.

Im Jahr 2017 veröffentlichten DeepMind-Forscher eine verbesserte Version eines häufig verwendeten Verstärkungs-Lernalgorithmus, und diese überlegene Lernmethode konnte die Leistung bei vielen Verstärkungs-Lernaufgaben verbessern. Das DeepMind-Team dachte, dass die Mechanismen hinter dem neuen Algorithmus verwendet werden könnten, um besser zu verstehen, wie Dopamin-Neuronen im menschlichen Gehirn funktionieren.

Im Gegensatz zu älteren Verstärkungs-Lernalgorithmen stellt DeepMinds neuer Algorithmus Belohnungen als Verteilung dar. Ältere Verstärkungs-Lernansätze stellten geschätzte Belohnungen als einzelne Zahl dar, die den durchschnittlich erwarteten Wert repräsentierte. Diese Änderung ermöglichte es dem Modell, mögliche Belohnungen genauer darzustellen und dadurch besser zu funktionieren. Die überlegene Leistung der neuen Trainingsmethode veranlasste die DeepMind-Forscher, zu untersuchen, ob Dopamin-Neuronen im menschlichen Gehirn auf ähnliche Weise funktionieren.

Um die Funktionsweise von Dopamin-Neuronen zu untersuchen, arbeitete DeepMind mit Harvard zusammen, um die Aktivität von Dopamin-Neuronen in Mäusen zu erforschen. Die Forscher ließen die Mäuse verschiedene Aufgaben ausführen und belohnten sie basierend auf dem Wurf von Würfeln, während sie aufzeichneten, wie ihre Dopamin-Neuronen feuerten. Verschiedene Neuronen schienen unterschiedliche mögliche Ergebnisse vorherzusagen und unterschiedliche Mengen an Dopamin freizusetzen. Einige Neuronen sagten niedrigere Ergebnisse vorher als das tatsächliche Ergebnis, während andere höhere Belohnungen vorhersagten als das tatsächliche Ergebnis. Nachdem sie die Verteilung der Belohnungsvorhersagen grafisch dargestellt hatten, fanden die Forscher heraus, dass die Verteilung der Vorhersagen ziemlich nahe an der tatsächlichen Belohnungsverteilung lag. Dies deutet darauf hin, dass das Gehirn tatsächlich ein Verteilungssystem verwendet, wenn es Vorhersagen trifft und diese an die Realität anpasst.

Die Studie könnte sowohl die Neurowissenschaft als auch die Informatik beeinflussen. Die Studie unterstützt die Verwendung von Verteilungs-Verstärkungs-Lernen als Methode zur Erstellung von fortgeschritteneren KI-Modellen. Darüber hinaus könnte sie Auswirkungen auf unsere Theorien darüber haben, wie das Gehirn in Bezug auf Belohnungssysteme funktioniert. Wenn Dopamin-Neuronen verteilt sind und einige pessimistischer oder optimistischer sind als andere, könnte das Verständnis dieser Verteilungen unsere Herangehensweise an Aspekte der Psychologie wie psychische Gesundheit und Motivation verändern.

Laut MIT Technology Review erklärte Matt Botvinik, der Leiter der Neurowissenschaft-Forschung bei DeepMind, die Bedeutung der Ergebnisse bei einer Pressekonferenz. Botvinik sagte:

„Wenn das Gehirn es verwendet, ist es wahrscheinlich eine gute Idee. Es zeigt uns, dass dies eine Rechenmethode ist, die in realen Situationen skalieren kann. Es wird gut mit anderen Rechenprozessen zusammenpassen. Es gibt uns eine neue Perspektive darauf, was in unserem Gehirn während des täglichen Lebens passiert“