Experten überwinden ein großes Hindernis in der KI-Technologie mithilfe eines Gehirnmechanismus

Eine Gruppe von KI-Experten aus verschiedenen Institutionen hat ein “großes, langfristiges Hindernis für die Erhöhung der KI-Fähigkeiten” überwunden. Das Team sah sich das menschliche Gehirn an, was bei vielen KI-Entwicklungen der Fall ist. Insbesondere konzentrierte sich das Team auf den menschlichen Gehirnmechanismus, der als “Replay” bekannt ist.

Gido van de Ven ist der erste Autor und ein Postdoktorand. Er wurde von dem Hauptuntersucher Andreas Tolias von Baylor sowie Hava Siegelmann von UMass Amherst begleitet.

Die Forschung wurde in Nature Communications veröffentlicht.

Die neue Methode

Laut den Forschern haben sie eine neue Methode entwickelt, die tiefere neuronale Netze effizient vor “katastrophalem Vergessen” schützt. Wenn ein neuronales Netzwerk neue Dinge lernt, kann es vergessen, was es zuvor gelernt hat.

Dieses Hindernis ist es, was viele KI-Fortschritte verhindert.

“Eine Lösung wäre, vorhergehende Beispiele zu speichern und sie aufzurufen, wenn man etwas Neues lernt. Obwohl solches “Replay” oder “Rehearsal” katastrophales Vergessen löst, ist es sehr ineffizient, ständig auf alle vorhergehend gelernten Aufgaben zurückzutrainieren, und die Menge an Daten, die gespeichert werden müsste, wird schnell unüberschaubar”, schreiben die Forscher.

Das menschliche Gehirn

Die Forscher ließen sich von dem menschlichen Gehirn inspirieren, da es in der Lage ist, Informationen aufzubauen, ohne zu vergessen, was bei KI-Neuralnetzen nicht der Fall ist. Die aktuelle Entwicklung basiert auf früheren Arbeiten der Forscher, einschließlich Erkenntnissen über einen Mechanismus im Gehirn, der dafür verantwortlich ist, dass Erinnerungen nicht vergessen werden. Dieser Mechanismus ist die Wiederholung von neuronalen Aktivitätsmustern.

Laut Siegelmann kommt die große Entwicklung von der Erkenntnis, dass die Wiederholung im Gehirn keine Daten speichert, sondern dass das Gehirn Repräsentationen von Erinnerungen auf einem hohen, abstrakteren Level mit keinem Bedarf an detaillierten Erinnerungen generiert.

Siegelmann nahm diese Informationen und schloss sich mit ihren Kollegen zusammen, um eine gehirnähnliche Wiederholung mit künstlicher Intelligenz zu entwickeln, bei der keine Daten gespeichert wurden. Wie im menschlichen Gehirn nimmt das künstliche Netzwerk, was es zuvor gesehen hat, um Repräsentationen auf einem hohen Level zu generieren.

Die Methode war sehr effizient, und bereits mit wenigen wiederholten generierten Repräsentationen konnten ältere Erinnerungen wiedererlangt werden, während neue gelernt wurden. Generative Wiederholung ist effektiv darin, katastrophales Vergessen zu verhindern, und einer der größten Vorteile ist, dass sie es dem System ermöglicht, von einer Situation auf eine andere zu verallgemeinern.

Laut van de Ven “wird unser Netzwerk mit generativer Wiederholung, wenn es zunächst lernt, Katzen von Hunden zu trennen, und dann Bären von Füchsen, auch Katzen von Füchsen unterscheiden, ohne dass es speziell dazu trainiert wurde. Und bemerkenswerterweise wird das System je mehr es lernt, besser darin, neue Aufgaben zu lernen.”

“Wir schlagen eine neue, gehirninspirierte Variante der Wiederholung vor, bei der interne oder versteckte Repräsentationen wiederholt werden, die durch die eigenen, kontextmodulierten Rückkopplungsverbindungen des Netzwerks generiert werden”, schreibt das Team. “Unsere Methode erreichte Spitzenleistungen bei anspruchsvollen kontinuierlichen Lernbenchmarks ohne Daten zu speichern und bietet ein neues Modell für abstrakte Wiederholung im Gehirn.”

“Unsere Methode macht mehrere interessante Vorhersagen über die Art und Weise, wie Wiederholung zur Konsolidierung von Erinnerungen im Gehirn beitragen könnte”, fährt van de Ven fort. “Wir führen bereits ein Experiment durch, um einige dieser Vorhersagen zu testen.”