Forscher suchen bei Tieren nach Verstärkung für Lernsysteme mit gemeinsamem Sinn

KI-Forscher von Instituten wie dem Imperial College London, der University of Cambridge und Google DeepMind suchen bei Tieren nach Inspiration, um die Leistung von Verstärkungslernsystemen zu verbessern. In einem gemeinsamen Paper, das in CellPress Reviews veröffentlicht wurde, mit dem Titel „Künstliche Intelligenz und der gesunde Menschenverstand von Tieren“, argumentieren die Forscher, dass die Tierkognition nützliche Benchmark- und Evaluierungsmethoden für Verstärkungslernagenten bietet und auch die Konstruktion von Aufgaben und Umgebungen informieren kann.

KI-Forscher und Ingenieure haben seit langem biologische neuronale Netze als Inspiration für die Entwicklung von Algorithmen genutzt, wobei Prinzipien aus der Verhaltenswissenschaft und Neurowissenschaft verwendet werden, um die Struktur von Algorithmen zu informieren. Doch die meisten Hinweise, die KI-Forscher aus den Neurowissenschaften und Verhaltenswissenschaften übernehmen, basieren auf Menschen, wobei die Kognition von kleinen Kindern und Säuglingen im Mittelpunkt steht. KI-Forscher haben bisher noch nicht viel Inspiration aus Tiermodellen gezogen, aber die Tierkognition ist eine ungenutzte Ressource, die zu wichtigen Durchbrüchen im Bereich des Verstärkungslernens führen kann.

Tiefe Verstärkungslernsysteme werden durch einen Prozess von Trial und Error trainiert, der durch Belohnungen verstärkt wird, wenn ein Verstärkungslernagent näher an die Erreichung eines gewünschten Ziels kommt. Dies ist sehr ähnlich wie das Training eines Tieres, um eine bestimmte Aufgabe auszuführen, indem man es mit Nahrung belohnt. Biologen und Tierkognitionsspezialisten haben viele Experimente zur Bewertung der kognitiven Fähigkeiten verschiedener Tiere durchgeführt, darunter Hunde, Bären, Eichhörnchen, Schweine, Krähen, Delfine, Katzen, Mäuse, Elefanten und Octopussen. Viele Tiere zeigen beeindruckende Anzeichen von Intelligenz, und einige Tiere wie Elefanten und Delfine können sogar eine Theorie des Geistes haben.

Die Betrachtung des Forschungsstandes zur Tierkognition könnte KI-Forscher dazu anregen, Probleme aus verschiedenen Perspektiven zu betrachten. Da das tiefe Verstärkungslernen immer leistungsfähiger und komplexer wird, suchen KI-Forscher, die auf diesem Gebiet spezialisiert sind, nach neuen Wegen, um die kognitiven Fähigkeiten von Verstärkungslernagenten zu testen. In dem Forschungspaper bezieht sich das Forscherteam auf die Arten von Experimenten, die mit Primaten und Vögeln durchgeführt wurden, und erwähnt, dass sie darauf abzielen, Systeme zu entwerfen, die ähnliche Arten von Aufgaben ausführen können, einem KI-System eine Art von „gesundem Menschenverstand“ zu geben. Laut den Autoren des Papiers „befürworten wir einen Ansatz, bei dem RL-Agenten, vielleicht mit noch nicht entwickelten Architekturen, durch ausgedehnte Interaktion mit reichen virtuellen Umgebungen erwerben, was benötigt wird.“

Wie von VentureBeat berichtet, argumentieren die KI-Forscher, dass gesunder Menschenverstand kein Merkmal ist, das nur Menschen besitzen, und dass er von einem Verständnis der grundlegenden Eigenschaften der physischen Welt abhängt, wie z.B. wie ein Objekt einen Punkt und einen Raum einnimmt, welche Einschränkungen es für die Bewegung dieses Objekts gibt und eine Wertschätzung für Ursache und Wirkung. Tiere zeigen diese Merkmale in Laborstudien. Zum Beispiel verstehen Krähen, dass Objekte dauerhafte Dinge sind, da sie in der Lage sind, Samen zurückzubekommen, auch wenn der Same von ihnen versteckt ist und von einem anderen Objekt bedeckt wird.

Um einem Verstärkungslernsystem diese Eigenschaften zu verleihen, argumentieren die Forscher, dass sie Aufgaben erstellen müssen, die, wenn sie mit der richtigen Architektur kombiniert werden, Agenten erzeugen, die in der Lage sind, erlernte Prinzipien auf andere Aufgaben zu übertragen. Die Forscher argumentieren, dass die Schulung für ein solches Modell Techniken erfordern sollte, die es einem Agenten ermöglichen, ein Konzept nach der Exposition gegenüber nur wenigen Beispielen zu verstehen, was als Few-Shot-Training bezeichnet wird. Dies steht im Gegensatz zu den traditionellen hunderten oder tausenden von Versuchen, die normalerweise in die Trial-and-Error-Schulung eines RL-Agents investiert werden.

Das Forscherteam erklärt weiter, dass einige moderne RL-Agenten lernen können, mehrere Aufgaben zu lösen, von denen einige das grundlegende Übertragen erlernter Prinzipien erfordern, es jedoch nicht klar ist, ob RL-Agenten ein so abstraktes Konzept wie „gesunder Menschenverstand“ lernen können. Wenn es einen Agenten gäbe, der potenziell in der Lage wäre, ein solches Konzept zu lernen, bräuchte man Tests, die feststellen können, ob ein RL-Agent das Konzept eines Behälters versteht.

DeepMind ist insbesondere daran interessiert, sich mit neuen und unterschiedlichen Wegen der Entwicklung und des Testens von Verstärkungslernagenten auseinanderzusetzen. Kürzlich, auf der Stanford HAI-Konferenz, die Anfang Oktober stattfand, forderte DeepMinds Leiter der Neurowissenschaftsforschung, Matthew Botvinick, Maschinenlernforscher und Ingenieure auf, mehr mit anderen Wissenschaftsbereichen zusammenzuarbeiten. Botvinick hob die Bedeutung interdisziplinärer Arbeit mit Psychologen und Neurowissenschaftlern für das KI-Feld in einem Vortrag hervor, der „Intelligenz triangulieren: Mischen von Neurowissenschaft, Psychologie und KI“ hieß.