Forscher suchen bei Tieren nach Inspiration, um Reinforcement-Learning-Systemen Alltagsverstand zu verleihen

Forscher aus Instituten wie dem Imperial College London, der University of Cambridge und Google DeepMind suchen bei Tieren nach Inspiration, um die Leistung von Reinforcement-Learning-Systemen zu verbessern. In einem gemeinsamen Artikel in CellPress Reviews mit dem Titel „Künstliche Intelligenz und der Alltagsverstand von Tieren“ argumentieren die Forscher, dass die Tierkognition nützliche Benchmark- und Evaluationsmethoden für Reinforcement-Learning-Agenten bietet und auch die Konstruktion von Aufgaben und Umgebungen informieren kann.

Forscher auf dem Gebiet der künstlichen Intelligenz und Ingenieure haben sich seit Langem an biologischen neuronalen Netzen orientiert, wenn sie Algorithmen entwerfen, und verwenden Prinzipien aus der Verhaltenswissenschaft und der Neurowissenschaft, um die Struktur von Algorithmen zu informieren. Die meisten Hinweise, die KI-Forscher aus den Neurowissenschaften und der Verhaltenswissenschaft übernehmen, basieren jedoch auf Menschen, wobei die Kognition von kleinen Kindern und Säuglingen den Mittelpunkt bildet. KI-Forscher haben bisher wenig Inspiration aus Tiermodellen gezogen, aber die Tierkognition ist eine ungenutzte Ressource, die zu wichtigen Durchbrüchen im Reinforcement-Learning-Bereich führen kann.

Tiefe Reinforcement-Learning-Systeme werden durch einen Prozess von Trial und Error trainiert, der durch Belohnungen verstärkt wird, wenn ein Reinforcement-Learning-Agent näher an die Erreichung eines gewünschten Ziels kommt. Dies ist sehr ähnlich wie das Training eines Tieres, um eine bestimmte Aufgabe auszuführen, indem man es mit Futter belohnt. Biologen und Tierkognitionsspezialisten haben viele Experimente zur Bewertung der kognitiven Fähigkeiten von verschiedenen Tieren durchgeführt, darunter Hunde, Bären, Eichhörnchen, Schweine, Krähen, Delfine, Katzen, Mäuse, Elefanten und Octopoden. Viele Tiere zeigen beeindruckende Intelligenzleistungen, und einige Tiere wie Elefanten und Delfine können sogar eine Theorie des Geistes haben.

Die Betrachtung der Forschungsergebnisse zur Tierkognition könnte KI-Forscher dazu anregen, Probleme aus verschiedenen Perspektiven zu betrachten. Da das tiefe Reinforcement-Learning leistungsfähiger und komplexer geworden ist, suchen KI-Forscher, die auf diesem Gebiet spezialisiert sind, nach neuen Möglichkeiten, die kognitiven Fähigkeiten von Reinforcement-Learning-Agenten zu testen. Im Forschungsartikel bezieht sich das Forscherteam auf die Arten von Experimenten, die mit Primaten und Vögeln durchgeführt wurden, und erwähnt, dass sie Systeme entwerfen möchten, die in der Lage sind, ähnliche Aufgaben auszuführen, und einem KI-System eine Art von „Alltagsverstand“ zu verleihen. Laut den Autoren des Artikels „befürworten wir einen Ansatz, bei dem RL-Agenten, vielleicht mit noch nicht entwickelten Architekturen, das erforderliche Wissen durch ausgedehnte Interaktion mit reichen virtuellen Umgebungen erwerben.“

Wie von VentureBeat berichtet wird, argumentieren die KI-Forscher, dass Alltagsverstand kein Merkmal ist, das nur Menschen besitzen, und dass er von einem Verständnis der grundlegenden Eigenschaften der physischen Welt abhängt, wie z.B. wie ein Objekt einen Punkt und einen Raum einnimmt, welche Einschränkungen es für die Bewegung des Objekts gibt und eine Wertschätzung für Ursache und Wirkung. Tiere zeigen diese Merkmale in Laborstudien. Zum Beispiel verstehen Krähen, dass Objekte dauerhafte Dinge sind, da sie in der Lage sind, Samen zurückzubekommen, auch wenn der Same von einem anderen Objekt verdeckt wird.

Um ein Reinforcement-Learning-System mit diesen Eigenschaften auszustatten, argumentieren die Forscher, dass sie Aufgaben erstellen müssen, die, wenn sie mit der richtigen Architektur kombiniert werden, Agenten hervorbringen, die in der Lage sind, erlernte Prinzipien auf andere Aufgaben zu übertragen. Die Forscher argumentieren, dass die Schulung für ein solches Modell Techniken beinhalten sollte, die es einem Agenten ermöglichen, ein Konzept nach der Darstellung nur weniger Beispiele zu erlernen, was als Few-Shot-Training bezeichnet wird. Dies ist im Gegensatz zu den traditionellen Hunderten oder Tausenden von Versuchen, die normalerweise in die Schulung eines RL-Agents investiert werden.

Das Forscherteam erklärt weiter, dass einige moderne RL-Agenten in der Lage sind, mehrere Aufgaben zu lösen, von denen einige die Übertragung erlernter Prinzipien erfordern, es jedoch nicht klar ist, ob RL-Agenten ein so abstraktes Konzept wie „Alltagsverstand“ lernen können. Wenn es ein Agenten gäbe, der in der Lage wäre, ein solches Konzept zu lernen, bräuchten sie Tests, die feststellen können, ob ein RL-Agent das Konzept eines Behälters versteht.

DeepMind ist insbesondere daran interessiert, sich mit neuen und unterschiedlichen Methoden der Entwicklung und des Testens von Reinforcement-Learning-Agenten auseinanderzusetzen. Kürzlich, auf der Stanford-HAI-Konferenz, die Anfang Oktober stattfand, ermutigte DeepMinds Leiter der Neurowissenschaftsforschung, Matthew Botvinick, Maschinenlern-Forscher und Ingenieure, in anderen Wissenschaftsbereichen zusammenzuarbeiten. Botvinick betonte die Bedeutung interdisziplinärer Arbeit mit Psychologen und Neurowissenschaftlern für das KI-Feld in einem Vortrag mit dem Titel „Triangulierender Intellekt: Verschmelzen von Neurowissenschaft, Psychologie und KI“.