Les chercheurs regardent les animaux pour donner aux systèmes d’apprentissage par renforcement un sens commun

Les chercheurs en intelligence artificielle d’instituts comme l’Imperial College London, l’Université de Cambridge et Google DeepMind cherchent à s’inspirer des animaux pour améliorer les performances des systèmes d’apprentissage par renforcement. Dans un article conjoint publié dans CellPress Reviews, intitulé « Intelligence artificielle et sens commun des animaux », les chercheurs soutiennent que la cognition animale fournit des références et des méthodes d’évaluation utiles pour les agents d’apprentissage par renforcement et qu’elle peut également éclairer la conception de tâches et d’environnements.

Les chercheurs et les ingénieurs en intelligence artificielle ont longtemps regardé les réseaux neuronaux biologiques pour s’inspirer lors de la conception d’algorithmes, en utilisant des principes de sciences du comportement et de neurosciences pour éclairer la structure des algorithmes. Cependant, la plupart des indices que les chercheurs en intelligence artificielle prennent des domaines des neurosciences et des sciences du comportement sont basés sur les humains, avec la cognition des jeunes enfants et des nourrissons servant de point focal. Les chercheurs en intelligence artificielle n’ont pas encore puisé beaucoup d’inspiration dans les modèles animaux, mais la cognition animale est une ressource inexplorée qui a le potentiel de conduire à des avancées importantes dans l’espace de l’apprentissage par renforcement.

Les systèmes d’apprentissage par renforcement profond sont formés à travers un processus d’essais et d’erreurs, renforcés par des récompenses chaque fois qu’un agent d’apprentissage par renforcement se rapproche de l’accomplissement d’un objectif souhaité. Cela ressemble beaucoup à l’enseignement d’une tâche à un animal en utilisant de la nourriture comme récompense. Les biologistes et les spécialistes de la cognition animale ont mené de nombreuses expériences évaluant les capacités cognitives d’une variété d’animaux différents, notamment des chiens, des ours, des écureuils, des porcs, des corbeaux, des dauphins, des chats, des souris, des éléphants et des pieuvres. De nombreux animaux font preuve de capacités intellectuelles impressionnantes, et certains animaux comme les éléphants et les dauphins pourraient même avoir une théorie de l’esprit.

Considérer l’ensemble des recherches effectuées sur la cognition animale pourrait inspirer les chercheurs en intelligence artificielle à aborder les problèmes sous des angles différents. Alors que l’apprentissage par renforcement profond est devenu plus puissant et sophistiqué, les chercheurs en intelligence artificielle spécialisés dans le domaine cherchent de nouvelles façons de tester les capacités cognitives des agents d’apprentissage par renforcement. Dans l’article de recherche, l’équipe de recherche fait référence aux types d’expériences menées avec les primates et les oiseaux, mentionnant qu’ils visent à concevoir des systèmes capables d’accomplir des tâches similaires, donnant à un système d’intelligence artificielle une sorte de « sens commun ». Selon les auteurs de l’article, ils « préconisent une approche dans laquelle les agents RL, peut-être avec des architectures encore non développées, acquièrent ce qui est nécessaire à travers une interaction prolongée avec des environnements virtuels riches. »

Comme le rapporte VentureBeat, les chercheurs en intelligence artificielle soutiennent que le sens commun n’est pas un trait unique aux humains et qu’il dépend de la compréhension des propriétés de base du monde physique, telles que la façon dont un objet occupe un point et un espace, quels sont les contraintes sur les mouvements de cet objet et une appréciation de la cause et de l’effet. Les animaux affichent ces traits dans les études de laboratoire. Par exemple, les corbeaux comprennent que les objets sont des choses permanentes, car ils sont capables de récupérer des graines même lorsque la graine est cachée à leur vue, recouverte par un autre objet.

Pour doter un système d’apprentissage par renforcement de ces propriétés, les chercheurs soutiennent qu’ils devront créer des tâches qui, associées à l’architecture appropriée, créeront des agents capables de transférer les principes appris à d’autres tâches. Les chercheurs soutiennent que la formation d’un tel modèle devrait impliquer des techniques qui nécessitent qu’un agent acquière une compréhension d’un concept après avoir été exposé à seulement quelques exemples, appelé formation en quelques exemples. Cela contraste avec les centaines ou les milliers d’essais qui entrent généralement dans la formation par essais et erreurs d’un agent RL.

L’équipe de recherche explique ensuite que, même si certains agents RL modernes peuvent apprendre à résoudre plusieurs tâches, dont certaines nécessitent le transfert de principes appris, il n’est pas clair que les agents RL puissent apprendre un concept aussi abstrait que le « sens commun ». Si un agent était potentiellement capable d’apprendre un tel concept, ils auraient besoin de tests capables de déterminer si un agent RL comprenait le concept d’un conteneur.

DeepMind est particulièrement enthousiaste à l’idée de s’engager dans de nouvelles et différentes façons de développer et de tester les agents d’apprentissage par renforcement. Récemment, lors de la conférence Stanford HAI qui a eu lieu plus tôt en octobre, le responsable de la recherche en neurosciences de DeepMind, Matthew Botvinick, a encouragé les chercheurs et les ingénieurs en apprentissage automatique à collaborer davantage avec d’autres domaines scientifiques. Botvinick a souligné l’importance du travail interdisciplinaire avec les psychologues et les neurosciences pour le domaine de l’intelligence artificielle dans une conférence intitulée « Trianguler l’intelligence : fusionner les neurosciences, la psychologie et l’IA ».