Les chercheurs s’inspirent des animaux pour donner un sens commun aux systèmes d’apprentissage par renforcement

Les chercheurs en intelligence artificielle des instituts tels que l’Imperial College London, l’Université de Cambridge et Google DeepMind s’inspirent des animaux pour améliorer les performances des systèmes d’apprentissage par renforcement. Dans un article conjoint publié dans CellPress Reviews, intitulé « Intelligence artificielle et sens commun des animaux », les chercheurs soutiennent que la cognition animale fournit des références et des méthodes d’évaluation utiles pour les agents d’apprentissage par renforcement et qu’elle peut également éclairer la conception de tâches et d’environnements.

Les chercheurs en intelligence artificielle et les ingénieurs ont longtemps puisé leur inspiration dans les réseaux neuronaux biologiques pour concevoir des algorithmes, en utilisant des principes de la science du comportement et des neurosciences pour éclairer la structure des algorithmes. Cependant, la plupart des indices que les chercheurs en intelligence artificielle prennent dans les domaines des neurosciences et de la science du comportement sont basés sur les humains, avec la cognition des jeunes enfants et des nourrissons servant de point focal. Les chercheurs en intelligence artificielle n’ont pas encore puisé beaucoup d’inspiration dans les modèles animaux, mais la cognition animale est une ressource inexplorée qui a le potentiel de conduire à des avancées importantes dans l’espace de l’apprentissage par renforcement.

Les systèmes d’apprentissage par renforcement profond sont formés à travers un processus d’essais et d’erreurs, renforcés par des récompenses chaque fois qu’un agent d’apprentissage par renforcement se rapproche de l’objectif souhaité. Cela ressemble beaucoup à l’enseignement d’un animal pour effectuer une tâche souhaitée en utilisant la nourriture comme récompense. Les biologistes et les spécialistes de la cognition animale ont mené de nombreuses expériences évaluant les capacités cognitives d’une variété d’animaux différents, notamment les chiens, les ours, les écureuils, les porcs, les corbeaux, les dauphins, les chats, les souris, les éléphants et les pieuvres. De nombreux animaux font preuve de capacités intellectuelles impressionnantes, et certains animaux comme les éléphants et les dauphins pourraient même avoir une théorie de l’esprit.

En examinant l’ensemble des recherches effectuées sur la cognition animale, les chercheurs en intelligence artificielle pourraient être inspirés pour aborder les problèmes sous différents angles. Alors que l’apprentissage par renforcement profond est devenu plus puissant et sophistiqué, les chercheurs en intelligence artificielle spécialisés dans le domaine recherchent de nouvelles façons de tester les capacités cognitives des agents d’apprentissage par renforcement. Dans l’article de recherche, l’équipe de recherche fait référence aux types d’expériences menées avec les primates et les oiseaux, mentionnant qu’ils visent à concevoir des systèmes capables de réaliser des tâches similaires, donnant à un système d’intelligence artificielle une sorte de « sens commun ». Selon les auteurs de l’article, ils « préconisent une approche dans laquelle les agents d’apprentissage par renforcement, peut-être avec des architectures encore inexplorées, acquièrent ce qui est nécessaire à travers une interaction prolongée avec des environnements virtuels riches ».

Selon VentureBeat, les chercheurs en intelligence artificielle soutiennent que le sens commun n’est pas un trait unique aux humains et qu’il dépend de la compréhension des propriétés physiques fondamentales du monde, telles que la façon dont un objet occupe un point et un espace, quels sont les contraintes sur les mouvements de cet objet et une appréciation de la cause et de l’effet. Les animaux affichent ces traits dans les études de laboratoire. Par exemple, les corbeaux comprennent que les objets sont des choses permanentes, car ils sont capables de récupérer des graines même lorsque la graine est cachée à leur vue, recouverte d’un autre objet.

Afin de doter un système d’apprentissage par renforcement de ces propriétés, les chercheurs soutiennent qu’ils devront créer des tâches qui, lorsqu’elles sont associées à l’architecture appropriée, créeront des agents capables de transférer les principes appris à d’autres tâches. Les chercheurs soutiennent que la formation d’un tel modèle devrait impliquer des techniques qui nécessitent qu’un agent acquière une compréhension d’un concept après avoir été exposé à seulement quelques exemples, appelé formation à quelques exemples. Cela contraste avec les centaines ou les milliers d’essais qui entrent généralement dans la formation par essais et erreurs d’un agent d’apprentissage par renforcement.

L’équipe de recherche explique ensuite que, même si certains agents d’apprentissage par renforcement modernes peuvent apprendre à résoudre plusieurs tâches, dont certaines nécessitent le transfert de principes appris, il n’est pas clair que les agents d’apprentissage par renforcement puissent apprendre un concept aussi abstrait que le « sens commun ». Si un agent était potentiellement capable d’apprendre un tel concept, ils auraient besoin de tests capables de déterminer si un agent d’apprentissage par renforcement comprenait le concept d’un conteneur.

DeepMind est particulièrement enthousiaste à l’idée de s’engager dans de nouvelles et différentes façons de développer et de tester les agents d’apprentissage par renforcement. Récemment, lors de la conférence Stanford HAI qui a eu lieu plus tôt en octobre, le responsable de la recherche en neurosciences de DeepMind, Matthew Botvinick, a encouragé les chercheurs en apprentissage automatique et les ingénieurs à collaborer davantage dans d’autres domaines de la science. Botvinick a souligné l’importance du travail interdisciplinaire avec les psychologues et les neurosciences pour le domaine de l’intelligence artificielle dans une conférence intitulée « Trianguler l’intelligence : fusionner les neurosciences, la psychologie et l’IA ».