Les chercheurs se tournent vers les animaux pour donner du bon sens aux systèmes d'apprentissage par renforcement

Des chercheurs en IA d'instituts comme l'Imperial College de Londres, l'Université de Cambridge et Google DeepMind se tournent vers les animaux pour s'inspirer de la manière d'améliorer les performances des systèmes d'apprentissage par renforcement. Dans une articulation article publié dans CellPress Reviews, intitulé "L'intelligence artificielle et le sens commun des animaux", les chercheurs soutiennent que la cognition animale fournit des repères et des méthodes d'évaluation utiles pour les agents d'apprentissage par renforcement et qu'elle peut également éclairer l'ingénierie des tâches et des environnements.

Les chercheurs et ingénieurs en IA se sont longtemps inspirés des réseaux de neurones biologiques pour concevoir des algorithmes, en utilisant des principes de la science du comportement et des neurosciences pour informer la structure des algorithmes. Pourtant, la plupart des indices que les chercheurs en IA tirent des domaines des neurosciences et des sciences du comportement sont basés sur les humains, la cognition des jeunes enfants et des nourrissons servant de point central. Les chercheurs en IA doivent encore s'inspirer beaucoup des modèles animaux, mais la cognition animale est une ressource inexploitée qui a le potentiel de conduire à des percées importantes dans l'espace d'apprentissage par renforcement.

Les systèmes d'apprentissage par renforcement profond sont formés par un processus d'essais et d'erreurs, renforcés par des récompenses chaque fois qu'un agent d'apprentissage par renforcement se rapproche de l'objectif souhaité. Cela revient à apprendre à un animal à accomplir une tâche souhaitée en utilisant la nourriture comme récompense. Les biologistes et spécialistes de la cognition animale ont réalisé de nombreuses expériences évaluer les capacités cognitives d'une variété d'animaux différents, y compris des chiens, des ours, des écureuils, des cochons, des corbeaux, des dauphins, des chats, des souris, des éléphants et des pieuvres. De nombreux animaux présentent des démonstrations impressionnantes d'intelligence, et certains animaux comme les éléphants et les dauphins peut même avoir une théorie de l'esprit.

L'examen de l'ensemble des recherches effectuées sur la cognition animale pourrait inspirer les chercheurs en IA à envisager les problèmes sous différents angles. Alors que l'apprentissage par renforcement profond est devenu plus puissant et sophistiqué, les chercheurs en IA spécialisés dans le domaine recherchent de nouvelles façons de tester les capacités cognitives des agents d'apprentissage par renforcement. Dans le document de recherche, l'équipe de recherche fait référence aux types d'expériences menées avec des primates et des oiseaux, mentionnant qu'elles visent à concevoir des systèmes capables d'accomplir des types de tâches similaires, donnant à une IA un type de "sens commun”. Selon les auteurs de l'article, ils "préconisent une approche dans laquelle les agents RL, peut-être avec des architectures encore non développées, acquièrent ce qui est nécessaire grâce à une interaction étendue avec des environnements virtuels riches".

Tel que rapporté par VentureBeat, les chercheurs en intelligence artificielle soutiennent que le bon sens n'est pas un trait propre aux humains et qu'il dépend d'une compréhension des propriétés de base du monde physique, telles que la façon dont un objet occupe un point et un espace, les contraintes qui pèsent sur cet objet. mouvements, et une appréciation de la cause et de l'effet. Les animaux présentent ces traits dans des études en laboratoire. Par exemple, les corbeaux comprennent que les objets sont des choses permanentes, car ils sont capables de récupérer des graines même lorsque la graine leur est cachée, recouverte par un autre objet.

Afin de doter un système d'apprentissage par renforcement de ces propriétés, les chercheurs affirment qu'ils devront créer des tâches qui, associées à la bonne architecture, créeront des agents capables de transférer les principes appris à d'autres tâches. Les chercheurs soutiennent que la formation pour un tel modèle devrait impliquer des techniques qui nécessitent qu'un agent acquière une compréhension d'un concept après avoir été exposé à seulement quelques exemples, appelée formation en quelques coups. Cela contraste avec les centaines ou milliers d'essais traditionnels qui entrent généralement dans la formation par essais et erreurs d'un agent RL.

L'équipe de recherche poursuit en expliquant que si certains agents RL modernes peuvent apprendre à résoudre plusieurs tâches, dont certaines nécessitent le transfert de base de principes appris, il n'est pas clair que les agents RL puissent apprendre un concept aussi abstrait au "bon sens". . S'il y avait un agent potentiellement capable d'apprendre un tel concept, il aurait besoin de tests capables de vérifier si un agent RL a compris le concept de conteneur.

DeepMind, en particulier, est ravi de s'engager dans des méthodes nouvelles et différentes de développement et de test d'agents d'apprentissage par renforcement. Récemment, lors de la conférence HAI de Stanford qui a eu lieu plus tôt en octobre, Matthew Botvinick, responsable de la recherche en neurosciences chez DeepMind, a exhorté les chercheurs et les ingénieurs en apprentissage automatique à collaborer davantage dans d'autres domaines scientifiques. Botvinick a souligné l'importance du travail interdisciplinaire avec des psychologues et des neurosciences pour le domaine de l'IA dans une conférence intitulée "Triangulation de l'intelligence : Fusion des neurosciences, de la psychologie et de l'IA".