Technique permettant à l’IA de réfléchir loin dans le futur

Une équipe de chercheurs du MIT, du MIT-IBM Watson AI Lab et d’autres institutions a développé une nouvelle approche qui permet aux agents d’intelligence artificielle (IA) d’acquérir une perspective à long terme. En d’autres termes, l’IA peut réfléchir loin dans le futur lorsqu’elle considère comment ses comportements peuvent inclure les comportements d’autres agents IA lors de la réalisation d’une tâche. 

La recherche doit être présentée à la Conférence sur le traitement de l’information neuronale.

IA considérant les actions futures d’autres agents

Le cadre d’apprentissage automatique créé par l’équipe permet aux agents IA coopératifs ou concurrents de considérer ce que les autres agents feront. Ce n’est pas seulement pour les prochaines étapes, mais plutôt à mesure que le temps approche de l’infini. Les agents adaptent leurs comportements en conséquence pour influencer les comportements futurs des autres agents, ce qui les aide à atteindre des solutions optimales à long terme. 

Selon l’équipe, le cadre pourrait être utilisé, par exemple, par un groupe de drones autonomes travaillant ensemble pour trouver un randonneur égaré. Il pourrait également être utilisé par des véhicules autonomes pour anticiper les mouvements futurs d’autres véhicules et améliorer la sécurité des passagers.

Dong-Ki Kim est un étudiant diplômé du Laboratoire d’information et de décision des systèmes (LIDS) du MIT et auteur principal de l’article de recherche. 

“Lorsque les agents IA coopèrent ou sont en concurrence, ce qui compte le plus est lorsque leurs comportements convergent à un moment donné dans le futur”, déclare Kim. “Il y a beaucoup de comportements transitoires en cours de route qui n’ont pas beaucoup d’importance à long terme. Atteindre ce comportement convergent est ce que nous nous soucions vraiment, et nous avons maintenant un moyen mathématique de permettre cela.”

Le problème abordé par les chercheurs est appelé apprentissage renforcé multi-agents, l’apprentissage renforcé étant une forme d’apprentissage automatique dans laquelle les agents IA apprennent par essais et erreurs. 

Lorsqu’il y a plusieurs agents coopératifs ou concurrents qui apprennent simultanément, le processus peut devenir beaucoup plus complexe. Lorsque les agents considèrent davantage les étapes futures des autres agents, ainsi que leur propre comportement et son influence sur les autres, le problème nécessite trop de puissance de calcul. 

IA réfléchissant à l’infini

“Les IA veulent vraiment réfléchir à la fin du jeu, mais ils ne savent pas quand le jeu se terminera”, déclare Kim. “Ils doivent réfléchir à la façon de continuer à adapter leur comportement à l’infini afin de gagner à un moment lointain dans le futur. Notre article propose essentiellement un nouvel objectif qui permet à une IA de réfléchir à l’infini.” 

Il est impossible d’intégrer l’infini dans un algorithme, donc l’équipe a conçu le système de telle sorte que les agents se concentrent sur un point futur où leur comportement convergera avec celui des autres agents. Cela est appelé équilibre, et un point d’équilibre détermine les performances à long terme des agents. 

Il est possible que plusieurs équilibres existent dans un scénario multi-agents, et lorsqu’un agent efficace influence activement les comportements futurs des autres agents, ils peuvent atteindre un équilibre souhaitable du point de vue de l’agent. Lorsque tous les agents influencent les autres, ils convergent vers un concept général appelé « équilibre actif ». 

Cadre FURTHER

Le cadre d’apprentissage automatique de l’équipe s’appelle FURTHER, et il permet aux agents d’apprendre à ajuster leurs comportements en fonction de leurs interactions avec d’autres agents pour atteindre un équilibre actif. 

Le cadre repose sur deux modules d’apprentissage automatique. Le premier est un module d’inférence qui permet à un agent de deviner les comportements futurs d’autres agents et les algorithmes d’apprentissage qu’ils utilisent en fonction de leurs actions antérieures. Les informations sont ensuite transmises au module d’apprentissage renforcé, sur lequel l’agent s’appuie pour adapter son comportement et influencer les autres agents. 

“Le défi était de réfléchir à l’infini. Nous avons dû utiliser de nombreux outils mathématiques différents pour permettre cela et faire certaines hypothèses pour que cela fonctionne dans la pratique”, déclare Kim. 

L’équipe a testé sa méthode contre d’autres cadres d’apprentissage renforcé multi-agents dans différents scénarios où les agents IA utilisant FURTHER sont sortis vainqueurs. 

L’approche est décentralisée, donc les agents apprennent à gagner de manière indépendante. En outre, elle est mieux conçue pour être mise à l’échelle par rapport à d’autres méthodes qui nécessitent un ordinateur central pour contrôler les agents. 

Selon l’équipe, FURTHER pourrait être utilisé dans un large éventail de problèmes multi-agents. Kim est particulièrement optimiste quant à ses applications en économie, où il pourrait être appliqué pour développer une politique solide dans des situations impliquant de nombreuses entités interactives avec des comportements et des intérêts qui changent au fil du temps.