Le langage humain accélère l'apprentissage robotique

Une équipe de chercheurs de Princeton a découvert que les descriptions d'outils en langage humain peuvent accélérer l'apprentissage d'un bras robotique simulé capable de soulever et d'utiliser divers outils.

La nouvelle recherche soutient l'idée que la formation à l'IA peut rendre les robots autonomes plus adaptatifs dans de nouvelles situations, ce qui à son tour améliore leur efficacité et leur sécurité.

En ajoutant des descriptions de la forme et de la fonction d'un outil au processus de formation du robot, la capacité du robot à manipuler de nouveaux outils a été améliorée.

Méthode ATLA pour la formation

La nouvelle méthode s'appelle Apprentissage accéléré de la manipulation d'outils avec le langage, ou ATLA.

Anirudha Majumdar est professeur adjoint d'ingénierie mécanique et aérospatiale à Princeton et directeur de l'Intelligent Robot Motion Lab.

"Des informations supplémentaires sous forme de langage peuvent aider un robot à apprendre à utiliser les outils plus rapidement", a déclaré Majumdar.

L'équipe a interrogé le modèle de langage GPT-3 pour obtenir des descriptions d'outils. Après avoir essayé diverses invites, ils ont décidé d'utiliser "Décrivez la [fonction] de [l'outil] dans une réponse détaillée et scientifique", la caractéristique étant la forme ou le but de l'outil.

Karthik Narasimhan est professeur adjoint d'informatique et co-auteur de l'étude. Narasimhan est également l'un des principaux membres du corps professoral du groupe de traitement du langage naturel (NLP) de Princeton et a contribué au modèle de langage GPT original en tant que chercheur invité à OpenAI.

"Parce que ces modèles de langage ont été formés sur Internet, vous pouvez en quelque sorte considérer cela comme une manière différente de récupérer ces informations de manière plus efficace et plus complète que d'utiliser le crowdsourcing ou de gratter des sites Web spécifiques pour les descriptions d'outils", a déclaré Narasimhan.

Expériences d'apprentissage de robots simulés

L'équipe a sélectionné un ensemble de formation de 27 outils pour leurs expériences d'apprentissage de robots simulés, les outils allant d'une hache à une raclette. Le bras robotique a reçu quatre tâches différentes : pousser l'outil, soulever l'outil, l'utiliser pour balayer un cylindre le long d'une table ou enfoncer une cheville dans un trou.

L’équipe a ensuite développé une suite de politiques en utilisant des approches d’apprentissage automatique avec et sans informations linguistiques. Les performances des politiques ont été comparées sur un test distinct de neuf outils avec des descriptions appariées.

L'approche, appelée méta-apprentissage, améliore la capacité d'apprentissage du robot à chaque tâche successive.

Selon Narasimhan, le robot n'apprend pas seulement à utiliser chaque outil, mais aussi "essaie d'apprendre à comprendre les descriptions de chacun de ces cent outils différents, donc quand il voit le 101e outil, il apprend plus rapidement à utiliser le nouvel outil. ”

Dans la plupart des expériences, les informations linguistiques ont fourni des avantages significatifs pour la capacité du robot à utiliser de nouveaux outils.

Allen Z. Ren est titulaire d'un doctorat. étudiant dans le groupe de Majumdar et auteur principal du document de recherche.

"Avec la formation linguistique, il apprend à saisir l'extrémité longue du pied de biche et à utiliser la surface incurvée pour mieux contraindre le mouvement de la bouteille", a déclaré Ren. "Sans la langue, il a saisi le pied de biche près de la surface incurvée et c'était plus difficile à contrôler."

"L'objectif général est de faire en sorte que les systèmes robotiques - en particulier ceux qui sont formés à l'aide de l'apprentissage automatique - se généralisent à de nouveaux environnements", a ajouté Majumdar.