Le langage humain accélère l’apprentissage robotique

Une équipe de chercheurs de Princeton a découvert que les descriptions de langage humain des outils peuvent accélérer l’apprentissage d’un bras robotique simulé capable de soulever et d’utiliser divers outils.

Les nouvelles recherches soutiennent l’idée que la formation de l’IA peut rendre les robots autonomes plus adaptables dans de nouvelles situations, ce qui améliore leur efficacité et leur sécurité.

En ajoutant des descriptions de la forme et de la fonction d’un outil au processus de formation du robot, la capacité du robot à manipuler de nouveaux outils a été améliorée.

Méthode ATLA pour la formation

La nouvelle méthode s’appelle Apprentissage accéléré de la manipulation d’outils avec le langage, ou ATLA.

Anirudha Majumdar est professeur adjoint de génie mécanique et aérospatial à Princeton et chef du laboratoire de mouvement de robot intelligent.

« Les informations supplémentaires sous forme de langage peuvent aider un robot à apprendre à utiliser les outils plus rapidement », a déclaré Majumdar.

L’équipe a interrogé le modèle de langage GPT-3 pour obtenir des descriptions d’outils. Après avoir essayé différents prompts, ils ont décidé d’utiliser « Décrivez la [caractéristique] de [outil] dans une réponse détaillée et scientifique », la caractéristique étant la forme ou le but de l’outil.

Karthik Narasimhan est professeur adjoint de sciences informatiques et coauteur de l’étude. Narasimhan est également membre principal du groupe de traitement du langage naturel (NLP) de Princeton et a contribué au modèle de langage GPT original en tant que scientifique de recherche invité à OpenAI.

« Puisque ces modèles de langage ont été formés sur Internet, on peut considérer cela comme un moyen de récupérer ces informations de manière plus efficace et plus complète que l’utilisation de crowdsourcing ou de scraping de sites Web spécifiques pour les descriptions d’outils », a déclaré Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Expériences d’apprentissage de robot simulé

L’équipe a sélectionné un ensemble de formation de 27 outils pour leurs expériences d’apprentissage de robot simulé, les outils allant d’une hache à un éponge. Le bras robotique a été donné quatre tâches différentes : pousser l’outil, soulever l’outil, l’utiliser pour balayer un cylindre le long d’une table ou frapper un cheville dans un trou.

L’équipe a ensuite développé un ensemble de politiques en utilisant des approches d’apprentissage automatique avec et sans informations de langage. Les performances des politiques ont été comparées sur un test séparé de neuf outils avec des descriptions appariées.

L’approche, appelée meta-apprentissage, améliore la capacité du robot à apprendre avec chaque tâche successive.

Selon Narasimhan, le robot n’apprend pas seulement à utiliser chaque outil, mais « essaie également d’apprendre à comprendre les descriptions de chacun de ces cent outils différents, de sorte que lorsqu’il voit le 101e outil, il est plus rapide pour apprendre à utiliser le nouvel outil ».

Dans la plupart des expériences, les informations de langage ont apporté des avantages significatifs pour la capacité du robot à utiliser de nouveaux outils.

Allen Z. Ren est un étudiant diplômé dans le groupe de Majumdar et auteur principal de l’article de recherche.

« Avec la formation de langage, il apprend à saisir l’extrémité longue de la pince et à utiliser la surface courbe pour mieux contraindre le mouvement de la bouteille », a déclaré Ren. « Sans le langage, il a saisi la pince près de la surface courbe et il était plus difficile à contrôler ».

« L’objectif général est de faire en sorte que les systèmes robotiques – en particulier ceux formés à l’aide de l’apprentissage automatique – puissent généraliser à de nouveaux environnements », a ajouté Majumdar.