Les chercheurs du MIT combinent les données de mouvement de robot avec les modèles de langage pour améliorer l’exécution des tâches

Les robots ménagers sont de plus en plus souvent enseignés à effectuer des tâches complexes grâce à l’apprentissage par imitation, un processus dans lequel ils sont programmés pour copier les mouvements démontrés par un humain. Bien que les robots aient prouvé être d’excellents imitateurs, ils ont souvent du mal à s’adapter aux perturbations ou aux situations inattendues rencontrées pendant l’exécution d’une tâche. Sans programmation explicite pour gérer ces déviations, les robots sont obligés de recommencer la tâche desde le début. Pour relever ce défi, les ingénieurs du MIT sont en train de développer une nouvelle approche qui vise à donner aux robots un sens du bon sens face à des situations inattendues, leur permettant de s’adapter et de continuer leurs tâches sans nécessiter d’intervention manuelle.

La Nouvelle Approche

Les chercheurs du MIT ont développé une méthode qui combine les données de mouvement de robot avec les “connaissances de bon sens” des grands modèles de langage (LLM). En reliant ces deux éléments, l’approche permet aux robots de parser logiquement une tâche ménagère en sous-tâches et de s’adapter physiquement aux perturbations au sein de chaque sous-tâche. Cela permet au robot de poursuivre sans avoir à recommencer toute la tâche depuis le début, et élimine la nécessité pour les ingénieurs de programmer explicitement des corrections pour chaque échec possible en cours de route.

Comme l’explique Yanwei Wang, étudiant en master au département d’ingénierie électrique et d’informatique (EECS) du MIT, “Avec notre méthode, un robot peut auto-corrigé les erreurs d’exécution et améliorer le succès global de la tâche.”

Pour démontrer leur nouvelle approche, les chercheurs ont utilisé une tâche simple : prélever des billes d’une coupe et les verser dans une autre. Traditionnellement, les ingénieurs feraient bouger un robot à travers les mouvements de prélevation et de versement en une trajectoire fluide, souvent en fournissant plusieurs démonstrations humaines pour que le robot les imite. Cependant, comme le souligne Wang, “la démonstration humaine est une trajectoire longue et continue.” L’équipe a réalisé que même si un humain peut démontrer une tâche en une seule fois, la tâche dépend d’une séquence de sous-tâches. Par exemple, le robot doit d’abord atteindre une coupe avant de pouvoir prélever, et il doit prélever des billes avant de se déplacer vers la coupe vide.

Si un robot fait une erreur pendant l’une de ces sous-tâches, sa seule issue est de s’arrêter et de recommencer depuis le début, à moins que les ingénieurs n’aient explicitement étiqueté chaque sous-tâche et programmé ou collecté de nouvelles démonstrations pour que le robot puisse se remettre de l’échec. Wang insiste sur le fait que “ce niveau de planification est très fastidieux.” C’est là que la nouvelle approche des chercheurs intervient. En exploitant le pouvoir des LLM, le robot peut automatiquement identifier les sous-tâches impliquées dans la tâche globale et déterminer des actions de récupération potentielles en cas de perturbations. Cela élimine la nécessité pour les ingénieurs de programmer manuellement le robot pour gérer chaque scénario d’échec possible, ce qui rend le robot plus adaptable et efficace dans l’exécution des tâches ménagères.

Le Rôle des Grands Modèles de Langage

Les LLM jouent un rôle crucial dans la nouvelle approche des chercheurs du MIT. Ces modèles d’apprentissage profond traitent de vastes bibliothèques de texte, établissant des connexions entre les mots, les phrases et les paragraphes. Grâce à ces connexions, un LLM peut générer de nouvelles phrases en fonction des modèles appris, comprenant essentiellement le type de mot ou de phrase qui est susceptible de suivre le dernier.

Les chercheurs ont réalisé que cette capacité des LLM pouvait être exploitée pour identifier automatiquement les sous-tâches au sein d’une tâche plus large et les actions de récupération potentielles en cas de perturbations. En combinant les “connaissances de bon sens” des LLM avec les données de mouvement de robot, la nouvelle approche permet aux robots de parser logiquement une tâche en sous-tâches et de s’adapter à des situations inattendues. Cette intégration des LLM et de la robotique a le potentiel de révolutionner la façon dont les robots ménagers sont programmés et formés, les rendant plus adaptables et capables de gérer les défis du monde réel.

À mesure que le domaine de la robotique continue de progresser, l’intégration de technologies d’intelligence artificielle comme les LLM deviendra de plus en plus importante. La nouvelle approche des chercheurs du MIT est un pas significatif vers la création de robots ménagers qui peuvent non seulement imiter les actions humaines mais également comprendre la logique et la structure sous-jacente des tâches qu’ils effectuent. Cette compréhension sera clé pour développer des robots qui peuvent opérer de manière autonome et efficace dans des environnements complexes et réels.

Vers un Avenir plus Intelligent et plus Adaptable pour les Robots Ménagers

En permettant aux robots de s’auto-corrigé les erreurs d’exécution et d’améliorer le succès global de la tâche, cette méthode répond à l’un des principaux défis de la programmation de robot : l’adaptabilité aux situations du monde réel.

Les implications de cette recherche s’étendent bien au-delà de la simple tâche de prélever des billes. À mesure que les robots ménagers deviennent plus courants, ils devront être capables de gérer une large gamme de tâches dans des environnements dynamiques et non structurés. La capacité de diviser les tâches en sous-tâches, de comprendre la logique sous-jacente et de s’adapter aux perturbations sera essentielle pour que ces robots opèrent de manière efficace et efficiente.

De plus, l’intégration des LLM et de la robotique met en évidence le potentiel des technologies d’intelligence artificielle pour révolutionner la façon dont nous programmons et formons les robots. À mesure que ces technologies continuent de progresser, nous pouvons nous attendre à voir plus de robots intelligents, adaptables et autonomes dans nos foyers et lieux de travail.

Le travail des chercheurs du MIT est une étape cruciale vers la création de robots ménagers qui peuvent vraiment comprendre et naviguer dans les complexités du monde réel. À mesure que cette approche est affinée et appliquée à un éventail plus large de tâches, elle a le potentiel de transformer la façon dont nous vivons et travaillons, rendant nos vies plus faciles et plus efficaces.