Les chercheurs du MIT combinent les données de mouvement de robot avec des modèles de langage pour améliorer l’exécution de tâches

Les robots ménagers sont de plus en plus enseignés à effectuer des tâches complexes par apprentissage par imitation, un processus dans lequel ils sont programmés pour copier les mouvements démontrés par un humain. Bien que les robots aient prouvé être d’excellents imitateurs, ils ont souvent du mal à s’adapter aux perturbations ou aux situations inattendues rencontrées pendant l’exécution de la tâche. Sans programmation explicite pour gérer ces déviations, les robots sont forcés de recommencer la tâche desde le début. Pour relever ce défi, les ingénieurs du MIT sont en train de développer une nouvelle approche qui vise à donner aux robots un sens commun lorsqu’ils sont confrontés à des situations inattendues, leur permettant de s’adapter et de continuer leurs tâches sans nécessiter d’intervention manuelle.

La Nouvelle Approche

Les chercheurs du MIT ont développé une méthode qui combine les données de mouvement de robot avec les “connaissances de bon sens” des grands modèles de langage (LLM). En connectant ces deux éléments, l’approche permet aux robots de parser logiquement une tâche ménagère donnée en sous-tâches et de s’ajuster physiquement aux perturbations au sein de chaque sous-tâche. Cela permet au robot de continuer sans avoir à recommencer toute la tâche desde le début, et élimine la nécessité pour les ingénieurs de programmer explicitement des corrections pour chaque échec possible en cours de route.

Comme l’explique Yanwei Wang, étudiant diplômé du département de génie électrique et d’informatique (EECS) du MIT, “Avec notre méthode, un robot peut auto-corriger les erreurs d’exécution et améliorer la réussite globale de la tâche.”

Pour démontrer leur nouvelle approche, les chercheurs ont utilisé une tâche simple : prélever des billes d’une coupe et les verser dans une autre. Traditionnellement, les ingénieurs feraient bouger un robot à travers les mouvements de prélevement et de versement dans un seul trajet fluide, en fournissant souvent plusieurs démonstrations humaines pour que le robot les imite. Cependant, comme le souligne Wang, “la démonstration humaine est un long trajet continu.” L’équipe a réalisé que même si un humain peut démontrer une tâche unique en une seule fois, la tâche dépend d’une séquence de sous-tâches. Par exemple, le robot doit d’abord atteindre une coupe avant de pouvoir prélever, et il doit prélever des billes avant de se déplacer vers la coupe vide.

Si un robot fait une erreur pendant l’une de ces sous-tâches, sa seule ressource est de s’arrêter et de recommencer desde le début, à moins que les ingénieurs n’aient explicitement étiqueté chaque sous-tâche et programmé ou collecté de nouvelles démonstrations pour que le robot puisse se remettre de l’échec. Wang souligne que “ce niveau de planification est très fastidieux.” C’est là que la nouvelle approche des chercheurs intervient. En exploitant le pouvoir des LLM, le robot peut automatiquement identifier les sous-tâches impliquées dans la tâche globale et déterminer des actions de récupération potentielles en cas de perturbations. Cela élimine la nécessité pour les ingénieurs de programmer manuellement le robot pour gérer chaque scénario d’échec possible, ce qui rend le robot plus adaptable et efficace dans l’exécution de tâches ménagères.

Le Rôle des Grands Modèles de Langage

Les LLM jouent un rôle crucial dans la nouvelle approche des chercheurs du MIT. Ces modèles d’apprentissage profond traitent d’immenses bibliothèques de texte, établissant des connexions entre les mots, les phrases et les paragraphes. Grâce à ces connexions, un LLM peut générer de nouvelles phrases en fonction des modèles appris, comprenant essentiellement le type de mot ou de phrase qui est susceptible de suivre le dernier.

Les chercheurs ont réalisé que cette capacité des LLM pourrait être exploitée pour identifier automatiquement les sous-tâches au sein d’une tâche plus large et les actions de récupération potentielles en cas de perturbations. En combinant les “connaissances de bon sens” des LLM avec les données de mouvement de robot, la nouvelle approche permet aux robots de parser logiquement une tâche en sous-tâches et de s’adapter à des situations inattendues. Cette intégration des LLM et de la robotique a le potentiel de révolutionner la façon dont les robots ménagers sont programmés et formés, les rendant plus adaptables et capables de gérer les défis du monde réel.

À mesure que le domaine de la robotique continue de progresser, l’intégration de technologies d’IA comme les LLM deviendra de plus en plus importante. L’approche des chercheurs du MIT est un pas important vers la création de robots ménagers qui ne peuvent pas seulement imiter les actions humaines mais également comprendre la logique et la structure sous-jacentes des tâches qu’ils effectuent. Cette compréhension sera clé pour développer des robots qui peuvent opérer de manière autonome et efficace dans des environnements complexes et réels.

Vers un Avenir plus Intelligent et plus Adaptable pour les Robots Ménagers

En permettant aux robots de s’auto-corriger les erreurs d’exécution et d’améliorer la réussite globale de la tâche, cette méthode répond à l’un des principaux défis de la programmation de robot : l’adaptabilité aux situations du monde réel.

Les implications de cette recherche s’étendent bien au-delà de la simple tâche de prélevement de billes. À mesure que les robots ménagers deviennent plus courants, ils devront être capables de gérer une large gamme de tâches dans des environnements dynamiques et non structurés. La capacité de diviser les tâches en sous-tâches, de comprendre la logique sous-jacente et de s’adapter aux perturbations sera essentielle pour que ces robots opèrent de manière efficace et efficiente.

De plus, l’intégration des LLM et de la robotique met en évidence le potentiel des technologies d’IA pour révolutionner la façon dont nous programmons et formons les robots. À mesure que ces technologies continuent de progresser, nous pouvons nous attendre à voir plus d’intelligence, d’adaptabilité et d’autonomie dans les robots de nos foyers et lieux de travail.

Le travail des chercheurs du MIT est une étape cruciale vers la création de robots ménagers qui peuvent vraiment comprendre et naviguer les complexités du monde réel. À mesure que cette approche est affinée et appliquée à une gamme plus large de tâches, elle a le potentiel de transformer la façon dont nous vivons et travaillons, en rendant notre vie plus facile et plus efficace.