Ai2 lance ToyBlocks pour tester comment les robots apprennent et échouent

Le 6 novembre 2026, Ai2 a lancé ToyBlocks, premier environnement de son cadre FoundationWorlds, qui associe une simulation robotique ouverte à des démonstrations générées, deux modèles entraînés et des outils d’évaluation. Ce cadre vise à rendre les expériences d’apprentissage robotique reproductibles et à faciliter l’analyse des échecs.

L’environnement place un bras robotique simulé et des blocs étiquetés sur une table. Aux tâches consistant à pousser, retourner et empiler des blocs s’ajoutent des tâches de recherche, de tri et d’agencement : la lettre ou l’image recherchée sur un bloc peut être cachée, de sorte que le robot doit le retourner avant de déterminer où le placer. La variation de la taille des blocs, de la hauteur de la table et d’autres propriétés d’une scène à l’autre permet de tester la capacité des politiques à s’adapter à une géométrie changeante.

Ce domaine circonscrit permet à Ai2 de viser simultanément quatre objectifs : une physique et des éléments visuels crédibles, la génération à grande échelle de tâches et de démonstrations, des problèmes qui exigent autant de raisonnement que de dextérité, et une couverture des tâches que le domaine peut prendre en charge.

Démonstrations automatisées et modèles ouverts

L’apprentissage par renforcement et la planification de mouvements permettent de créer des compétences pour des tâches courtes dans Isaac Lab de Nvidia. La génération de compétences peut s’appuyer sur l’état privilégié du simulateur, notamment sur les positions et orientations exactes des blocs, plutôt que sur des estimations obtenues à partir des images des caméras. Cela automatise des comportements qui nécessiteraient autrement la téléopération d’un robot physique. Un planificateur de tâches et de mouvements sélectionne ensuite les compétences et les enchaîne pour produire des démonstrations étiquetées. Ai2 indique que des centaines de plans peuvent être exécutés simultanément sur un seul processeur graphique, à une vitesse pouvant atteindre 24 fois le temps réel.

Les chercheurs peuvent pondérer les mélanges de données d’entraînement obtenus afin de privilégier certaines compétences, puis évaluer les politiques sur des tâches exclues de l’entraînement. Le générateur de données devient ainsi un outil de contrôle expérimental, et non une simple source de jeux de données plus volumineux.

Les objectifs sont formulés sous forme de spécifications de planification PDDL dans le dépôt ToyBlocks, ce qui permet au système d’évaluation de noter l’achèvement des tâches et les progrès intermédiaires sans avoir à définir des métriques spécifiques pour chacune d’elles. Les démonstrations sont enregistrées au format LeRobot. Une politique hiérarchique peut remplacer l’un ou l’autre de ses niveaux par un oracle qui fournit un plan ou une action corrects, ce qui permet de distinguer les mauvaises décisions des erreurs d’exécution motrice. Les états d’échec peuvent également être réinjectés dans le processus de génération de données afin de produire de nouvelles démonstrations et des séquences de récupération.

Ai2 indique que la version initiale comprend 85 336 démonstrations à horizon long, chacune regroupant environ 6 à 12 démonstrations de compétences selon le sous-ensemble, pour près de 1 600 heures d’exécution robotique et 144 millions d’images. Le jeu de données public comprend des données LeRobot au format Parquet, distribuées sous licence ODC-BY, et réparties en sous-ensembles facile, moyen et difficile. Le code principal est sous licence Apache-2.0 ; les sous-modules spécifiés et les ressources téléchargées sont soumis à leurs propres licences.

Les fiches des modèles d’Ai2 présentent la politique publiée comme étant composée de deux niveaux : Molmo2-4B-tb, un modèle d’environ 4,5 milliards de paramètres, analyse une image de la caméra frontale et un objectif formulé en texte pour produire un plan court, l’action suivante et un point cible ; ManiFlow-tb, qui compte 322,5 millions de paramètres, utilise les images des caméras frontale et de la pince, l’état du robot, les informations sur la tâche et une carte thermique de la cible pour générer des séquences d’actions.

Généralisation et expériences avec des agents

Les expériences spatiales portent sur des tâches consistant à empiler, dépiler, retourner et faire pivoter des blocs, et distinguent l’interpolation à l’intérieur de la plage d’entraînement de l’extrapolation au-delà de celle-ci. Parmi les exemples figurent l’entraînement avec des blocs dans une zone de l’espace de travail, puis l’évaluation dans une autre, ou encore l’exclusion de certaines hauteurs de pile. Ai2 fait état d’une faible capacité initiale de généralisation de ManiFlow, de π0.5 et de MolmoAct 2 malgré un préentraînement à grande échelle, et conclut que la généralisation des modèles d’action reste loin d’être résolue.

Les tests avec agents révèlent une autre faiblesse. Ai2 indique que son système basé sur Claude Opus 5.5 a réussi les 30 tâches classiques d’empilement de blocs décrites en texte, ainsi que les 30 tâches où il devait choisir ses actions en boucle fermée à partir d’images répétées des caméras. Dans les scènes de recherche et d’épellation comportant jusqu’à huit blocs, 50 % des cas ne contenaient pas la lettre requise, et il fallait alors déterminer que la tâche était impossible. L’agent a réussi la tâche ou correctement identifié qu’elle était irréalisable dans 63 % des cas ; la confusion entre des lettres ressemblantes a représenté 13 % des cas et une orientation incorrecte des lettres, 15 %.

Une troisième expérience avec un agent permettait au système de tester des comportements inattendus des compétences et de rédiger de nouvelles descriptions de compétences à partir des résultats. Ai2 indique que ces descriptions apprises ont fait passer le taux de réussite de 24 % avec les descriptions par défaut à 63 %, dépassant ainsi les 36 % obtenus avec des descriptions rédigées par un expert humain.

Essais sur robot physique et limites

Pour l’évaluation physique, des modèles entraînés exclusivement sur les données de simulation de ToyBlocks ont été exécutés sur un bras Franka FR3 équipé d’une pince Robotiq, sans exemples d’entraînement issus du monde réel. Les 30 configurations de scène comprenaient de 4 à 10 blocs déjà vus pendant l’entraînement. Un épisode n’était considéré comme réussi que si les blocs concernés atteignaient leurs poses cibles sans collision ; toute intervention d’un opérateur en raison d’un mouvement dangereux était comptabilisée comme un échec.

Pour réduire l’écart entre la simulation et la réalité, Ai2 a ajusté les frottements simulés des articulations et l’inertie des bras à partir de trajectoires réelles. La génération de données faisait varier la taille des objets, leur friction et la hauteur de la table, ainsi que l’éclairage, les arrière-plans, les matériaux et les paramètres des caméras.

Ai2 indique des taux de réussite de 80,0 % en simulation et de 81,1 % avec le bras physique pour les compétences élémentaires de ManiFlow. Le système hiérarchique Molmo 2–ManiFlow a réussi 55,5 % des épisodes simulés (111 sur 200) et 50,0 % des épisodes physiques (15 sur 30).

Ai2 nuance ces résultats sur deux points. L’évaluation de la hiérarchie sur le bras physique a utilisé la configuration simulée la plus facile, dans laquelle les motifs des blocs étaient visibles et orientés à la verticale. Des essais supplémentaires sont nécessaires pour établir la confiance statistique d’une tâche à l’autre. La fiche ManiFlow indique également des taux de réussite compris entre 54 % et 59 % au fil de quatre exécutions des mêmes 128 épisodes simulés, car la simulation et l’inférence par lots ne sont pas déterministes au niveau du bit.

Ai2 prévoit une deuxième version, avec un jeu de données plus vaste, davantage de compétences et une évaluation comparative plus large, ainsi qu’un entraînement par apprentissage par renforcement entièrement intégré, absent de la version actuelle. À plus long terme, les pistes envisagées comprennent la manipulation à deux bras, des mains habiles dotées de capteurs de force et de toucher, et l’interaction avec des amas de blocs désordonnés.

La contribution immédiate de ToyBlocks réside donc dans le contrôle expérimental : les chercheurs peuvent modifier les mélanges d’entraînement, dissocier la planification de l’exécution et réinjecter les échecs dans la génération de données. Les premiers résultats en définissent également les limites : la faible capacité de généralisation en simulation et l’étroitesse de l’évaluation physique tempèrent ce que ces premiers taux de transfert permettent d’établir sur l’apprentissage des robots au-delà du monde des blocs.