AGIBOT publie un jeu de données de raisonnement physique pour apprendre aux robots quelle action effectuer ensuite

Un robot peut saisir une bouteille à la perfection et pourtant échouer à réapprovisionner un minibar. Il peut conserver une bouteille vide, ajouter trop de bouteilles de remplacement ou répéter une étape déjà accomplie. La compétence qui lui manque consiste à déterminer ce que la situation exige avant de choisir le mouvement suivant.

AGIBOT entend combler cette lacune avec son jeu de données de raisonnement physique, annoncé le 22 octobre comme la version 4 de AGIBOT WORLD 2026. Cette version relie les objectifs des tâches, l’évolution des conditions de la scène, l’historique d’exécution et les actions réelles des robots. L’idée centrale est de recueillir différentes façons d’atteindre un même objectif, afin de fournir aux chercheurs des données pour entraîner les robots à adapter leurs décisions au fil de l’exécution d’une tâche.

Un objectif, plusieurs séquences d’actions correctes

La version 4 déplace l’accent de la conception des tâches : des mouvements difficiles, elle passe aux décisions difficiles. Au lieu de recueillir uniquement des démonstrations suivant une séquence fixe, AGIBOT fait varier le nombre d’objets, les obstacles, l’espace disponible et l’avancement de la tâche. Ces changements peuvent rendre inappropriée une action qui était auparavant correcte, même si la demande de l’utilisateur reste la même.

Prenons l’exemple du minibar. Atteindre l’objectif de trois bouteilles pleines exige de repérer les bouteilles vides, de compter celles qui sont déjà pleines et de décider lesquelles retirer et remplacer. Réussir à saisir une bouteille ne représente qu’une partie du travail. Le robot doit aussi se représenter l’état final souhaité et pouvoir le comparer à l’état actuel.

Un autre scénario consiste à récupérer une clé derrière une boîte. Une saisie directe peut fonctionner si l’espace est suffisant. Lorsque la boîte bloque l’accès, la déplacer devient un préalable. Fouiller des tiroirs ajoute un problème de mémoire : une image de caméra ne suffit pas à indiquer au système quels tiroirs il a déjà vérifiés.

Ces exemples mettent en évidence un défi concret pour l’IA physique. Une politique qui imite les mouvements visibles d’un expert peut malgré tout prendre une mauvaise décision si elle ne dispose pas du contexte qui rendait ces mouvements appropriés. En faisant varier les conditions autour d’un objectif commun, le jeu de données vise à rendre ces dépendances accessibles pour l’entraînement.

Neuf capacités de raisonnement, d’une complexité croissante

AGIBOT organise cette version autour de neuf capacités : sélectionner des objets selon leurs attributs, faire un choix en fonction du contexte, évaluer la faisabilité d’une manipulation, raisonner sur les actions préalables, rechercher un objet en vue d’atteindre un objectif, suivre les états et les quantités, planifier des séquences plus longues, conserver des informations en mémoire et ordonner les sous-tâches.

Dans les tâches courantes, ces capacités se recoupent. Le réapprovisionnement exige de reconnaître les objets, de les compter et de suivre l’avancement. Trouver un article suppose de combiner une stratégie de recherche avec un relevé des tentatives précédentes. Une longue tâche d’entretien ménager peut nécessiter plusieurs de ces jugements successivement, chaque action modifiant les conditions de la suivante.

Le jeu de données répartit les tâches en trois niveaux : facile, moyen et difficile. Les jugements de sélection individuels se situent à l’extrémité la plus simple ; les contraintes de quantité et les actions préalables ajoutent de la complexité ; les tâches plus longues combinent plusieurs objectifs, des exigences de mémoire et des contraintes contextuelles. Cette structure permet aux chercheurs d’étudier des compétences individuelles avant de vérifier dans quelle mesure elles fonctionnent ensemble.

Les résultats de l’exécution font également l’objet d’annotations, notamment le choix de l’objet, son placement et l’atteinte ou non de la quantité requise. La version comprend des exemples réussis comme des exemples erronés, ce qui permet d’étudier la détection des écarts et l’adaptation des décisions ultérieures.

Relier les instructions aux actions physiques

L’apport technique réside dans la façon dont les annotations relient les différents niveaux d’une tâche. Une instruction de haut niveau énonce l’objectif général. Les cadres de tâche, les segments de sous-tâches et les étapes d’action en décrivent la structure et l’avancement. Les chercheurs peuvent exploiter ces relations pour étudier quel sous-objectif est actif et quelle devrait être l’étape suivante.

Au niveau du mouvement, les annotations Dense Prompt d’AGIBOT précisent l’objet cible, la zone de manipulation, le rôle de chacun des deux bras, le mouvement, l’état de la pince et le résultat attendu. Des cadres de délimitation, des points et des lignes de trajectoire relient le langage aux emplacements et aux trajectoires de mouvement. Le système d’apprentissage dispose ainsi d’indications plus explicites sur les éléments auxquels une instruction fait référence et sur la manière dont son exécution est représentée.

L’entreprise décrit également des segments de réussite et des segments adversariaux, destinés à distinguer les cibles des éléments distracteurs et à vérifier les résultats. Ici, les exemples adversariaux portent sur l’interprétation et l’exécution des tâches. Ils permettent de formuler des questions telles que : le robot a-t-il choisi le bon objet ou a-t-il réellement terminé l’étape demandée ?

Ensemble, ces annotations visent à faciliter l’entraînement de systèmes reliant un modèle de prise de décision à une politique d’action. Le modèle décisionnel choisit un sous-objectif, la politique exécute la manipulation et l’état qui en résulte éclaire la décision suivante. Cette rétroaction est importante chaque fois qu’un robot doit corriger une tentative imparfaite ou réagir à une scène qui a changé.

La place de cette version dans la plateforme robotique d’AGIBOT

Le dépôt plus vaste AGIBOT WORLD 2026 décrit des données du monde réel collectées sur la plateforme G2 de l’entreprise. Le format documenté suit les conventions de LeRobot, avec des données par épisode, des métadonnées et des flux vidéo distincts provenant des caméras installées sur la tête et le poignet. Ces éléments fournissent un contexte utile aux développeurs qui cherchent à relier les observations visuelles aux comportements enregistrés du robot.

La page produit de G2 d’AGIBOT présente le matériel comme adapté à l’intelligence incarnée et à la manipulation à contrôle de force, ainsi qu’à des capacités interactives. La version 4 porte sur la couche de prise de décision et de mémoire des tâches qui accompagne ces capacités physiques. Elle étoffe également l’infrastructure de données évoquée dans l’article précédent de Unite.AI sur la plateforme robotique d’AGIBOT.

Le dépôt indique une licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 4.0. La restriction d’utilisation commerciale est une distinction importante pour les développeurs qui envisagent d’intégrer les données publiées à un produit.

Ce que le raisonnement physique pourrait changer

Dans l’hôtellerie, les services à domicile et le commerce de détail, l’intérêt réside dans la possibilité pour un robot de poursuivre un objectif malgré l’évolution des conditions. Remettre une table en ordre ou réapprovisionner un rayon exige de vérifier ce qui s’y trouve déjà, de se souvenir du travail accompli et de reconnaître quand il n’est pas nécessaire d’aller plus loin. Ces décisions prennent davantage d’importance à mesure que les robots passent de démonstrations isolées à des processus complets.

La version 4 fournit du matériel d’entraînement pour aller dans ce sens. À elle seule, elle ne permet pas d’établir qu’un modèle donné peut exécuter ces processus de manière fiable dans des environnements inconnus. AGIBOT indique que les données ont déjà contribué à son futur cadre d’agents et à son modèle de fondation de nouvelle génération ; les résultats de performance de ces systèmes restent une question distincte.

L’évolution utile consiste à entraîner les robots à comprendre le lien entre un objectif, la situation présente et les conséquences des actions précédentes. Les chercheurs peuvent étudier cette approche à travers le projet AGIBOT WORLD et les ressources de données qui lui sont associées.