NVIDIA présente GR00T 2, un modèle permettant aux robots d’apprendre à partir de vidéos humaines

NVIDIA a présenté GR00T 2 le 9 novembre 2026, lors de la Conference on Robot Learning (CoRL), à Austin, et a fait état d’un taux de réussite de 40 % en apprentissage sans exemple sur 50 tâches absentes des données d’entraînement du robot cible, pour un modèle entraîné en partie à partir de vidéos humaines.

GR00T 2 utilise un transformeur de 2 milliards de paramètres fondé sur Cosmos-Predict2.5-2B. Il combine des images récentes des caméras, l’état du robot et une instruction écrite pour générer des vues futures prévues et la séquence d’actions suivante. Un seul point de contrôle préentraîné couvre les bras à pince parallèle, les mains dextres et un humanoïde. Bien que NVIDIA présente le modèle comme ouvert, sa page de recherche indique que le code sera disponible en décembre.

Le préentraînement combine 402 730 heures de vidéos humaines à la première personne, 10 184 heures de démonstrations réalisées avec une pince portative sur 2 897 tâches et 23 500 heures de téléopération de robots. La publication Human-1M-100K met à disposition 100 000 heures de ces données humaines, notamment des vidéos, des annotations linguistiques ainsi que des données sur les mouvements de la tête et des mains, sous licence CC BY 4.0, qui autorise les usages commerciaux et non commerciaux.

Les tests entre différentes morphologies montrent comment les compétences se transfèrent d’un corps à l’autre et s’adaptent avec peu de données robotiques. NVIDIA fait état d’un taux de réussite de 65 % pour la mise en place de papier filtre, apprise à partir de démonstrations humaines sans téléopération spécifique à la tâche, et de 60 % pour l’assemblage d’un camion-benne jouet, transféré d’une pince portative à un bras YAM. Lors de l’évaluation Dexter, GR00T 2 a réalisé au moins un essai sur 40 tâches. Le taux de réussite moyen atteint 71 % avec une démonstration par tâche et 95 % avec cinq démonstrations ; ces cinq démonstrations fournissent moins de trois minutes de données robotiques par tâche, puis un ajustement fin de l’adaptateur d’environ 30 minutes sur un seul RTX 5090.

Le livre blanc technique apporte une précision sur le résultat obtenu avec cinq démonstrations : les tâches évaluées ont été sélectionnées parmi celles que le modèle peut apprendre avec cinq épisodes et un taux de réussite d’au moins 80 %. Le taux moyen est donc en partie élevé de par la méthode de sélection.

L’entraînement par simulation gagne en précision

La simulation repose sur Isaac Lab 3.0, disponible de manière générale depuis le 20 octobre 2026. Cette version fournit une API de tâches unique, compatible avec différents moteurs physiques, de rendu et de visualisation ; Newton prend en charge les corps rigides, les objets déformables et les particules, et de nombreux flux de travail peuvent s’exécuter sans installation complète d’Isaac Sim. Dans un benchmark de manipulation dextre fondée sur la vision, NVIDIA indique qu’Isaac Lab 3.0 exécuté avec Newton offre un débit d’entraînement jusqu’à 2,5 fois supérieur à celui d’Isaac Lab 2.3 avec PhysX.

AlphaNIST applique un entraînement simulé à grande échelle à 20 tâches du NIST Assembly Task Board, dont certaines comportent des pièces de seulement 4 millimètres. Une politique partagée unique est entraînée avec une simple récompense de réussite binaire, oui ou non. NVIDIA fait état d’un taux de réussite à l’entraînement de 98,2 % pour cette politique, contre 81,4 % pour des politiques distinctes par tâche, avec environ 39 fois moins de temps GPU ; il s’agit de résultats obtenus lors de l’entraînement par simulation.

À l’origine d’AlphaNIST se trouve l’échantillonnage guidé par la réussite, mis au point par University of Washington et NVIDIA. Cette méthode oriente l’entraînement vers des configurations proches de la limite des capacités de la politique, en particulier celles qu’elle résout environ une fois sur deux. Les auteurs indiquent que la méthode passe efficacement à l’échelle au-delà d’un million d’environnements simulés et permet de transférer sans entraînement spécifique des politiques d’assemblage fondées sur des images RVB vers du matériel UR5e réel.

Les benchmarks prennent en compte la variabilité industrielle

Isaac Lab-Arena fournit la couche d’évaluation. Ce cadre open source construit des évaluations reproductibles à partir de composants modulaires et les exécute dans des environnements simulés accélérés par GPU ; l’analyse des échecs indique quelles conditions nécessitent un nouvel entraînement. NVIDIA annonce l’arrivée de sa préversion pour les développeurs 0.4 à CoRL.

DexBench v1.0, développé par RLWRLD avec NVIDIA, comprend 15 tâches réparties entre des scénarios de vente au détail, de logistique, de chaîne de montage et de restauration hôtelière. VABAR, fruit d’un travail mené par UC Berkeley et NVIDIA, couvre le tri et la suspension d’outils, l’engrènement d’engrenages, le conditionnement de seringues, ainsi que l’insertion et le cheminement de câbles, avec l’appui d’une bibliothèque de 33 compétences. La page du projet VABAR précise que ses deux niveaux de difficulté actuels constituent l’ensemble de validation et qu’un ensemble de test plus difficile est encore à venir.

Les agents ajoutent des mécanismes de reprise et de nouvelles contraintes

Le cadre Graph-as-Policy d’UC Berkeley utilise plusieurs agents pour composer un graphe orienté et interprétable de compétences robotiques, le mettre à l’épreuve en simulation, puis en réviser la structure et les paramètres après des échecs. Selon le projet, dix itérations de répétition ont fait passer le résultat de la tâche Make Popcorn de 33 % au départ à 94 % en simulation et à 90 %, soit 18 essais sur 20, sur un robot réel. Les benchmarks actuels portent principalement sur la manipulation quasi statique ; les objets déformables, la dynamique et les cibles mobiles restent des pistes de recherche futures.

GR00T 2 utilise un agent de raisonnement pour enchaîner les compétences, suivre la progression et déclencher des procédures de reprise en cas de chute de pièces ou de blocage, tandis que le modèle prend en charge les manipulations impliquant de nombreux contacts. Avec des données correctives et cet agent, NVIDIA fait état de 98 assemblages réussis de petits avions jouets, de 97 assemblages de tracteurs jouets et de 97 assemblages Hot Wheels sur 100 essais pour chaque jouet, en partant à chaque fois de pièces déversées au hasard. Le réglage fin supervisé à lui seul a produit respectivement 69, 51 et 23 assemblages réussis.

Le livre blanc fait également état d’un taux de réussite moyen d’environ 70 % sur ses benchmarks post-entraînement à long horizon. Lors du tri de déchets guidé visuellement, le robot a attendu l’agent pendant une durée médiane correspondant à 38 % d’un épisode, ce qui met en évidence le coût en latence de la supervision par un agent.

NVIDIA indique que Nexuni teste GR00T 2 pour la manipulation du linge, que Foxconn l’applique à l’automatisation de la fabrication de serveurs et que Siemens évalue des cas d’utilisation industriels. Les travaux rendus publics portent sur des tests et des évaluations ; aucun déploiement en production n’est annoncé.

La conclusion du livre blanc attribue la fiabilité au préentraînement, qui apporte de l’étendue, aux démonstrations correctives et à l’apprentissage par renforcement, qui apportent de la précision, ainsi qu’aux agents, qui assurent la mémoire, la vérification et la récupération. Pour les utilisateurs industriels, la mesure utile est donc le flux de travail complet autour de GR00T 2 et la supervision requise par chaque tâche. Le défi qui reste à relever pour le déploiement consiste à préserver la fiabilité rapportée tout en réduisant l’adaptation nécessaire pour chaque tâche et le temps d’attente des agents, documentés dans les propres résultats de NVIDIA.