NVIDIA presenta GR00T 2 para que los robots aprendan a partir de videos de personas

NVIDIA presentó GR00T 2 el 9 de noviembre de 2026, en la Conference on Robot Learning (CoRL), celebrada en Austin, y comunicó una tasa de éxito del 40 % sin ejemplos previos en 50 tareas que no estaban presentes en los datos de entrenamiento del robot objetivo, con un modelo entrenado en parte con videos de personas.

GR00T 2 utiliza un transformador de 2.000 millones de parámetros basado en Cosmos-Predict2.5-2B. Combina imágenes recientes de las cámaras, el estado del robot y una instrucción escrita para generar las imágenes futuras previstas y la siguiente secuencia de acciones. Un único punto de control preentrenado abarca brazos con pinzas paralelas, manos diestras y un humanoide. Aunque NVIDIA presenta el modelo como abierto, en su página de investigación indica que el código estará disponible en diciembre.

El preentrenamiento combina 402.730 horas de videos humanos en primera persona, 10.184 horas de demostraciones con pinzas de mano en 2.897 tareas y 23.500 horas de teleoperación de robots. La publicación Human-1M-100K pone a disposición 100.000 horas de esos datos humanos, incluidos videos, anotaciones lingüísticas y datos de movimiento de la cabeza y las manos, con una licencia CC BY 4.0 que permite el uso comercial y no comercial.

Las pruebas con distintos tipos de robots muestran cómo las habilidades se transfieren entre cuerpos y se adaptan con una cantidad limitada de datos robóticos. NVIDIA informa de un éxito del 65 % en el montaje de papel de filtro, una tarea aprendida a partir de demostraciones humanas sin teleoperación específica para ella, y del 60 % en el montaje de un camión volquete de juguete, con transferencia de una pinza de mano a un brazo YAM. En la evaluación Dexter, GR00T 2 completó al menos un ensayo en 40 tareas. La tasa de éxito promedio alcanza el 71 % con una demostración por tarea y el 95 % con cinco; estas cinco aportan menos de tres minutos de datos robóticos por tarea, seguidos de un ajuste fino del adaptador de aproximadamente 30 minutos en una sola RTX 5090.

El documento técnico matiza el resultado obtenido con cinco demostraciones: las tareas evaluadas se seleccionaron entre aquellas que el modelo puede aprender con cinco episodios y una tasa de éxito de al menos el 80 %, por lo que ese promedio es alto en parte debido a la forma en que se construyó la evaluación.

La formación en simulación se orienta a la precisión

La base de la simulación es Isaac Lab 3.0, disponible de forma general desde el 20 de octubre de 2026. Ofrece una API de tareas común para los distintos motores de física, renderizado y visualización; Newton admite cuerpos rígidos, materiales deformables y partículas, y muchos flujos de trabajo pueden ejecutarse sin una instalación completa de Isaac Sim. En una prueba de referencia de manipulación diestra basada en visión, NVIDIA informa que Isaac Lab 3.0 con Newton ofrece un rendimiento de entrenamiento de hasta 2,5 veces el de Isaac Lab 2.3 con PhysX.

AlphaNIST aplica entrenamiento a gran escala en simulación a 20 tareas de NIST Assembly Task Board, incluidas aquellas que requieren piezas de tan solo 4 milímetros. Una única política compartida se entrena con una recompensa de éxito que solo indica sí o no. NVIDIA informa que esa política alcanza un éxito del 98,2 % durante el entrenamiento, frente al 81,4 % de las políticas independientes para cada tarea, y utiliza aproximadamente 39 veces menos tiempo de GPU; estos son resultados de entrenamiento en simulación.

Detrás de AlphaNIST está el muestreo guiado por el éxito, desarrollado por University of Washington y NVIDIA. Este método dirige la práctica hacia configuraciones cercanas al límite de capacidad de la política, sobre todo aquellas que resuelve aproximadamente la mitad de las veces. Los autores del método informan que su escalabilidad efectiva supera el millón de entornos simulados y que las políticas de ensamblaje basadas en RGB se transfieren sin ejemplos previos a hardware UR5e real.

Los bancos de pruebas abordan la variabilidad industrial

Isaac Lab-Arena proporciona la capa de evaluación. Este marco de código abierto crea evaluaciones repetibles a partir de componentes modulares y las ejecuta en entornos simulados acelerados por GPU; el análisis de fallos muestra qué condiciones requieren otra ronda de entrenamiento. NVIDIA afirma que la versión preliminar 0.4 para desarrolladores llegará a CoRL.

DexBench v1.0, desarrollado por RLWRLD junto con NVIDIA, incluye 15 tareas en escenarios de comercio minorista, logística, líneas de montaje y servicio de alimentos y bebidas en hoteles. VABAR, de UC Berkeley y NVIDIA, abarca la clasificación y el colgado de herramientas, el engrane de engranajes, el embalaje de jeringas y la inserción y el tendido de cables, con el respaldo de una biblioteca de 33 habilidades. La página del proyecto VABAR indica que sus dos niveles de dificultad actuales conforman el conjunto de validación y que aún está por llegar un conjunto de prueba más difícil.

Los agentes incorporan recuperación y nuevas restricciones

El marco Graph-as-Policy de UC Berkeley utiliza varios agentes para componer un grafo dirigido e interpretable de habilidades robóticas, ensayarlo en simulación y revisar su estructura y sus parámetros tras los fallos. El proyecto informa que diez iteraciones de ensayo elevaron el resultado de Make Popcorn del 33 % inicial al 94 % en simulación y al 90 % —18 de 20 intentos— en un robot real. Sus bancos de pruebas actuales se centran en la manipulación cuasiestática; los materiales deformables, la dinámica y los objetivos en movimiento quedan para trabajos futuros.

GR00T 2 utiliza un agente de razonamiento para secuenciar habilidades, supervisar el progreso e iniciar rutinas de recuperación cuando se caen piezas o se detiene el trabajo, mientras que el modelo se encarga de la manipulación con mucho contacto. Con datos correctivos y ese agente, NVIDIA informa de 98 ensamblajes exitosos de aviones de juguete, 97 de tractores de juguete y 97 de Hot Wheels en 100 ensayos por juguete, cada uno iniciado con piezas volcadas al azar. El ajuste fino supervisado por sí solo produjo 69, 51 y 23, respectivamente.

El documento técnico informa por separado de una tasa de éxito promedio de aproximadamente el 70 % en sus pruebas de referencia de posentrenamiento de horizonte largo. En una tarea de clasificación de basura guiada visualmente, el robot esperó al agente durante una mediana del 38 % de cada episodio, lo que pone de manifiesto el costo de latencia de la supervisión del agente.

NVIDIA afirma que Nexuni está probando GR00T 2 para la manipulación de ropa, que Foxconn lo está aplicando a la automatización de la fabricación de servidores y que Siemens está evaluando casos de uso industriales. El trabajo divulgado consiste en pruebas y evaluaciones; no se ha anunciado ningún despliegue en producción.

La conclusión del informe técnico atribuye la fiabilidad al preentrenamiento, que aporta amplitud; a las demostraciones correctivas y al aprendizaje por refuerzo, que aportan precisión; y a los agentes, que se encargan de la memoria, la verificación y la recuperación. Por tanto, para los usuarios industriales, la medida útil es el flujo de trabajo completo en torno a GR00T 2 y la supervisión que requiere cada tarea. El reto pendiente para el despliegue es conservar la fiabilidad comunicada y, al mismo tiempo, reducir la adaptación por tarea y el tiempo de espera de los agentes que documentan los propios resultados de NVIDIA.