Ai2 presenta ToyBlocks para poner a prueba cómo aprenden y fallan los robots

Ai2 presentó ToyBlocks el 6 de noviembre de 2026 como el primer entorno de su marco FoundationWorlds, que combina una simulación robótica abierta con demostraciones generadas, dos modelos entrenados y herramientas de evaluación. El marco está diseñado para que los experimentos de aprendizaje robótico sean reproducibles y resulte más fácil rastrear los fallos.

El entorno sitúa un brazo simulado y bloques etiquetados sobre una mesa. A las tareas de empujar, voltear y apilar se suman las de buscar, clasificar y ordenar: la letra o imagen que se necesita de un bloque puede estar oculta, por lo que el robot debe girarlo antes de decidir dónde colocarlo. Variar el tamaño de los bloques, la altura de la mesa y otras propiedades entre escenas permite comprobar si las políticas se adaptan a cambios en la geometría.

Este dominio acotado permite a Ai2 trabajar simultáneamente en cuatro aspectos: física y gráficos realistas, generación escalable de tareas y demostraciones, problemas que requieren tanto razonamiento como destreza, y cobertura de las tareas que el dominio puede ofrecer.

Demostraciones automatizadas y modelos abiertos

El aprendizaje por refuerzo y la planificación de movimientos permiten crear habilidades para tareas breves en Isaac Lab, de Nvidia. La generación de habilidades puede utilizar el estado privilegiado del simulador —incluidas las posiciones y orientaciones exactas de los bloques— en lugar de estimaciones obtenidas con cámaras, lo que automatiza comportamientos que, de otro modo, requerirían teleoperar un robot físico. A continuación, un planificador de tareas y movimientos selecciona y secuencia las habilidades para producir demostraciones etiquetadas. Según Ai2, cientos de planes pueden ejecutarse simultáneamente en una sola GPU, a un rendimiento de hasta 24 veces el tiempo real.

Los investigadores pueden ponderar las mezclas de entrenamiento resultantes para dar prioridad a determinadas habilidades y evaluar las políticas con tareas excluidas del entrenamiento. Así, el generador de datos se convierte en un control experimental y no solo en una fuente de conjuntos de datos más grandes.

Los objetivos se expresan como especificaciones de planificación PDDL en el repositorio de ToyBlocks, lo que permite al sistema de evaluación puntuar la finalización y los avances intermedios sin métricas diseñadas específicamente para cada tarea. Las demostraciones se almacenan en formato LeRobot. En una política jerárquica, cualquiera de los dos niveles puede sustituirse por un oráculo que proporcione un plan o una acción correctos, lo que permite distinguir las malas decisiones de los errores en la ejecución motora. Los estados de fallo también pueden volver al proceso de generación de datos para producir nuevas demostraciones y recuperaciones.

Ai2 informa que la versión inicial contiene 85.336 demostraciones de horizonte largo, cada una compuesta por aproximadamente entre 6 y 12 demostraciones de habilidades, según el conjunto, que abarcan casi 1.600 horas de ejecución robótica y 144 millones de fotogramas. El conjunto de datos público utiliza datos de LeRobot en formato Parquet con una licencia ODC-BY y se divide en subconjuntos de dificultad fácil, media y difícil. El código principal cuenta con licencia Apache-2.0; los submódulos especificados y los recursos descargados tienen sus propias licencias.

Las fichas de los modelos de Ai2 dividen la política publicada en dos niveles: Molmo2-4B-tb, un modelo de aproximadamente 4.500 millones de parámetros, interpreta una imagen de la cámara frontal y un objetivo textual para generar un plan breve, la siguiente acción y un punto objetivo; ManiFlow-tb, con 322,5 millones de parámetros, utiliza imágenes de las cámaras frontal y de la pinza, el estado del robot, información sobre la tarea y un mapa de calor objetivo para generar secuencias de acciones.

Experimentos de generalización y con agentes

Los experimentos espaciales abarcan las tareas de apilar, desapilar, voltear y girar, y distinguen entre la interpolación dentro del rango de entrenamiento y la extrapolación más allá de este. Entre los ejemplos figuran entrenar con bloques en una zona del espacio de trabajo y probarlos en otra, o excluir del entrenamiento determinadas alturas de apilamiento. Ai2 informa que ManiFlow, π0.5 y MolmoAct 2 mostraron inicialmente una generalización deficiente pese al preentrenamiento a gran escala, y concluye que la generalización de los modelos de acción sigue estando lejos de resolverse.

Las pruebas con agentes revelan otra debilidad. Ai2 afirma que su sistema basado en Claude Opus 5.5 resolvió las 30 tareas clásicas de apilamiento de bloques a partir de descripciones de texto, así como las 30 cuando debía elegir acciones en un ciclo cerrado a partir de imágenes repetidas de la cámara. En escenas de búsqueda y deletreo con hasta ocho bloques, al 50 % le faltaba una letra necesaria y había que identificarlas como imposibles. El agente resolvió la tarea o identificó correctamente que no era factible en el 63 % de los casos; la confusión entre letras parecidas explicó el 13 % y la orientación incorrecta de las letras, el 15 %.

En un tercer experimento con agentes, se permitió al sistema probar comportamientos inesperados de las habilidades y redactar nuevas descripciones de estas a partir de los resultados. Ai2 informa que esas descripciones aprendidas elevaron la tasa de éxito del 24 % con las descripciones predeterminadas al 63 %, superando el 36 % obtenido con descripciones redactadas por un experto humano.

Pruebas con robots físicos y sus limitaciones

Para la evaluación física, se ejecutaron en un brazo Franka FR3 con una pinza Robotiq modelos entrenados exclusivamente con datos de simulación de ToyBlocks, sin ejemplos de entrenamiento del mundo real. Las 30 configuraciones de escena contenían entre 4 y 10 bloques vistos durante el entrenamiento. Un episodio solo se consideraba exitoso si los bloques pertinentes alcanzaban las poses objetivo sin colisiones; cualquier intervención del operador por movimientos inseguros se contabilizaba como un fallo.

Para reducir la brecha entre la simulación y la realidad, Ai2 ajustó la fricción articular y la armadura simuladas tomando como referencia trayectorias reales. La generación de datos aleatorizó el tamaño de los objetos, la fricción y la altura de la mesa, así como la iluminación, los fondos, los materiales y los parámetros de la cámara.

Ai2 informa tasas de éxito de las habilidades atómicas de ManiFlow del 80,0 % en simulación y del 81,1 % con el brazo físico. El sistema jerárquico Molmo 2–ManiFlow tuvo éxito en el 55,5 % de los episodios simulados (111 de 200) y en el 50,0 % de los episodios físicos (15 de 30).

Ai2 matiza esos resultados en dos aspectos. La evaluación física del sistema jerárquico utilizó la configuración simulada más sencilla, con los caracteres de los bloques visibles y en posición vertical; se necesitan más pruebas para establecer la confianza estadística en distintas tareas. La ficha de ManiFlow también registra tasas de éxito de entre el 54 % y el 59 % en cuatro ejecuciones de los mismos 128 episodios simulados, porque ni la simulación ni la inferencia por lotes son deterministas bit a bit.

Ai2 planea una segunda versión con un conjunto de datos más amplio, más habilidades y una evaluación comparativa más extensa, además de entrenamiento por aprendizaje por refuerzo plenamente integrado, ausente del paquete actual. Entre las líneas de trabajo a más largo plazo se incluyen la manipulación con dos brazos, las manos diestras con sensores de fuerza y tacto, y la interacción con montones de bloques desordenados.

Por tanto, la contribución inmediata de ToyBlocks es el control experimental: los investigadores pueden modificar las combinaciones de entrenamiento, separar la planificación de la ejecución y devolver los fallos al proceso de generación de datos. Los resultados iniciales también delimitan sus limitaciones: la escasa capacidad de generalización en simulación y la reducida evaluación física moderan lo que estas primeras tasas de transferencia permiten concluir sobre el aprendizaje robótico más allá del mundo de los bloques.