Ai2 lancia ToyBlocks per verificare come imparano e falliscono i robot

Il 6 novembre 2026, Ai2 ha lanciato ToyBlocks come primo ambiente del framework FoundationWorlds, affiancando una simulazione robotica aperta a dimostrazioni generate, due modelli addestrati e strumenti di valutazione. Il framework è progettato per rendere ripetibili gli esperimenti sull’apprendimento dei robot e facilitare l’analisi dei fallimenti.

L’ambiente presenta un braccio simulato e blocchi etichettati su un tavolo. Oltre a spingere, capovolgere e impilare, i compiti comprendono la ricerca, lo smistamento e la disposizione: la lettera o l’immagine necessaria su un blocco può essere nascosta, perciò il robot deve girarlo prima di decidere dove collocarlo. Le variazioni delle dimensioni dei blocchi, dell’altezza del tavolo e di altre proprietà tra una scena e l’altra permettono di verificare se le politiche riescono a gestire geometrie variabili.

Questo dominio circoscritto permette ad Ai2 di perseguire contemporaneamente quattro obiettivi: una fisica e un aspetto visivo credibili, la generazione scalabile di compiti e dimostrazioni, problemi che richiedono sia ragionamento sia destrezza e una copertura dei compiti supportati dal dominio.

Dimostrazioni automatizzate e modelli aperti

L’apprendimento per rinforzo e la pianificazione del movimento consentono di creare abilità per compiti brevi in Isaac Lab di Nvidia. Per generare le abilità si può utilizzare lo stato privilegiato del simulatore, comprese le posizioni e gli orientamenti esatti dei blocchi, anziché le stime ricavate dalle telecamere; in questo modo si automatizzano comportamenti che altrimenti richiederebbero la teleoperazione di un robot fisico. Un pianificatore di compiti e movimenti seleziona quindi le abilità e le mette in sequenza per produrre dimostrazioni etichettate. Secondo Ai2, centinaia di piani possono essere eseguiti contemporaneamente su una sola GPU, a una velocità fino a 24 volte superiore al tempo reale.

I ricercatori possono assegnare pesi diversi alle combinazioni di dati di addestramento, dando priorità a determinate abilità, e valutare le politiche su compiti esclusi dall’addestramento. In questo modo, il generatore di dati diventa uno strumento di controllo sperimentale, anziché una semplice fonte di dataset più ampi.

Gli obiettivi sono formulati come specifiche di pianificazione PDDL nel repository di ToyBlocks, consentendo al sistema di valutazione di misurare il completamento e i progressi intermedi senza dover definire metriche su misura per ogni compito. Le dimostrazioni sono archiviate nel formato LeRobot. In una politica gerarchica, ciascuno dei due livelli può essere sostituito con un oracolo che fornisce il piano o l’azione corretti, così da distinguere le decisioni errate dagli errori di esecuzione motoria. Anche gli stati di fallimento possono essere reimmessi nel processo di generazione dei dati per produrre nuove dimostrazioni e strategie di recupero.

Ai2 riferisce che la versione iniziale comprende 85.336 dimostrazioni su orizzonti temporali lunghi, ciascuna composta da circa 6–12 dimostrazioni di abilità, a seconda del set, per un totale di quasi 1.600 ore di esecuzione robotica e 144 milioni di fotogrammi. Il dataset pubblico utilizza dati LeRobot in formato Parquet con licenza ODC-BY e comprende sottoinsiemi di difficoltà facile, media e alta. Il codice principale è distribuito con licenza Apache-2.0; i moduli secondari specificati e le risorse scaricate sono soggetti alle rispettive licenze.

Le schede dei modelli di Ai2 suddividono la politica rilasciata in due livelli: Molmo2-4B-tb, un modello con circa 4,5 miliardi di parametri, elabora un’immagine della telecamera frontale e un obiettivo testuale per produrre un piano breve, l’azione successiva e un punto di destinazione; ManiFlow-tb, con 322,5 milioni di parametri, utilizza le immagini della telecamera frontale e della pinza, lo stato del robot, le informazioni sul compito e una mappa di calore dell’obiettivo per generare sequenze di azioni.

Generalizzazione ed esperimenti con agenti

Gli esperimenti spaziali riguardano l’impilamento, il disimpilamento, il capovolgimento e la rotazione, distinguendo l’interpolazione entro l’intervallo di addestramento dall’estrapolazione al di fuori di esso. Tra gli esempi figurano l’addestramento con blocchi in una zona dello spazio di lavoro e la verifica in un’altra, oppure l’esclusione di determinate altezze delle pile. Ai2 riferisce che, nonostante il preaddestramento su larga scala, ManiFlow, π0.5 e MolmoAct 2 mostrano inizialmente scarse capacità di generalizzazione e conclude che la generalizzazione dei modelli d’azione è ancora ben lontana dall’essere un problema risolto.

I test con agenti mettono in luce un’altra debolezza. Ai2 afferma che il suo sistema basato su Claude Opus 5.5 ha risolto tutti e 30 i classici compiti di impilamento dei blocchi a partire da descrizioni testuali, e tutti e 30 anche scegliendo le azioni in un ciclo chiuso sulla base di immagini ripetute delle telecamere. Nelle scene di ricerca e composizione di parole, con un massimo di otto blocchi, nel 50% dei casi mancava una lettera necessaria e il compito doveva essere riconosciuto come impossibile. L’agente ha risolto il compito o identificato correttamente l’impossibilità nel 63% dei casi; la confusione tra lettere simili ha rappresentato il 13% e l’orientamento errato delle lettere il 15%.

Un terzo esperimento con agenti ha consentito al sistema di verificare comportamenti inattesi delle abilità e di scrivere nuove descrizioni delle abilità sulla base dei risultati. Ai2 riferisce che queste descrizioni apprese hanno portato il tasso di successo dal 24% ottenuto con le descrizioni predefinite al 63%, superando il 36% raggiunto con descrizioni scritte da un esperto umano.

Test con robot fisici e relativi limiti

Per la valutazione fisica, modelli addestrati esclusivamente sui dati di simulazione di ToyBlocks sono stati eseguiti senza esempi di addestramento del mondo reale su un braccio Franka FR3 con una pinza Robotiq. Le 30 configurazioni di scena comprendevano da 4 a 10 blocchi già incontrati durante l’addestramento. Un episodio era considerato riuscito solo se i blocchi pertinenti raggiungevano le pose obiettivo senza collisioni; l’intervento di un operatore per un movimento non sicuro era considerato un fallimento.

Per ridurre il divario tra simulazione e realtà, Ai2 ha regolato l’attrito dei giunti e l’inerzia del braccio simulati sulla base di traiettorie reali. Nella generazione dei dati sono state randomizzate le dimensioni degli oggetti, l’attrito e l’altezza del tavolo, oltre all’illuminazione, agli sfondi, ai materiali e ai parametri delle telecamere.

Ai2 riporta tassi di successo del 80,0% in simulazione e dell’81,1% sul braccio fisico per le abilità atomiche di ManiFlow. Il sistema gerarchico Molmo 2–ManiFlow ha avuto successo nel 55,5% degli episodi simulati (111 su 200) e nel 50,0% degli episodi sul braccio fisico (15 su 30).

Ai2 precisa questi risultati sotto due aspetti. La valutazione della gerarchia sul braccio fisico ha utilizzato la configurazione simulata più semplice, con i caratteri sui blocchi visibili e orientati correttamente; saranno necessarie ulteriori prove per stabilire la significatività statistica nei diversi compiti. La scheda di ManiFlow riporta inoltre tassi di successo compresi tra il 54% e il 59% in quattro esecuzioni degli stessi 128 episodi simulati, poiché la simulazione e l’inferenza in batch non sono deterministiche bit per bit.

Ai2 prevede una seconda versione con un dataset più ampio, un maggior numero di abilità e un’attività di benchmarking più estesa, oltre all’addestramento con apprendimento per rinforzo completamente integrato, assente nel pacchetto attuale. Tra gli sviluppi a più lungo termine figurano la manipolazione con due bracci, mani capaci di movimenti precisi dotate di sensori di forza e tatto e l’interazione con pile di blocchi disordinati.

Il contributo immediato di ToyBlocks consiste quindi nel controllo sperimentale: i ricercatori possono modificare le combinazioni dei dati di addestramento, separare la pianificazione dall’esecuzione e reindirizzare gli errori verso la generazione dei dati. I risultati iniziali definiscono anche i limiti del sistema: la scarsa capacità di generalizzazione in simulazione e la limitata valutazione sul braccio fisico ridimensionano ciò che questi primi tassi di trasferimento permettono di concludere sull’apprendimento robotico al di là del mondo dei blocchi.