Ai2 lansează ToyBlocks pentru a testa cum învață și eșuează roboții

Ai2 a lansat ToyBlocks pe 6 noiembrie 2026, ca primul mediu din cadrul frameworkului FoundationWorlds, asociind o simulare deschisă de roboți cu demonstrații generate, două modele antrenate și instrumente de evaluare. Frameworkul este conceput pentru a face experimentele de învățare robotică reproductibile și pentru a facilita identificarea cauzelor eșecurilor.

Mediul simulează un braț robotic și blocuri etichetate pe o masă. Împingerea, răsturnarea și stivuirea sunt completate de sarcini de căutare, sortare și aranjare: litera sau imaginea necesară de pe un bloc poate fi ascunsă, așa că robotul trebuie să-l întoarcă înainte de a decide unde îi este locul. Variația dimensiunii blocurilor, a înălțimii mesei și a altor proprietăți de la o scenă la alta testează dacă politicile se adaptează la schimbările geometrice.

Domeniul restrâns îi permite lui Ai2 să urmărească simultan patru obiective: fizică și imagini credibile, generarea scalabilă de sarcini și demonstrații, probleme care necesită atât raționament, cât și dexteritate și acoperirea sarcinilor pe care le poate susține domeniul.

Demonstrații automatizate și modele deschise

Învățarea prin consolidare și planificarea mișcărilor creează abilități pentru sarcini scurte în Isaac Lab, de la Nvidia. Generarea abilităților poate folosi starea privilegiată a simulatorului, inclusiv pozițiile și orientările exacte ale blocurilor, în locul estimărilor bazate pe imagini de la cameră, automatizând comportamente care, altfel, ar necesita teleoperarea unui robot fizic. Un planificator de sarcini și mișcări selectează apoi abilitățile și le ordonează pentru a produce demonstrații etichetate. Potrivit Ai2, sute de planuri pot fi executate simultan pe un singur GPU, cu o viteză de până la 24 de ori mai mare decât în timp real.

Cercetătorii pot pondera amestecurile de antrenare rezultate în favoarea anumitor abilități și pot evalua politicile pe sarcini excluse din antrenare. Astfel, generatorul de date devine un instrument de control experimental, nu doar o sursă de seturi de date mai mari.

Obiectivele sunt formulate ca specificații de planificare PDDL în depozitul ToyBlocks, ceea ce permite sistemului de evaluare să măsoare finalizarea sarcinii și progresul intermediar fără indicatori creați special pentru fiecare sarcină. Demonstrațiile sunt stocate în formatul LeRobot. O politică ierarhică poate înlocui oricare dintre niveluri cu un oracol care furnizează un plan sau o acțiune corectă, separând deciziile greșite de execuția motorie defectuoasă. Stările de eșec pot fi, de asemenea, trimise înapoi către procesul de generare a datelor pentru a produce demonstrații noi și recuperări.

Ai2 anunță că versiunea inițială conține 85.336 de demonstrații cu orizont lung, fiecare cuprinzând aproximativ 6–12 demonstrații de abilități, în funcție de set, și acoperind aproape 1.600 de ore de execuție robotică și 144 de milioane de cadre. Setul de date public folosește date LeRobot în format Parquet, distribuite sub licența ODC-BY, și include subseturi ușoare, medii și dificile. Codul principal este licențiat sub Apache-2.0; modulele secundare specificate și resursele descărcate au licențe proprii.

Fișele de model publicate de Ai2 împart politica lansată în două niveluri: Molmo2-4B-tb, un model cu aproximativ 4,5 miliarde de parametri, prelucrează o imagine de la camera frontală și un obiectiv exprimat în text pentru a genera un plan scurt, următoarea acțiune și un punct-țintă; ManiFlow-tb, cu 322,5 milioane de parametri, folosește imagini de la camera frontală și de la gripper, starea robotului, informații despre sarcină și o hartă termică a țintei pentru a genera secvențe de acțiuni.

Generalizare și experimente cu agenți

Experimentele spațiale acoperă Stivuirea, De-stivuirea, Răsturnarea și Rotirea și disting între interpolarea în intervalul de antrenare și extrapolarea dincolo de acesta. Exemplele includ antrenarea cu blocuri într-o anumită zonă de lucru și testarea lor într-o alta sau excluderea anumitor înălțimi de stivuire din antrenare. Ai2 raportează că ManiFlow, π0.5 și MolmoAct 2 au avut inițial o generalizare slabă, în ciuda preantrenării la scară largă, și concluzionează că generalizarea modelelor de acțiune este departe de a fi rezolvată.

Testele cu agenți scot la iveală o altă slăbiciune. Ai2 afirmă că sistemul său bazat pe Claude Opus 5.5 a rezolvat toate cele 30 de sarcini clasice de stivuire a blocurilor pornind de la descrieri textuale și toate cele 30 atunci când a ales acțiuni în buclă închisă, pe baza unor imagini repetate de la cameră. În scenele de căutare și ortografiere, care conțineau până la opt blocuri, în 50% dintre cazuri lipsea o literă necesară, iar situația trebuia identificată ca imposibilă. Agentul a rezolvat sarcina sau a identificat corect imposibilitatea în 63% dintre cazuri; confuzia între litere asemănătoare a reprezentat 13%, iar orientarea incorectă a literelor, 15%.

Un al treilea experiment cu agenți a permis sistemului să testeze comportamentul neașteptat al abilităților și să redacteze descrieri noi ale acestora pe baza rezultatelor. Ai2 raportează că aceste descrieri învățate au crescut rata de succes de la 24%, cu descrierile implicite, la 63%, depășind rata de 36% obținută cu descrieri redactate de un expert uman.

Teste cu roboți fizici și limitele acestora

Pentru evaluarea fizică, modele antrenate exclusiv pe date de simulare ToyBlocks au fost rulate pe un braț Franka FR3 cu un gripper Robotiq, fără exemple de antrenare din lumea reală. Cele 30 de configurații ale scenelor conțineau 4–10 blocuri întâlnite în timpul antrenării. Un episod era considerat reușit numai dacă blocurile relevante ajungeau în pozițiile-țintă fără coliziuni; intervenția unui operator din cauza unei mișcări nesigure era considerată un eșec.

Pentru a reduce decalajul dintre simulare și realitate, Ai2 a ajustat fricțiunea și inerția articulațiilor simulate pe baza traiectoriilor reale. Generarea datelor a inclus variații ale dimensiunii obiectelor, fricțiunii și înălțimii mesei, precum și ale iluminării, fundalurilor, materialelor și parametrilor camerei.

Ai2 raportează rate de succes pentru abilitățile atomice ale ManiFlow de 80,0% în simulare și de 81,1% pe brațul fizic. Sistemul ierarhic Molmo 2–ManiFlow a reușit în 55,5% dintre episoadele simulate (111 din 200) și în 50,0% dintre episoadele fizice (15 din 30).

Ai2 nuanțează aceste rezultate în două privințe. Evaluarea ierarhică pe brațul fizic a folosit cea mai simplă configurație simulată, în care caracterele de pe blocuri erau vizibile și orientate vertical, iar pentru stabilirea încrederii statistice în diferite sarcini sunt necesare teste suplimentare. Fișa ManiFlow consemnează, de asemenea, rate de succes cuprinse între 54% și 59% în patru rulări ale acelorași 128 de episoade simulate, deoarece simularea și inferența pe loturi nu sunt deterministe la nivel de biți.

Ai2 planifică o a doua lansare, cu un set de date mai mare, mai multe abilități și o evaluare comparativă mai amplă, precum și antrenarea prin învățare prin întărire, integrată complet, care lipsește din pachetul actual. Printre direcțiile pe termen mai lung se numără manipularea cu două brațe, mâinile cu dexteritate, dotate cu senzori de forță și atingere, și interacțiunea cu grămezi de blocuri neorganizate.

Prin urmare, contribuția imediată a ToyBlocks constă în controlul experimental: cercetătorii pot modifica amestecurile de date de antrenare, pot separa planificarea de execuție și pot folosi eșecurile pentru a genera date suplimentare. Rezultatele inițiale îi conturează și limitele: generalizarea slabă în simulare și evaluarea restrânsă pe brațul fizic temperează concluziile pe care aceste rate timpurii de transfer le permit despre învățarea roboților dincolo de lumea blocurilor.