Ai2 lanserer ToyBlocks for å teste hvordan roboter lærer og mislykkes

Ai2 lanserte ToyBlocks 6. november 2026 som det første miljøet i rammeverket FoundationWorlds. Det kombinerer en åpen robotsimulering med genererte demonstrasjoner, to trente modeller og evalueringsverktøy. Rammeverket er utviklet for å gjøre eksperimenter med robotlæring etterprøvbare og gjøre det enklere å spore feil.

I miljøet plasseres en simulert robotarm og merkede klosser på en bordplate. I tillegg til å skyve, vende og stable klosser omfatter oppgavene søk, sortering og plassering: Bokstaven eller bildet roboten trenger, kan være skjult, så roboten må snu klossen før den avgjør hvor den hører hjemme. Ved å variere klossenes størrelse, bordhøyden og andre egenskaper fra scene til scene testes det om policyene takler endringer i geometrien.

Det avgrensede domenet gjør det mulig for Ai2 å arbeide med fire egenskaper samtidig: troverdig fysikk og visuelle fremstillinger, skalerbar generering av oppgaver og demonstrasjoner, problemer som krever både resonnering og fingerferdighet, og dekning av oppgavene domenet kan støtte.

Automatiserte demonstrasjoner og åpne modeller

Forsterkningslæring og bevegelsesplanlegging brukes til å utvikle ferdigheter for korte oppgaver i Nvidias Isaac Lab. Ferdighetsgenereringen kan bruke privilegert informasjon fra simulatoren, blant annet nøyaktige posisjoner og orienteringer for klossene, i stedet for estimater fra kameraer. Dermed kan atferd som ellers ville krevd fjernstyring av en fysisk robot, automatiseres. Deretter velger og sekvenserer en planlegger for oppgaver og bevegelser ferdigheter for å lage merkede demonstrasjoner. Ai2 sier at hundrevis av planer kan kjøres samtidig på én GPU, med en ytelse på opptil 24 ganger sanntid.

Forskere kan vekte de resulterende treningsblandingene mot bestemte ferdigheter og evaluere policyer på oppgaver som er holdt utenfor treningen. Dermed fungerer datageneratoren som en eksperimentell kontroll, ikke bare som en kilde til større datasett.

Målene formuleres som PDDL-planleggingsspesifikasjoner i ToyBlocks-repositoriet. Det gjør det mulig for evalueringssystemet å måle både fullføring og framdrift underveis uten å lage egne målemetoder for hver oppgave. Demonstrasjonene lagres i LeRobot-format. I en hierarkisk policy kan hvert av de to nivåene byttes ut med en orakelmodul som angir en korrekt plan eller handling, slik at dårlige beslutninger kan skilles fra feil i den motoriske utførelsen. Mislykkede tilstander kan også sendes tilbake til datagenereringen for å lage nye demonstrasjoner og gjenopprettingsforløp.

Ai2 opplyser at den første utgivelsen inneholder 85 336 demonstrasjoner for oppgaver med lang tidshorisont. Hver demonstrasjon består av omtrent 6–12 ferdighetsdemonstrasjoner, avhengig av datasettet, og dekker nesten 1 600 timer med robotkjøring og 144 millioner bilderammer. Det offentlige datasettet bruker LeRobot-data i Parquet-format under en ODC-BY-lisens, med enkle, middels vanskelige og vanskelige delsett. Hovedkoden er lisensiert under Apache-2.0; angitte undermoduler og nedlastede ressurser har egne lisenser.

Ifølge modellkortene fra Ai2 er den utgitte policyen delt inn i to nivåer: Molmo2-4B-tb, en modell med omtrent 4,5 milliarder parametere, leser et bilde fra frontkameraet og et mål formulert i tekst, og lager en kort plan, neste handling og et målpunk; ManiFlow-tb, med 322,5 millioner parametere, bruker bilder fra frontkameraet og gripekamerat, robottilstand, oppgaveinformasjon og et målkart for å generere handlingssekvenser.

Generalisering og eksperimenter med agenter

De romlige eksperimentene omfatter stabling, demontering av stabler, vending og rotasjon. De skiller mellom interpolering innenfor treningsområdet og ekstrapolering utenfor det. Eksemplene omfatter trening med klosser i én del av arbeidsområdet og testing i en annen, eller å holde bestemte stabelhøyder utenfor treningen. Ai2 rapporterer at ManiFlow, π0.5 og MolmoAct 2 i utgangspunktet generaliserer dårlig, til tross for omfattende forhåndstrening, og konkluderer med at generalisering i handlingsmodeller fortsatt er langt fra løst.

Agenttestene avdekker en annen svakhet. Ai2 sier at systemet basert på Claude Opus 5.5 løste alle de 30 klassiske klossestablingsoppgavene ut fra tekstbeskrivelser, og også alle 30 når det valgte handlinger i en lukket sløyfe basert på gjentatte kamerabilder. I søke- og staveoppgaver med opptil åtte klosser manglet den nødvendige bokstaven i 50 % av tilfellene, og oppgaven måtte identifiseres som umulig. Agenten løste oppgaven eller identifiserte korrekt at den ikke lot seg løse, i 63 % av tilfellene. Forveksling av bokstaver som ligner på hverandre sto for 13 %, og feil bokstavorientering for 15 %.

I et tredje agenteksperiment fikk systemet undersøke uventet atferd hos ferdigheter og skrive nye beskrivelser av ferdighetene ut fra resultatene. Ai2 rapporterer at disse innlærte beskrivelsene økte suksessraten fra 24 % med standardbeskrivelser til 63 %, høyere enn de 36 % som ble oppnådd med beskrivelser skrevet av en menneskelig ekspert.

Fysiske robottester og begrensningene deres

I den fysiske evalueringen ble modeller som var trent utelukkende på simuleringsdata fra ToyBlocks, kjørt uten eksempler fra virkelige omgivelser på en Franka FR3-arm med en Robotiq-griper. De 30 sceneoppsettene inneholdt 4–10 klosser, innenfor antallet som var brukt under treningen. En episode ble bare regnet som vellykket når de relevante klossene nådde målposisjonene sine uten kollisjoner; inngrep fra en operatør på grunn av utrygge bevegelser ble regnet som en feil.

For å redusere gapet mellom simulering og virkelighet justerte Ai2 simulert friksjon i leddene og armatur mot baner fra virkelige bevegelser. I datagenereringen ble størrelsen på objektene, friksjonen og bordhøyden randomisert, sammen med belysning, bakgrunner, materialer og kameraparametere.

Ai2 rapporterer at ManiFlow oppnår en suksessrate på 80,0 % for atomiske ferdigheter i simulering og 81,1 % med den fysiske robotarmen. Det hierarkiske Molmo 2–ManiFlow-systemet lyktes i 55,5 % av de simulerte episodene (111 av 200) og 50,0 % av episodene med den fysiske robotarmen (15 av 30).

Ai2 tar forbehold om disse resultatene på to punkter. Evalueringen av det hierarkiske systemet med den fysiske robotarmen brukte den enkleste simulerte konfigurasjonen, der figurene på blokkene var synlige og sto oppreist. Det trengs flere forsøk for å fastslå statistisk sikkerhet på tvers av oppgaver. ManiFlow-kortet viser også suksessrater fra 54 % til 59 % i fire kjøringer av de samme 128 simulerte episodene, fordi simulering og batchet inferens ikke er bit-for-bit-deterministiske.

Ai2 planlegger en ny utgivelse med et større datasett, flere ferdigheter og bredere sammenlignende testing, i tillegg til fullt integrert trening med forsterkningslæring, som ikke finnes i den nåværende pakken. På lengre sikt omfatter planene manipulering med to armer, fingerferdige hender med kraft- og berøringssensorer og samhandling med ustrukturerte blokkhauger.

ToyBlocks’ umiddelbare bidrag er dermed å gi forskerne kontroll over eksperimentene: De kan endre sammensetningen av treningsdata, skille planlegging fra utførelse og føre feil tilbake til datagenereringen. De første resultatene viser også begrensningene: Svak generalisering i simulering og en snever fysisk evaluering gjør at disse tidlige overføringsratene gir et begrenset grunnlag for å fastslå hva robotlæring kan oppnå utenfor blokkverdenen.