Ai2 lanserar ToyBlocks för att testa hur robotar lär sig och misslyckas

Ai2 lanserade ToyBlocks den 6 november 2026 som den första miljön inom ramverket FoundationWorlds. Lanseringen kombinerar en öppen robotsimulering med genererade demonstrationer, två tränade modeller och utvärderingsverktyg. Ramverket är utformat för att göra experiment med robotinlärning reproducerbara och underlätta spårningen av fel.

Miljön består av en simulerad arm och märkta klossar på en bordsskiva. Förutom att skjuta, vända och stapla klossar ingår uppgifter med sökning, sortering och placering: den bokstav eller bild som behövs på en kloss kan vara dold, så roboten måste vända på den innan den avgör var den hör hemma. Genom att variera klossarnas storlek, bordshöjden och andra egenskaper mellan scenerna testas om styrstrategierna klarar av förändrad geometri.

Den avgränsade domänen låter Ai2 arbeta med fyra egenskaper samtidigt: trovärdig fysik och visuella intryck, skalbar generering av uppgifter och demonstrationer, problem som kräver både resonemang och fingerfärdighet samt täckning av de uppgifter som domänen kan stödja.

Automatiserade demonstrationer och öppna modeller

Förstärkningsinlärning och rörelseplanering skapar färdigheter för korta uppgifter i Nvidias Isaac Lab. Vid genereringen av färdigheter kan man använda simulatorns privilegierade tillståndsinformation, däribland klossarnas exakta positioner och orienteringar, i stället för uppskattningar från kameror. Därmed automatiseras beteenden som annars skulle kräva fjärrstyrning av en fysisk robot. En planerare för uppgifter och rörelser väljer sedan ut och sekvenserar färdigheter för att skapa märkta demonstrationer. Enligt Ai2 kan hundratals planer köras parallellt på en enda GPU med upp till 24 gånger realtidsprestanda.

Forskare kan vikta de resulterande träningsblandningarna så att vissa färdigheter får större tyngd och utvärdera styrstrategier på uppgifter som inte ingått i träningen. Därmed blir datageneratorn ett verktyg för experimentell kontroll, inte bara en källa till större datamängder.

Målen skrivs som PDDL-planeringsspecifikationer i ToyBlocks-databasen, så att utvärderingssystemet kan bedöma både slutförande och framsteg på vägen dit utan särskilda mätetal för varje uppgift. Demonstrationerna lagras i LeRobot-format. I en hierarkisk styrstrategi kan en orakelkomponent som tillhandahåller en korrekt plan eller handling ersätta endera nivån, vilket gör det möjligt att skilja mellan dåliga beslut och bristfälligt motoriskt utförande. Tillstånd efter misslyckanden kan också skickas tillbaka till datagenereringen för att skapa nya demonstrationer och återhämtningsförlopp.

Ai2 uppger att den första versionen innehåller 85 336 demonstrationer av uppgifter med lång tidshorisont. Varje demonstration omfattar ungefär 6–12 färdighetsdemonstrationer, beroende på delmängd, och täcker nästan 1 600 timmar av robotkörning och 144 miljoner bildrutor. Den offentliga datamängden består av LeRobot-data i Parquet-format under licensen ODC-BY, med delmängder på lätt, medelsvår och svår nivå. Huvudkoden har licensen Apache-2.0; angivna delmoduler och nedladdade resurser omfattas av egna licenser.

I Ai2:s modellkort delas den lanserade styrstrategin upp i två nivåer: Molmo2-4B-tb, en modell med ungefär 4,5 miljarder parametrar, läser en bild från den främre kameran och ett textmål för att skapa en kort plan, nästa handling och en målpunkt. ManiFlow-tb, med 322,5 miljoner parametrar, använder bilder från den främre kameran och gripkameran, robotens tillstånd, uppgiftsinformation och en målvärmekarta för att generera handlingssekvenser.

Generalisering och agentexperiment

De rumsliga experimenten omfattar uppgifterna stapla, ta isär stapel, vända och rotera. De skiljer mellan interpolering inom träningsintervallet och extrapolering utanför det. Exempelvis tränas modellerna med klossar i en del av arbetsytan och testas i en annan, eller så undanhålls vissa stapelhöjder under träningen. Ai2 rapporterar att ManiFlow, π0.5 och MolmoAct 2 till en början generaliserar dåligt trots omfattande förträning och drar slutsatsen att handlingsmodellernas generalisering fortfarande är långt ifrån löst.

Agenttesterna blottlägger en annan svaghet. Ai2 uppger att deras system baserat på Claude Opus 5.5 klarade alla 30 klassiska klossstaplingsuppgifter utifrån textbeskrivningar och alla 30 när det valde handlingar i en återkopplad loop utifrån upprepade kamerabilder. I scener med sökning och bokstavsbildning, som innehöll upp till åtta klossar, saknades en nödvändig bokstav i 50 % av fallen, vilket innebar att uppgiften var omöjlig. Agenten löste uppgiften eller identifierade korrekt att den inte gick att genomföra i 63 % av fallen. Förväxlingar mellan liknande bokstäver stod för 13 % och felaktig bokstavsorientering för 15 %.

I ett tredje agentexperiment fick systemet testa oväntade färdighetsbeteenden och utifrån resultaten skriva nya färdighetsbeskrivningar. Ai2 uppger att dessa inlärda beskrivningar höjde framgångsgraden från 24 % med standardbeskrivningar till 63 %, vilket överträffade de 36 % som uppnåddes med beskrivningar skrivna av en mänsklig expert.

Tester med fysiska robotar och deras begränsningar

Vid den fysiska utvärderingen kördes modeller som tränats enbart på simuleringsdata från ToyBlocks, utan träningsexempel från verkligheten, på en Franka FR3-arm med en Robotiq-gripare. De 30 scenkonfigurationerna innehöll 4–10 klossar som modellen hade sett under träningen. Ett försök räknades som lyckat endast när de relevanta klossarna nådde sina mållägen utan kollisioner; ingripanden från en operatör för att förhindra osäkra rörelser räknades som misslyckanden.

För att minska simuleringsgapet justerade Ai2 simuleringens ledfriktion och armatur utifrån verkliga rörelsebanor. Vid datagenereringen varierades objektens storlek och friktion samt bordshöjden, liksom belysning, bakgrunder, material och kameraparametrar.

Ai2 rapporterar att ManiFlows atomära färdigheter lyckas i 80,0 % av fallen i simulering och 81,1 % på den fysiska robotarmen. Det hierarkiska Molmo 2–ManiFlow-systemet lyckades i 55,5 % av de simulerade episoderna (111 av 200) och 50,0 % av de fysiska episoderna (15 av 30).

Ai2 reserverar sig för resultaten på två punkter. Utvärderingen av hierarkin på den fysiska roboten använde den enklaste simulerade konfigurationen, där blockens tecken var synliga och upprätta, och fler försök behövs för att fastställa statistisk säkerhet för olika uppgifter. ManiFlow-kortet redovisar också framgångsgrader på mellan 54 % och 59 % under fyra körningar av samma 128 simulerade episoder, eftersom simulering och batchad inferens inte är deterministiska på bitnivå.

Ai2 planerar en andra utgåva med en större datamängd, fler färdigheter och bredare jämförande utvärdering, samt helt integrerad träning med förstärkningsinlärning, som saknas i det nuvarande paketet. På längre sikt planeras manipulation med två armar, fingerfärdiga händer med kraft- och känselsensorer samt interaktion med oorganiserade högar av block.

ToyBlocks främsta bidrag här och nu är därför att ge forskare experimentell kontroll: de kan ändra träningsmixar, skilja planering från utförande och mata tillbaka misslyckanden till datagenereringen. De första resultaten visar också systemets begränsningar: svag generalisering i simulering och en begränsad fysisk utvärdering sätter resultaten i perspektiv och begränsar vad de tidiga överföringsgraderna visar om robotinlärning utanför blockvärlden.