Ai2 lancerer ToyBlocks for at teste, hvordan robotter lærer og fejler

Ai2 lancerede ToyBlocks den 6. november 2026 som det første miljø i virksomhedens FoundationWorlds-ramme. Det kombinerer en åben robotsimulering med genererede demonstrationer, to trænede modeller og evalueringsværktøjer. Rammen er udviklet til at gøre eksperimenter med robotlæring reproducerbare og gøre det lettere at spore fejl.

Opsætningen placerer en simuleret robotarm og mærkede klodser på en bordplade. Skub, vending og stabling suppleres af opgaver med søgning, sortering og arrangering: Det bogstav eller billede, robotten skal bruge, kan være skjult på en klods, så robotten må vende den, før den afgør, hvor den hører til. Ved at variere klodsernes størrelse, bordhøjden og andre egenskaber fra scene til scene kan man teste, om politikkerne kan håndtere skiftende geometri.

Det afgrænsede domæne gør det muligt for Ai2 at arbejde med fire egenskaber på én gang: troværdig fysik og visuelle elementer, skalerbar generering af opgaver og demonstrationer, problemer, der kræver både ræsonnement og fingerfærdighed, samt dækning af de opgaver, domænet kan understøtte.

Automatiserede demonstrationer og åbne modeller

Forstærkningslæring og bevægelsesplanlægning skaber færdigheder til korte opgaver i Nvidias Isaac Lab. Færdighedsgenereringen kan bruge privilegerede data om simulatorens tilstand, herunder klodsernes nøjagtige positioner og orienteringer, i stedet for estimater fra kameraer. Det automatiserer adfærd, som ellers ville kræve fjernstyring af en fysisk robot. En planlægger for opgaver og bevægelser vælger derefter færdigheder og sætter dem i rækkefølge for at skabe mærkede demonstrationer. Ai2 oplyser, at hundredvis af planer kan køres samtidigt på én GPU med op til 24 gange realtidshastighed.

Forskere kan vægte de resulterende træningsblandinger, så de lægger større vægt på bestemte færdigheder, og evaluere politikker på opgaver, der ikke indgik i træningen. Dermed bliver datageneratoren et middel til eksperimentel kontrol snarere end blot en kilde til større datasæt.

Målene beskrives som PDDL-planlægningsspecifikationer i ToyBlocks-arkivet. Det gør det muligt for evalueringssystemet at bedømme, om opgaven er fuldført, og hvor langt man er nået undervejs, uden at der skal udvikles særskilte målinger til hver opgave. Demonstrationerne gemmes i LeRobot-format. I en hierarkisk politik kan et af de to niveauer erstattes af et orakel, der leverer en korrekt plan eller handling, så man kan skelne mellem dårlige beslutninger og fejl i den motoriske udførelse. Tilstande, hvor robotten fejler, kan også sendes tilbage til datagenereringen, så der kan skabes nye demonstrationer og forløb, der viser, hvordan robotten kommer videre.

Ai2 oplyser, at den første udgivelse indeholder 85.336 demonstrationer af opgaver med lang tidshorisont. Hver demonstration består af cirka 6–12 færdighedsdemonstrationer, afhængigt af datasættet, og dækker næsten 1.600 timers robotudførelse og 144 millioner billeder. Det offentlige datasæt bruger LeRobot-data i Parquet-format under en ODC-BY-licens og indeholder delmængder med lette, mellemsvære og svære opgaver. Hovedkoden er licenseret under Apache-2.0; bestemte undermoduler og downloadede aktiver har deres egne licenser.

Ai2s modelkort opdeler den frigivne politik i to niveauer: Molmo2-4B-tb, en model med cirka 4,5 milliarder parametre, aflæser et billede fra frontkameraet og et mål angivet i tekst og genererer en kort plan, den næste handling og et målpunkt; ManiFlow-tb, der har 322,5 millioner parametre, bruger billeder fra frontkameraet og griberen, robottens tilstand, opgaveinformation og et målkort over sandsynlighed for at generere handlingssekvenser.

Generalisering og agenteksperimenter

De rumlige eksperimenter omfatter stabling, afstabling, vending og rotation og skelner mellem interpolation inden for træningsintervallet og ekstrapolation ud over det. Eksemplerne omfatter træning med klodser i én del af arbejdsområdet og test i en anden eller udeladelse af bestemte stablingshøjder fra træningen. Ai2 rapporterer, at ManiFlow, π0.5 og MolmoAct 2 i første omgang generaliserer dårligt trods omfattende fortræning, og konkluderer, at generalisering i handlingsmodeller stadig er langt fra løst.

Agenttestene afslører en anden svaghed. Ai2 oplyser, at deres system baseret på Claude Opus 5.5 løste alle 30 klassiske opgaver med klodsestabling ud fra tekstbeskrivelser og alle 30, når det valgte handlinger i en lukket sløjfe ud fra gentagne kamerabilleder. I søge- og staveopgaver med op til otte klodser manglede der et nødvendigt bogstav i 50 % af tilfældene, og systemet skulle derfor identificere opgaven som umulig. Agenten løste opgaven eller identificerede korrekt, at den ikke kunne løses, i 63 % af tilfældene; forveksling af bogstaver, der ligner hinanden, stod for 13 %, og forkert bogstavorientering for 15 %.

I et tredje agenteksperiment kunne systemet afprøve uventet færdighedsadfærd og skrive nye beskrivelser af færdighederne ud fra resultaterne. Ai2 oplyser, at disse indlærte beskrivelser øgede succesraten fra 24 % med standardbeskrivelser til 63 %, hvilket oversteg de 36 %, der blev opnået med beskrivelser skrevet af en menneskelig ekspert.

Test med fysiske robotter og deres begrænsninger

Til den fysiske evaluering blev modeller, der udelukkende var trænet på ToyBlocks-simuleringsdata, kørt uden træningseksempler fra den virkelige verden på en Franka FR3-arm med en Robotiq-griber. De 30 sceneopsætninger indeholdt 4–10 klodser, som robotten havde set under træningen. En episode blev kun regnet som en succes, når de relevante klodser nåede deres målpositioner uden sammenstød; indgreb fra en operatør på grund af usikre bevægelser blev regnet som en fejl.

For at mindske forskellen mellem simulering og virkelighed tilpassede Ai2 den simulerede leddfriktion og leddenes inertimomenter efter virkelige bevægelsesforløb. Ved datagenereringen blev objekternes størrelse og friktion samt bordhøjden varieret sammen med belysning, baggrunde, materialer og kameraparametre.

Ai2 oplyser, at ManiFlow opnår en succesrate på 80,0 % for atomare færdigheder i simuleringer og 81,1 % på den fysiske arm. Det hierarkiske Molmo 2–ManiFlow-system lykkedes i 55,5 % af de simulerede episoder (111 af 200) og i 50,0 % af de fysiske episoder (15 af 30).

Ai2 tager dog forbehold for resultaterne på to punkter. Evalueringen af det fysiske hierarkiske system brugte den letteste simulerede opsætning, hvor blokkene var synlige og stod oprejst, og der er behov for yderligere forsøg for at fastslå den statistiske sikkerhed på tværs af opgaver. ManiFlow-kortet viser også succesrater fra 54 % til 59 % i fire kørsler af de samme 128 simulerede episoder, fordi simulering og batchinferens ikke er bitvist deterministiske.

Ai2 planlægger en anden udgivelse med et større datasæt, flere færdigheder og bredere benchmarking samt fuldt integreret træning med forstærkningslæring, som ikke indgår i den nuværende pakke. På længere sigt omfatter planerne manipulation med to arme, behændige hænder med kraft- og berøringssensorer samt interaktion med ustrukturerede bunker af blokke.

ToyBlocks’ umiddelbare bidrag er derfor eksperimentel kontrol: Forskere kan ændre træningssammensætninger, adskille planlægning fra udførelse og føre fejl tilbage til datagenereringen. De indledende resultater viser også løsningens begrænsninger: Svag generalisering i simuleringer og en snæver fysisk evaluering lægger en dæmper på, hvad disse tidlige overførselsrater kan fastslå om robotters læring uden for blokverdenen.