Ai2 brengt ToyBlocks uit om te testen hoe robots leren en falen

Ai2 bracht ToyBlocks uit op 6 november 2026 als de eerste omgeving binnen het FoundationWorlds-framework. Het combineert een open robotsimulatie met gegenereerde demonstraties, twee getrainde modellen en evaluatietools. Het framework is bedoeld om experimenten met robotleren reproduceerbaar te maken en het makkelijker te maken om fouten te traceren.

De omgeving bestaat uit een gesimuleerde robotarm en gelabelde blokken op een tafelblad. Naast duwen, omdraaien en stapelen zijn er ook zoek-, sorteer- en rangschikopdrachten: de benodigde letter of afbeelding op een blok kan verborgen zijn, zodat de robot het moet omdraaien voordat hij kan bepalen waar het thuishoort. Door de blokgrootte, tafelhoogte en andere eigenschappen per scène te variëren, wordt getest of het beleid om kan gaan met veranderende geometrie.

Dankzij het afgebakende domein kan Ai2 zich tegelijk richten op vier eigenschappen: geloofwaardige fysica en beelden, schaalbare generatie van taken en demonstraties, problemen die zowel redeneervermogen als behendigheid vereisen, en dekking van de taken die het domein kan ondersteunen.

Geautomatiseerde demonstraties en open modellen

In Nvidia’s Isaac Lab worden met reinforcement learning en bewegingsplanning vaardigheden voor korte taken gecreëerd. Bij het genereren van vaardigheden kan gebruik worden gemaakt van bevoorrechte simulatorinformatie, waaronder de exacte posities en oriëntaties van blokken, in plaats van schattingen op basis van camerabeelden. Zo kunnen gedragingen worden geautomatiseerd waarvoor anders teleoperatie van een fysieke robot nodig zou zijn. Een planner voor taken en bewegingen selecteert en ordent vervolgens vaardigheden om gelabelde demonstraties te produceren. Ai2 zegt dat honderden plannen gelijktijdig op één GPU kunnen worden uitgevoerd, met een snelheid tot 24 keer de realtime-snelheid.

Onderzoekers kunnen de resulterende trainingsmixen zodanig wegen dat bepaalde vaardigheden zwaarder meewegen, en beleid evalueren op taken die buiten de trainingsdata zijn gehouden. Daardoor fungeert de datagenerator als een experimentele controle, en niet alleen als een bron van grotere datasets.

Doelen worden vastgelegd als PDDL-planningsspecificaties in de ToyBlocks-repository. Hierdoor kan het evaluatiesysteem de voltooiing en tussentijdse voortgang beoordelen zonder voor elke taak aparte meetwaarden te ontwikkelen. De demonstraties worden opgeslagen in LeRobot-formaat. In een hiërarchisch beleid kan op elk van beide niveaus een orakel worden ingezet dat een correct plan of een correcte actie levert. Zo kunnen verkeerde beslissingen worden onderscheiden van fouten in de motorische uitvoering. Ook kunnen mislukte toestanden terugvloeien naar de datageneratie om nieuwe demonstraties en herstelpogingen te produceren.

Ai2 meldt dat de eerste release 85.336 demonstraties van langetermijntaken bevat, elk bestaande uit ongeveer 6–12 vaardigheidsdemonstraties, afhankelijk van de set. Samen bestrijken ze bijna 1.600 uur robotuitvoering en 144 miljoen frames. De openbare dataset bevat LeRobot-data in Parquet-formaat onder een ODC-BY-licentie, met subsets voor eenvoudig, gemiddeld en moeilijk. Op de hoofdcode is de Apache-2.0-licentie van toepassing; voor gespecificeerde submodules en gedownloade assets gelden hun eigen licenties.

Volgens de modelkaarten van Ai2 bestaat het uitgebrachte beleid uit twee niveaus: Molmo2-4B-tb, een model met ongeveer 4,5 miljard parameters, leest een beeld van de camera aan de voorzijde en een tekstueel doel om een kort plan, de volgende actie en een doelpunt te produceren; ManiFlow-tb, met 322,5 miljoen parameters, gebruikt beelden van de camera aan de voorzijde en de grijper, de robotstatus, taakgegevens en een doelwarmtekaart om actieblokken te genereren.

Generalisatie- en agentexperimenten

De ruimtelijke experimenten omvatten stapelen, ontstapelen, omdraaien en draaien. Daarbij wordt onderscheid gemaakt tussen interpolatie binnen het trainingsbereik en extrapolatie daarbuiten. Voorbeelden zijn trainen met blokken in één deel van de werkruimte en testen in een ander deel, of bepaalde stapelhoogten buiten de training houden. Ai2 meldt dat ManiFlow, π0.5 en MolmoAct 2 aanvankelijk slecht generaliseren, ondanks grootschalige voortraining, en concludeert dat generalisatie van actiemodellen nog lang niet is opgelost.

De agenttests leggen een andere zwakte bloot. Ai2 zegt dat het op Claude Opus 5.5 gebaseerde systeem alle 30 klassieke blokstapeltaken oploste op basis van tekstbeschrijvingen, en ook alle 30 taken waarbij het in een gesloten regelkring acties koos op basis van herhaalde camerabeelden. In zoek-en-spelscènes met maximaal acht blokken ontbrak in 50% van de gevallen een benodigde letter, zodat de taak als onmogelijk moest worden herkend. De agent loste de taak op of stelde correct vast dat die niet uitvoerbaar was in 63% van de gevallen; verwarring tussen op elkaar lijkende letters was verantwoordelijk voor 13% en een onjuiste letteroriëntatie voor 15%.

Bij een derde agentexperiment mocht het systeem onverwacht gedrag van vaardigheden testen en op basis van de resultaten nieuwe vaardigheidsbeschrijvingen opstellen. Ai2 meldt dat deze geleerde beschrijvingen het slagingspercentage verhoogden van 24% met de standaardbeschrijvingen naar 63%. Dat is hoger dan de 36% met beschrijvingen van een menselijke expert.

Tests met fysieke robots en hun beperkingen

Voor de fysieke evaluatie werden modellen die uitsluitend met ToyBlocks-simulatiedata waren getraind, zonder trainingsvoorbeelden uit de echte wereld uitgevoerd op een Franka FR3-arm met een Robotiq-grijper. De 30 scèneconfiguraties bevatten 4–10 blokken die tijdens de training waren gezien. Een episode telde alleen als geslaagd wanneer de relevante blokken hun doelposities bereikten zonder botsingen; een ingreep van een operator vanwege onveilige bewegingen gold als een mislukking.

Om de kloof tussen simulatie en werkelijkheid te verkleinen, stemde Ai2 de gesimuleerde gewrichtswrijving en armatuur af op basis van echte trajecten. Bij de datageneratie werden de objectgrootte, wrijving en tafelhoogte gerandomiseerd, evenals de belichting, achtergronden, materialen en cameraparameters.

Ai2 meldt dat ManiFlow een slagingspercentage voor atomische vaardigheden behaalt van 80,0% in simulatie en 81,1% met de fysieke robotarm. Het hiërarchische systeem Molmo 2–ManiFlow slaagde in 55,5% van de gesimuleerde episodes (111 van de 200) en in 50,0% van de fysieke episodes (15 van de 30).

Ai2 plaatst die resultaten in twee opzichten in perspectief. Bij de evaluatie van de fysieke hiërarchie werd de eenvoudigste gesimuleerde configuratie gebruikt, waarbij de tekens op de blokken zichtbaar en rechtop stonden. Er zijn meer tests nodig om voor verschillende taken statistisch betrouwbare conclusies te kunnen trekken. Op de ManiFlow-kaart staan bovendien slagingspercentages van 54% tot 59% voor vier runs van dezelfde 128 gesimuleerde episodes. Dat komt doordat simulatie en gebundelde inferentie niet bit voor bit deterministisch zijn.

Ai2 is van plan een tweede versie uit te brengen met een grotere dataset, meer vaardigheden en uitgebreidere benchmarking, plus volledig geïntegreerde training met reinforcement learning, die in het huidige pakket ontbreekt. Voor de langere termijn zijn er plannen voor manipulatie met twee armen, behendige handen met kracht- en tastzin en interactie met ongeordende stapels blokken.

De directe bijdrage van ToyBlocks ligt dan ook in de experimentele controle: onderzoekers kunnen de samenstelling van trainingsdata aanpassen, planning en uitvoering van elkaar scheiden en fouten terugkoppelen naar de gegevensgeneratie. De eerste resultaten brengen ook de beperkingen aan het licht: de generalisatie in simulaties is zwak en de evaluatie met fysieke robots is beperkt. Daardoor bieden deze vroege overdrachtspercentages slechts een beperkt beeld van wat ze aantonen over robotleren buiten de blokwereld.