Ai2 veröffentlicht ToyBlocks, um zu testen, wie Roboter lernen und scheitern

Ai2 veröffentlichte ToyBlocks am 6. November 2026 als erste Umgebung seines FoundationWorlds-Frameworks. Sie verbindet eine offene Robotersimulation mit generierten Demonstrationen, zwei trainierten Modellen und Evaluierungswerkzeugen. Das Framework soll Experimente zum Roboterlernen reproduzierbar machen und das Nachvollziehen von Fehlern erleichtern.

In der Umgebung befinden sich ein simulierter Arm und beschriftete Blöcke auf einer Tischplatte. Zu den Aufgaben gehören neben Schieben, Umdrehen und Stapeln auch Suchen, Sortieren und Anordnen: Der benötigte Buchstabe oder das benötigte Bild auf einem Block kann verdeckt sein, sodass der Roboter ihn erst drehen muss, bevor er entscheiden kann, wohin er gehört. Durch Veränderungen der Blockgröße, der Tischhöhe und anderer Eigenschaften zwischen den Szenen wird getestet, ob die Policies mit wechselnder Geometrie zurechtkommen.

Die klar abgegrenzte Domäne ermöglicht es Ai2, vier Eigenschaften gleichzeitig anzustreben: glaubwürdige Physik und realistische Darstellung, skalierbare Generierung von Aufgaben und Demonstrationen, Probleme, die sowohl logisches Denken als auch Geschicklichkeit erfordern, sowie eine Abdeckung der Aufgaben, die sich innerhalb der Domäne unterstützen lassen.

Automatisierte Demonstrationen und offene Modelle

Reinforcement Learning und Bewegungsplanung erzeugen in Nvidia Isaac Lab Fähigkeiten für kurze Aufgaben. Bei der Generierung dieser Fähigkeiten kann auf privilegierte Simulationsdaten zurückgegriffen werden, darunter die exakten Positionen und Ausrichtungen der Blöcke, statt auf Schätzungen anhand von Kamerabildern. So lassen sich Verhaltensweisen automatisieren, für die andernfalls eine Fernsteuerung des physischen Roboters erforderlich wäre. Anschließend wählt ein Aufgaben- und Bewegungsplaner Fähigkeiten aus und ordnet sie zu Demonstrationen mit Beschriftungen an. Laut Ai2 können Hunderte von Plänen gleichzeitig auf einer GPU ausgeführt werden – mit einer Geschwindigkeit von bis zum 24-Fachen der Echtzeit.

Forschende können die daraus entstehenden Trainingsmischungen gezielt auf bestimmte Fähigkeiten ausrichten und Policies anhand von Aufgaben bewerten, die beim Training nicht verwendet wurden. Dadurch wird der Datengenerator zu einem experimentellen Kontrollinstrument und dient nicht nur als Quelle größerer Datensätze.

Die Ziele werden als PDDL-Planungsspezifikationen im ToyBlocks-Repository formuliert. So kann das Evaluierungssystem den Abschluss einer Aufgabe und Zwischenfortschritte bewerten, ohne für jede Aufgabe eigens Metriken entwickeln zu müssen. Die Demonstrationen werden im LeRobot-Format gespeichert. Bei einer hierarchischen Policy lässt sich auf jeder der beiden Ebenen ein Orakel einsetzen, das einen korrekten Plan oder eine korrekte Aktion vorgibt. So können fehlerhafte Entscheidungen von einer mangelhaften motorischen Ausführung unterschieden werden. Fehlgeschlagene Zustände können außerdem zurück in die Datengenerierung eingespeist werden, um neue Demonstrationen und Wiederherstellungsversuche zu erzeugen.

Laut Ai2 umfasst die erste Veröffentlichung 85.336 Langzeitdemonstrationen, die je nach Datensatz jeweils ungefähr 6–12 Fähigkeitsdemonstrationen enthalten. Insgesamt decken sie fast 1.600 Stunden Roboterausführung und 144 Millionen Frames ab. Der öffentlich zugängliche Datensatz enthält LeRobot-Daten im Parquet-Format unter einer ODC-BY-Lizenz und umfasst einfache, mittelschwere und schwierige Teilmengen. Der Hauptcode steht unter der Apache-2.0-Lizenz; für bestimmte Untermodule und heruntergeladene Assets gelten eigene Lizenzen.

In den Modellkarten von Ai2 wird die veröffentlichte Policy in zwei Ebenen unterteilt: Molmo2-4B-tb, ein Modell mit ungefähr 4,5 Milliarden Parametern, verarbeitet ein Bild der Frontkamera und eine textliche Aufgabenbeschreibung und erzeugt daraus einen kurzen Plan, die nächste Aktion und einen Zielpunkt. ManiFlow-tb verfügt über 322,5 Millionen Parameter und nutzt Bilder der Frontkamera und des Greifers, den Roboterzustand, Aufgabeninformationen und eine Ziel-Heatmap, um Aktionsblöcke zu generieren.

Experimente zur Verallgemeinerung und mit Agenten

Die räumlichen Experimente umfassen Stapeln, Entstapeln, Umdrehen und Drehen. Dabei wird zwischen Interpolation innerhalb des Trainingsbereichs und Extrapolation über diesen Bereich hinaus unterschieden. Zu den Beispielen gehört, mit Blöcken in einem Bereich des Arbeitsraums zu trainieren und in einem anderen zu testen oder bestimmte Stapelhöhen beim Training auszulassen. Ai2 berichtet, dass ManiFlow, π0.5 und MolmoAct 2 trotz umfangreichen Vortrainings zunächst nur schlecht verallgemeinerten, und kommt zu dem Schluss, dass die Verallgemeinerung von Aktionsmodellen noch lange nicht gelöst ist.

Die agentenbasierten Tests machen eine andere Schwäche sichtbar. Laut Ai2 löste das auf Claude Opus 5.5 basierende System alle 30 klassischen Blockstapelaufgaben anhand von Textbeschreibungen und auch alle 30 Aufgaben, wenn es in einer geschlossenen Schleife anhand wiederholt aufgenommener Kamerabilder Aktionen auswählte. In Such- und Buchstabierszenen mit bis zu acht Blöcken fehlte bei 50 % ein benötigter Buchstabe, sodass die Aufgabe als unmöglich erkannt werden musste. Der Agent löste die Aufgabe oder erkannte korrekt, dass sie nicht lösbar war, in 63 % der Fälle. Verwechslungen ähnlich aussehender Buchstaben machten 13 % und eine falsche Ausrichtung der Buchstaben 15 % aus.

In einem dritten Agentenexperiment durfte das System unerwartetes Verhalten bei Fähigkeiten testen und auf Grundlage der Ergebnisse neue Beschreibungen dieser Fähigkeiten verfassen. Laut Ai2 steigerten diese erlernten Beschreibungen die Erfolgsquote von 24 % mit den Standardbeschreibungen auf 63 % und übertrafen damit die 36 %, die mit Beschreibungen eines menschlichen Experten erreicht wurden.

Tests mit einem physischen Roboter und ihre Grenzen

Für die physische Evaluierung wurden Modelle, die ausschließlich mit Simulationsdaten aus ToyBlocks trainiert worden waren und keine Trainingsbeispiele aus der realen Welt erhalten hatten, an einem Franka-FR3-Arm mit einem Robotiq-Greifer ausgeführt. Die 30 Szenenkonfigurationen enthielten 4–10 Blöcke, die im Training zu sehen gewesen waren. Eine Episode galt nur dann als erfolgreich, wenn die relevanten Blöcke ihre Zielposen ohne Kollisionen erreichten. Ein Eingreifen der Bedienperson wegen unsicherer Bewegungen wurde als Fehlschlag gewertet.

Um die Sim-to-Reality-Lücke zu verringern, passte Ai2 die simulierte Gelenkreibung und die Trägheitsparameter anhand realer Bewegungsabläufe an. Bei der Datengenerierung wurden Objektgröße, Reibung und Tischhöhe ebenso variiert wie Beleuchtung, Hintergründe, Materialien und Kameraparameter.

Ai2 gibt für die atomaren Fertigkeiten von ManiFlow Erfolgsquoten von 80,0 % in der Simulation und 81,1 % am physischen Arm an. Das hierarchische System Molmo 2–ManiFlow war in 55,5 % der simulierten Episoden (111 von 200) und in 50,0 % der physischen Episoden (15 von 30) erfolgreich.

Ai2 schränkt diese Ergebnisse in zweierlei Hinsicht ein. Bei der Evaluation der physischen Hierarchie kam die einfachste simulierte Konfiguration zum Einsatz: Die Zeichen auf den Blöcken waren sichtbar und aufrecht ausgerichtet. Weitere Versuche sind nötig, um die statistische Sicherheit über verschiedene Aufgaben hinweg zu belegen. Auch die ManiFlow-Karte weist für vier Durchläufe derselben 128 simulierten Episoden Erfolgsquoten zwischen 54 % und 59 % aus, da Simulation und gebündelte Inferenz nicht bitweise deterministisch sind.

Ai2 plant eine zweite Veröffentlichung mit einem größeren Datensatz, mehr Fertigkeiten und umfassenderem Benchmarking sowie vollständig integriertem Training mit bestärkendem Lernen, das im aktuellen Paket noch fehlt. Zu den längerfristigen Entwicklungsrichtungen zählen die Manipulation mit zwei Armen, geschickte Hände mit Kraft- und Tastsensoren sowie die Interaktion mit ungeordneten Blockhaufen.

Der unmittelbare Beitrag von ToyBlocks liegt somit in der experimentellen Kontrolle: Forschende können Trainingsmischungen verändern, Planung und Ausführung voneinander trennen und Fehlschläge zurück in die Datengenerierung einspeisen. Die ersten Ergebnisse zeigen zugleich die Grenzen des Ansatzes: Eine schwache Verallgemeinerung in der Simulation und eine begrenzte physische Evaluation schränken ein, was sich anhand dieser frühen Übertragungsraten über das Lernen von Robotern jenseits der Blockwelt sagen lässt.