Ai2 udostępnia ToyBlocks, by sprawdzić, jak roboty się uczą i popełniają błędy

Ai2 udostępniło ToyBlocks 6 listopada 2026 roku jako pierwsze środowisko w ramach platformy FoundationWorlds. Łączy ono otwartą symulację robotów z wygenerowanymi demonstracjami, dwoma wytrenowanymi modelami i narzędziami ewaluacyjnymi. Platformę zaprojektowano tak, by eksperymenty z uczeniem robotów można było powtarzać, a przyczyny niepowodzeń łatwiej ustalać.

W tym środowisku na blacie umieszczono symulowane ramię i oznaczone klocki. Do zadań polegających na popychaniu, odwracaniu i układaniu klocków dochodzą zadania wyszukiwania, sortowania i porządkowania. Potrzebna litera lub obrazek na klocku może być ukryta, więc robot musi go obrócić, zanim zdecyduje, gdzie go umieścić. Zmiana rozmiaru klocków, wysokości stołu i innych właściwości między scenami pozwala sprawdzić, czy strategie radzą sobie ze zmienną geometrią.

Ograniczona dziedzina pozwala Ai2 jednocześnie dążyć do czterech celów: wiarygodnej fizyki i realistycznego wyglądu, skalowalnego generowania zadań i demonstracji, problemów wymagających zarówno rozumowania, jak i zręczności oraz objęcia zakresem wszystkich zadań, które można zrealizować w tej dziedzinie.

Automatyczne demonstracje i otwarte modele

Uczenie przez wzmacnianie i planowanie ruchu służą do tworzenia umiejętności potrzebnych przy krótkich zadaniach w środowisku Isaac Lab firmy Nvidia. Podczas generowania umiejętności można korzystać z uprzywilejowanego stanu symulatora, w tym dokładnych pozycji i orientacji klocków, zamiast szacunków na podstawie obrazu z kamery. Pozwala to automatyzować zachowania, które w przeciwnym razie wymagałyby zdalnego sterowania fizycznym robotem. Następnie planer zadań i ruchu wybiera umiejętności i układa je w sekwencje, aby tworzyć oznaczone demonstracje. Ai2 informuje, że na jednym GPU można równolegle wykonać setki planów, nawet 24 razy szybciej niż w czasie rzeczywistym.

Badacze mogą tak dobierać proporcje mieszanek treningowych, by większą wagę przypisać określonym umiejętnościom, a także oceniać strategie na zadaniach pominiętych podczas treningu. Dzięki temu generator danych staje się narzędziem kontroli eksperymentu, a nie tylko źródłem większych zbiorów danych.

Cele zapisuje się jako specyfikacje planowania PDDL w repozytorium ToyBlocks, dzięki czemu system ewaluacyjny może oceniać ukończenie zadania i postępy pośrednie bez tworzenia osobnych miar dla każdego zadania. Demonstracje są przechowywane w formacie LeRobot. W hierarchicznej strategii można zastąpić dowolny z dwóch poziomów wyrocznią dostarczającą poprawny plan lub działanie, co pozwala odróżnić błędne decyzje od nieprawidłowego wykonania ruchu. Stany niepowodzenia można też ponownie przekazać do generatora danych, aby utworzyć nowe demonstracje i przykłady odzyskiwania sprawności.

Ai2 informuje, że początkowe wydanie obejmuje 85 336 demonstracji zadań o długim horyzoncie, z których każda zawiera około 6–12 demonstracji umiejętności, zależnie od zestawu. Łącznie obejmują one niemal 1 600 godzin pracy robota i 144 miliony klatek. Publiczny zbiór danych wykorzystuje dane LeRobot w formacie Parquet, udostępnione na licencji ODC-BY, i obejmuje podzbiory o łatwym, średnim i trudnym poziomie. Główny kod jest objęty licencją Apache-2.0; określone podmoduły i pobrane zasoby mają własne licencje.

Karty modeli Ai2 dzielą udostępnioną strategię na dwa poziomy: Molmo2-4B-tb, model mający około 4,5 miliarda parametrów, analizuje obraz z przedniej kamery i tekstowy cel, by wygenerować krótki plan, następne działanie i punkt docelowy; ManiFlow-tb, mający 322,5 miliona parametrów, wykorzystuje obrazy z przedniej kamery i kamery chwytaka, stan robota, informacje o zadaniu oraz docelową mapę cieplną do generowania sekwencji działań.

Uogólnianie i eksperymenty z agentami

Eksperymenty przestrzenne obejmują układanie, rozkładanie stosu, odwracanie i obracanie. Pozwalają odróżnić interpolację w zakresie objętym treningiem od ekstrapolacji poza ten zakres. Przykładowo, modele trenuje się na klockach umieszczonych w jednej części przestrzeni roboczej, a następnie testuje w innej albo pomija określone wysokości stosów. Ai2 informuje, że początkowe wyniki uogólniania ManiFlow, π0.5 i MolmoAct 2 były słabe mimo wstępnego treningu na dużą skalę, i stwierdza, że uogólnianie modeli działań wciąż pozostaje dalekie od rozwiązania.

Testy agentów ujawniają inny rodzaj słabości. Według Ai2 system oparty na Claude Opus 5.5 rozwiązał wszystkie 30 klasycznych zadań układania klocków na podstawie opisów tekstowych, a także wszystkie 30 zadań, w których wybierał działania w zamkniętej pętli na podstawie kolejnych obrazów z kamery. W scenach wyszukiwania i układania słów, zawierających do ośmiu klocków, w 50% przypadków brakowało wymaganej litery, więc należało uznać zadanie za niemożliwe. Agent rozwiązał zadanie lub prawidłowo rozpoznał jego niewykonalność w 63% przypadków; pomylenie podobnych liter odpowiadało za 13%, a nieprawidłowa orientacja liter za 15%.

W trzecim eksperymencie z agentem system mógł testować nieoczekiwane zachowania umiejętności, a następnie na podstawie wyników tworzyć ich nowe opisy. Ai2 informuje, że opisy wyuczone przez system zwiększyły odsetek powodzeń z 24% przy opisach domyślnych do 63%, przewyższając wynik 36% uzyskany przy opisach przygotowanych przez eksperta.

Testy fizycznego robota i ich ograniczenia

Podczas ewaluacji fizycznej modele wytrenowane wyłącznie na danych symulacyjnych ToyBlocks działały bez przykładów treningowych z rzeczywistego świata na ramieniu Franka FR3 z chwytakiem Robotiq. W 30 konfiguracjach scen znajdowało się od 4 do 10 klocków widzianych podczas treningu. Epizod uznawano za udany tylko wtedy, gdy odpowiednie klocki osiągnęły docelowe pozy i nie doszło do kolizji; interwencja operatora z powodu niebezpiecznego ruchu oznaczała niepowodzenie.

Aby zmniejszyć lukę między symulacją a rzeczywistością, Ai2 dostroiło symulowane tarcie przegubów i bezwładność ramienia na podstawie rzeczywistych trajektorii. Podczas generowania danych losowo zmieniano rozmiar obiektów, tarcie i wysokość stołu, a także oświetlenie, tła, materiały i parametry kamery.

Ai2 podaje, że wskaźnik powodzenia w wykonywaniu atomowych umiejętności przez ManiFlow wynosi 80,0% w symulacji i 81,1% na fizycznym ramieniu robota. Hierarchiczny system Molmo 2–ManiFlow osiągnął powodzenie w 55,5% symulowanych epizodów (111 z 200) i 50,0% epizodów na fizycznym robocie (15 z 30).

Ai2 zastrzega jednak, że wyniki te należy rozpatrywać z dwóch względów. W fizycznej ewaluacji hierarchii wykorzystano najłatwiejszą konfigurację symulacji — klocki były widoczne i ustawione pionowo — a do określenia istotności statystycznej w różnych zadaniach potrzebne są dalsze próby. Karta ManiFlow odnotowuje również wskaźnik powodzenia od 54% do 59% w czterech przebiegach tych samych 128 symulowanych epizodów, ponieważ symulacja i wnioskowanie wsadowe nie są deterministyczne na poziomie bitów.

Ai2 planuje drugie wydanie z większym zbiorem danych, większą liczbą umiejętności i szerszym zakresem testów porównawczych, a także w pełni zintegrowanym treningiem przez uczenie ze wzmocnieniem, którego brakuje w obecnym pakiecie. Dalsze kierunki rozwoju obejmują manipulowanie obiektami za pomocą dwóch ramion, zręczne dłonie wyposażone w czujniki siły i dotyku oraz interakcję z nieuporządkowanymi stosami klocków.

Bezpośredni wkład ToyBlocks polega zatem na umożliwieniu kontrolowania eksperymentów: badacze mogą zmieniać zestawy danych treningowych, oddzielać planowanie od wykonywania zadań i wykorzystywać niepowodzenia do ponownego generowania danych. Wstępne wyniki pokazują również ograniczenia systemu: słaba zdolność uogólniania w symulacji i wąski zakres ewaluacji fizycznej nie pozwalają wyciągać daleko idących wniosków z tych wczesnych wskaźników transferu na temat uczenia się robotów poza światem klocków.