Ai2 julkaisee ToyBlocksin testatakseen, miten robotit oppivat ja epäonnistuvat

Ai2 julkaisi ToyBlocksin 6. marraskuuta 2026 FoundationWorlds-kehyksensä ensimmäisenä ympäristönä. Se yhdistää avoimen robottisimulaation tuotettuihin demonstraatioihin, kahteen koulutettuun malliin ja arviointityökaluihin. Kehyksen tavoitteena on tehdä robottioppimisen kokeista toistettavia ja helpottaa epäonnistumisten syiden selvittämistä.

Ympäristössä on simuloitu robottikäsivarsi ja merkittyjä palikoita pöytätasolla. Työntämisen, kääntämisen ja pinoamisen lisäksi tehtäviin kuuluu etsimistä, lajittelua ja järjestelyä: palikasta voidaan peittää tarvittava kirjain tai kuva, jolloin robotin on käännettävä palikkaa ennen kuin se voi päätellä, minne se kuuluu. Palikoiden koon, pöydän korkeuden ja muiden ominaisuuksien vaihtelu eri näkymissä testaa, selviytyvätkö toimintamallit muuttuvasta geometriasta.

Rajattu toimialue mahdollistaa neljän ominaisuuden kehittämisen samanaikaisesti: uskottavan fysiikan ja visuaalisen ilmeen, tehtävien ja demonstraatioiden skaalautuvan tuottamisen, sekä päättelyä että näppäryyttä vaativat ongelmat sekä kattavuuden niille tehtäville, joita toimialueella voidaan toteuttaa.

Automatisoidut demonstraatiot ja avoimet mallit

Vahvistusoppimisen ja liikkeensuunnittelun avulla luodaan lyhyiden tehtävien suorittamiseen tarvittavia taitoja Nvidian Isaac Labissa. Taitojen tuottamisessa voidaan hyödyntää simulaattorin tarkkoja tilatietoja, kuten palikoiden täsmällisiä sijainteja ja suuntia, kameran tuottamien arvioiden sijaan. Näin voidaan automatisoida toimintoja, jotka muuten vaatisivat fyysisen robotin etäkäyttöä. Tehtävien ja liikkeiden suunnittelija valitsee sitten taidot ja järjestää ne jonoiksi tuottaakseen merkittyjä demonstraatioita. Ai2:n mukaan satoja suunnitelmia voidaan suorittaa samanaikaisesti yhdellä grafiikkasuorittimella jopa 24 kertaa reaaliaikaa nopeammin.

Tutkijat voivat painottaa tuotettuja koulutusaineistojen yhdistelmiä tiettyjen taitojen mukaan ja arvioida toimintamalleja tehtävillä, joita ei ole käytetty koulutuksessa. Näin aineistogeneraattori toimii kokeiden hallintakeinona eikä pelkästään suurempien aineistojen lähteenä.

Tavoitteet määritellään PDDL-suunnittelumäärityksinä ToyBlocks-arkistossa, jolloin arviointijärjestelmä voi pisteyttää tehtävän suorittamisen ja sen välivaiheissa saavutetun edistymisen ilman kullekin tehtävälle erikseen laadittuja mittareita. Demostraatiot tallennetaan LeRobot-muodossa. Hierarkkisen toimintamallin kummankin tason tilalle voidaan vaihtaa oraakkeli, joka antaa oikean suunnitelman tai toiminnon. Näin virheelliset päätökset voidaan erottaa moottorin virheellisestä toiminnasta. Epäonnistuneista tiloista voidaan myös palata aineiston tuottamiseen uusien demonstraatioiden ja palautumistilanteiden luomiseksi.

Ai2 kertoo, että ensimmäinen julkaisu sisältää 85 336 pitkän aikavälin demonstraatiota. Kukin niistä koostuu aineistokokonaisuudesta riippuen noin 6–12 taitodemostraatiosta, ja ne kattavat lähes 1 600 tuntia robotin toimintaa ja 144 miljoonaa ruutua. Julkinen aineisto sisältää Parquet-muotoista LeRobot-dataa ODC-BY-lisenssillä, jaettuna helppoon, keskivaikeaan ja vaikeaan osioon. Pääkoodi on lisensoitu Apache-2.0-lisenssillä; määritellyillä aliohjelmistomoduuleilla ja ladatuilla aineistoilla on omat lisenssinsä.

Ai2:n mallikorteissa julkaistu toimintamalli on jaettu kahteen tasoon: Molmo2-4B-tb, noin 4,5 miljardin parametrin malli, lukee etukameran kuvan ja tekstimuotoisen tavoitteen ja tuottaa lyhyen suunnitelman, seuraavan toiminnon ja kohdepisteen; ManiFlow-tb, jossa on 322,5 miljoonaa parametria, hyödyntää etu- ja tarttujakameran kuvia, robotin tilaa, tehtävän tietoja ja kohdelämpökarttaa toimintajaksojen tuottamiseen.

Yleistämis- ja agenttikokeet

Avaruudelliset kokeet kattavat pinoamisen, pinon purkamisen, kääntämisen ja pyörittämisen. Niissä erotetaan koulutusalueen sisäinen interpolointi sen ulkopuolelle ulottuvasta ekstrapoloinnista. Esimerkkeinä ovat kouluttaminen yhdessä työalueen osassa sijaitsevilla palikoilla ja testaaminen toisessa osassa sekä tiettyjen pinokorkeuksien jättäminen koulutuksen ulkopuolelle. Ai2 kertoo, että ManiFlow, π0.5 ja MolmoAct 2 yleistyivät aluksi heikosti laajamittaisesta esikoulutuksesta huolimatta, ja päättelee, että toimintamallien yleistämistä ei ole vielä läheskään ratkaistu.

Agenttikokeissa paljastuu toisenlainen heikkous. Ai2:n mukaan sen Claude Opus 5.5 -malliin perustuva järjestelmä ratkaisi kaikki 30 perinteistä palikanpinoamistehtävää tekstikuvausten perusteella sekä kaikki 30 tehtävää, joissa se valitsi toimintoja suljetun silmukan ohjauksessa toistuvien kamerakuvien perusteella. Etsintää ja sanojen muodostamista yhdistävissä näkymissä oli enintään kahdeksan palikkaa, ja 50 prosentista puuttui tarvittava kirjain, joten ne oli tunnistettava mahdottomiksi ratkaista. Agentti ratkaisi tehtävän tai tunnisti oikein sen mahdottomaksi 63 prosentissa tapauksista; samannäköisten kirjainten sekoittaminen aiheutti 13 prosenttia ja kirjainten virheellinen suunta 15 prosenttia epäonnistumisista.

Kolmannessa agenttikokeessa järjestelmä sai testata odottamattomia taitojen toimintatapoja ja laatia tulosten perusteella uusia taitokuvauksia. Ai2:n mukaan näiden kuvausten oppiminen nosti onnistumisprosentin oletuskuvausten 24 prosentista 63 prosenttiin, mikä ylitti ihmisen asiantuntijan laatimilla kuvauksilla saavutetun 36 prosentin tuloksen.

Fyysisen robotin testit ja niiden rajoitukset

Fyysisessä arvioinnissa kokonaan ToyBlocks-simulaatiodataa käyttäen koulutettuja malleja ajettiin Franka FR3 -käsivarrella, jossa oli Robotiq-tarttuja, ilman tosimaailmasta saatuja koulutusesimerkkejä. Kaikissa 30 näkymäkokoonpanossa oli 4–10 koulutuksessa nähtyä palikkaa. Suoritus laskettiin onnistuneeksi vain, jos kyseiset palikat päätyivät tavoiteasentoihinsa ilman törmäyksiä; turvattoman liikkeen vuoksi tarvittu käyttäjän väliintulo laskettiin epäonnistumiseksi.

Simulaation ja todellisuuden välisen kuilun kaventamiseksi Ai2 sääti simuloitua nivelkitkaa ja lisäinertiaa todellisten liikeratojen perusteella. Aineiston luonnissa satunnaistettiin esineiden koko, kitka ja pöydän korkeus sekä valaistus, taustat, materiaalit ja kameran parametrit.

Ai2 raportoi ManiFlow’n atomitaitojen onnistumisasteeksi simulaatiossa 80,0 % ja fyysisellä robottikäsivarrella 81,1 %. Hierarkkinen Molmo 2–ManiFlow-järjestelmä onnistui 55,5 %:ssa simuloiduista episodeista (111/200) ja 50,0 %:ssa fyysisistä episodeista (15/30).

Ai2 asettaa näille tuloksille varauksia kahdesta syystä. Hierarkkisen järjestelmän fyysisessä arvioinnissa käytettiin helpointa simulaatiokokoonpanoa, jossa palikoiden merkit olivat näkyvissä ja oikein päin. Tilastollisen luotettavuuden varmistamiseksi eri tehtävissä tarvitaan lisää kokeita. ManiFlow-kortissa ilmoitetaan myös, että onnistumisaste vaihteli 54 %:sta 59 %:iin saman 128 simuloidun episodin neljän ajon aikana, sillä simulaatio ja eräajoissa tehtävä päättely eivät ole bittitasolla deterministisiä.

Ai2 suunnittelee toista julkaisua, johon sisältyy suurempi aineisto, enemmän taitoja ja laajempi vertailutestaus sekä täysin integroitu vahvistusoppimisen koulutus, joka puuttuu nykyisestä paketista. Pidemmän aikavälin kehityssuuntiin kuuluvat kahden käsivarren avulla tehtävä käsittely, näppärät kädet, joissa on voiman ja kosketuksen tunnistus, sekä vuorovaikutus järjestämättömien palikkakasojen kanssa.

ToyBlocksin välitön hyöty on siis kokeellisen hallinnan tarjoaminen: tutkijat voivat muuttaa koulutuksessa käytettäviä yhdistelmiä, erottaa suunnittelun suorittamisesta ja palauttaa epäonnistumiset tiedon tuottamiseen. Alustavat tulokset tuovat esiin myös menetelmän rajat: simulaatiossa tapahtuva yleistyminen on heikkoa ja fyysinen arviointi suppea, mikä rajoittaa sitä, mitä nämä varhaiset siirtovaikutuksen onnistumisasteet osoittavat robottien oppimisesta palikkamaailman ulkopuolella.