FLEX opettaa robotit yleistämään ihmisten korjausten perusteella

MIT:n ja New Yorkin yliopiston tutkijat ovat kehittäneet FLEX-järjestelmän, joka muokkaa robotin liikkeitä ohjaavia ympäristön piirteitä keskustelumuotoisten korjausten avulla. MIT ilmoitti työstä 9. marraskuuta 2026 ennen sen esittelyä marraskuussa 2026 järjestettävässä Conference on Robot Learning -konferenssissa.

FLEX ratkaisee kieliohjattuun robotiikkaan liittyvän ongelman: jos kahvia kuljettavaa robottia kielletään läikyttämästä kahvia kannettavan tietokoneen päälle, kyseinen esine voidaan lisätä robotin esteiden luetteloon selittämättä kuitenkaan, miksi sillä on merkitystä. Järjestelmä päättelee yleisemmän mieltymyksen välttää elektroniikkaa, joten simuloitu robottikäsivarsi muuttaa reittiään sekä kannettavan tietokoneen että lähellä olevan puhelimen kiertämiseksi ilman erillistä puhelinta koskevaa ohjetta.

Robotin seuraamien asioiden muokkaaminen

Artikkelissa FLEX määritellään sanoista Flexible Feature Editing Pipeline muodostuvaksi nimeksi. Siinä erotetaan toisistaan piirteiden määrittely ja palkkioiden optimointi: kielelliset korjaukset ilmaisevat, millä mitattavilla ympäristön ominaisuuksilla on merkitystä, kun taas demonstraatiot määrittävät, kuinka voimakkaasti näiden ominaisuuksien tulisi vaikuttaa liikerataan. Tällä jaottelulla pyritään korjaamaan esitystapoja, jotka ovat puutteellisia, liian yksityiskohtaisia epäolennaisten piirteiden vuoksi tai abstrahoitu väärälle tasolle.

Jokainen korjaus käsitellään vaiheissa ADD, GENERALIZE ja MASK. ADD tarkistaa, selittävätkö nykyiset piirteet korjauksen. Jos eivät, kielimalli ehdottaa puuttuvaa piirrettä ja luo sen laskemiseen tarvittavan koodin. GENERALIZE korvaa liian yksityiskohtaisen piirteen sellaisella, joka vastaa pääteltyä aikomusta. MIT:n keilapalloesimerkissä mukia koskeva rajoite muuttuu hauraiden esineiden välttämiseksi. MASK poistaa piirteet, joilla ei enää ole merkitystä.

Kun MASK suoritetaan viimeisenä, merkityksellisyyttä koskevat päätökset tehdään sen jälkeen, kun piirteitä on mahdollisesti yleistetty. Kokeissa käytettiin GPT-4o:ta, ja MIT:n mukaan kaikki kolme vaihetta sisältävä vuorovaikutus kestää noin viisi sekuntia.

Tutkimusta johtanut ja MIT:n Collaborative Learning and Autonomy Research Lab -tutkimuslaboratoriota vetävä Andreea Bobu yhdisti tämän suunnitteluratkaisun kotikäyttöön: ”Kaikkien kodit ovat erilaisia, ja ihmiset välittävät eri asioista, joten mikään robotti ei tiedä heti käyttövalmiina, mikä juuri sinulle on tärkeää. FLEXissä minua innostaa se, että se voi oppia sen parista lauseesta sen sijaan, että pyytäisi sinua selittämään jokaisen säännön erikseen – siinä on ero sellaisen robotin välillä, jota ihmiset vain sietävät, ja sellaisen, jonka he todella haluavat kotiinsa.”

Simulaatiotulokset ja käyttäjien arviot

Tutkijat testasivat FLEXiä 9 × 9 -ruudukossa tapahtuvassa navigoinnissa sekä simuloiduissa seitsemän vapausasteen Franka-pöytätehtävissä, joissa käsiteltiin kahvia, palavaa kynttilää ja keilapalloa. Robottikäsivarren käyttötilanteissa käytettiin viidestä vaiheesta koostuvia korjaussarjoja. Esineiden järjestystä muutettiin vaiheiden välillä, jotta aiemmin hyödyllinen piirre saattoi muuttua merkityksettömäksi tai piilevä virhe kohdistuksessa tulla esiin.

Vertailussa olivat mukana vain lisäämiseen perustuva ALGAE, vain maskaukseen perustuva Mask-From-Exhaustive (MFE) sekä vertailumenetelmä ilman vaiheistettua tukea. Siinä kielimallia pyydetään yhdellä kyselyllä tuottamaan kokonaan päivitetty piirreluettelo. Normalisoidussa palkkiomittarissa optimaalinen toiminta saa arvon 1 ja huonoimman mahdollisen liikeradan tulos arvon 0.

Artikkelin mukaan FLEX saavutti korkeimman normalisoidun keskipalkkion kaikissa seitsemässä navigointitilanteessa. Kaikkia kolmea toimintoa edellyttävässä tilanteessa FLEXin keskiarvo oli 0,99, kun ALGAE sai 0,69, MFE 0,83 ja vertailumenetelmä ilman vaiheistettua tukea 0,78.

Peräkkäisissä robottikäsivarren simulaatioissa FLEX oppi kirjoittajien mukaan tavoitepalkkion yleensä yhden tai kahden korjauksen jälkeen ja säilytti suorituskykynsä sekä aiemmissa että myöhemmissä kokoonpanoissa. Vertailumenetelmät vaativat enemmän korjauksia, ja niiden suorituskyky heikkeni, kun merkityksettömiä piirteitä kertyi tai esitystavat mukautuivat liikaa yksittäisiin vaiheisiin.

Erilliseen, kasvokkain toteutettuun tutkimukseen osallistui 12 henkilöä. Kukin antoi kirjoitettuja korjauksia kolmessa viidestä vaiheesta koostuvassa osiossa käyttäen FLEXiä, ALGAEa ja MFE:tä. Tutkijoiden mukaan FLEX sai korkeimman keskiarvon kaikilla viidellä kyselyssä arvioidulla osa-alueella. Aikomuksen ymmärtämistä arvioitiin seitsemän pisteen asteikolla, ja keskiarvot olivat FLEXillä 6,3, ALGAElla 5,0 ja MFE:llä 4,5. FLEXin erot kumpaankin vertailumenetelmään olivat tilastollisesti merkitseviä monivertailukorjauksen jälkeen. Käytön helppoudessa ja yhteistyökyvyssä havaitut erot eivät olleet tilastollisesti merkitseviä.

Näytön rajoitukset ja kehitysvaihe

Ihmistutkimuksessa ei käytetty suljetun säätösilmukan ohjausta fyysisellä robotilla. Osallistujat katselivat simuloituja liikeratoja, koska jotkin vertailumenetelmät tuottivat robottikäsivarrelle arvaamattomia liikkeitä. Tutkimusryhmä yhdisti erikseen osallistujien korjaukset fyysisellä Franka-robotilla kerättyihin asiantuntijademonstraatioihin offline-oppimista varten. Kirjoittajat kuvaavat laitteistolla tehtyä työtä toteutettavuuden tarkistukseksi, joka tukee simulaatiotutkimusta.

FLEX soveltuu tällä hetkellä vain jäykkien esineiden lähes staattiseen käsittelyyn, kun niiden olennaiset ominaisuudet voidaan ilmaista kielellä. Dynaamiset tehtävät ja muotoutuvat esineet saattavat edellyttää lisämodaliteetteja. Kirjoittajien mukaan kielimallien yleistieto voi vastata laajalti jaettuihin mieltymyksiin mutta epäonnistua henkilökohtaisten tai vastoin tavanomaisia oletuksia olevien mieltymysten kohdalla. Pyyntö pysyä vielä kauempana kannettavasta tietokoneesta ilmaisee myös mieltymyksen voimakkuuden, jota nykyinen muotoilu ei huomioi.

Kirjoittajien projektisivulla ilmoitetaan yhä, että se on keskeneräinen, ja sivulla kerrotaan koodin ja aineiston olevan tulossa saataville.

Kotitalous- ja avustajaroboteille harvemmat korjaukset ovat hyödyllisiä vain silloin, kun päätelty mieltymys vastaa sitä, mikä käyttäjälle todella on tärkeää. Keskeinen avoin kysymys on, pystyvätkö kielimallien yleistykset ottamaan huomioon yksilölliset mieltymykset yhtä johdonmukaisesti fyysisten robottien suljetun silmukan toiminnan aikana.