FLEX leert robots te generaliseren op basis van menselijke correcties

Onderzoekers van MIT en New York University hebben FLEX ontwikkeld, een systeem dat met behulp van correcties in natuurlijke gesprekken de omgevingskenmerken aanpast die de bewegingen van een robot sturen. MIT maakte het onderzoek bekend op 9 november 2026, voorafgaand aan de presentatie tijdens de Conference on Robot Learning in november 2026.

FLEX pakt een probleem aan dat voorkomt bij robotica die door taal wordt aangestuurd: als je een robot die koffie vervoert vraagt om niets op een laptop te morsen, kan die de laptop aan zijn lijst met obstakels toevoegen zonder te begrijpen waarom dat belangrijk is. Het systeem leidt daaruit een bredere voorkeur af om elektronica te vermijden. Daardoor past de gesimuleerde robotarm zijn route aan om zowel de laptop als een nabijgelegen telefoon heen, zonder dat daarvoor apart hoeft te worden gezegd dat hij de telefoon moet ontwijken.

Aanpassen wat de robot bijhoudt

In het artikel wordt FLEX omschreven als de Flexible Feature Editing Pipeline. Het systeem scheidt het vaststellen van kenmerken van het optimaliseren van de beloning: taalcorrecties geven aan welke meetbare eigenschappen van een scène van belang zijn, terwijl demonstraties bepalen hoeveel invloed die eigenschappen op het traject moeten hebben. Die aanpak is gericht op representaties die onvolledig zijn, te veel irrelevante kenmerken bevatten of op het verkeerde abstractieniveau zitten.

Elke correctie doorloopt de stappen ADD, GENERALIZE en MASK. ADD controleert of bestaande kenmerken de correctie verklaren. Is dat niet het geval, dan stelt een taalmodel een ontbrekend kenmerk voor en genereert het code om dat kenmerk te berekenen. GENERALIZE vervangt een te specifiek kenmerk door een kenmerk dat aansluit bij de afgeleide bedoeling. In het bowlingbalvoorbeeld van MIT wordt een beperking die specifiek voor een mok geldt, omgezet in het vermijden van breekbare voorwerpen. MASK verwijdert kenmerken die niet langer relevant zijn.

Doordat MASK als laatste wordt uitgevoerd, worden de relevantiebeslissingen toegepast op de kenmerken nadat die eventueel zijn veralgemeniseerd. In de experimenten werd GPT-4o gebruikt. Volgens MIT duurt de volledige interactie van drie stappen ongeveer vijf seconden.

Andreea Bobu, die het onderzoek leidde en aan het hoofd staat van MIT’s Collaborative Learning and Autonomy Research Lab, legde uit hoe dit ontwerp van pas kan komen in huiselijke situaties: „Ieder huis is anders en iedereen vindt andere dingen belangrijk. Daarom weet geen enkele robot meteen wat voor jou van belang is. Wat ik zo interessant vind aan FLEX, is dat de robot dat uit een of twee zinnen kan oppikken, in plaats van je te vragen elke regel expliciet uit te leggen — en dat is het verschil tussen een robot die mensen maar voor lief nemen en een robot die ze echt in huis willen hebben.”

Resultaten van simulaties en beoordelingen door mensen

De onderzoekers testten FLEX op navigatieroosters van 9 bij 9 vakjes en in gesimuleerde tafelbladopdrachten met de Franka, een robotarm met zeven vrijheidsgraden. Daarbij ging het om koffie, een brandende kaars en een bowlingbal. De scenario’s met de robotarm bestonden uit correctiereeksen van vijf stappen. Tussen de stappen veranderde de opstelling van de voorwerpen, zodat een kenmerk dat eerder nuttig was irrelevant kon worden of een verborgen verkeerde uitlijning aan het licht kon komen.

De vergelijkingen omvatten ALGAE, dat alleen kenmerken toevoegt, Mask-From-Exhaustive (MFE), dat alleen kenmerken maskeert, en een ongestructureerde referentiemethode waarbij het taalmodel in één opdracht om een volledig bijgewerkte set kenmerken wordt gevraagd. De genormaliseerde beloningsmaat kent een score van 1 toe aan optimaal gedrag en 0 aan het slechtst mogelijke traject.

Volgens het artikel behaalde FLEX in alle zeven navigatiescenario’s de hoogste gemiddelde genormaliseerde beloning. In het scenario waarin alle drie de bewerkingen nodig waren, kwam FLEX gemiddeld uit op 0,99, tegenover 0,69 voor ALGAE, 0,83 voor MFE en 0,78 voor de ongestructureerde referentiemethode.

Volgens de auteurs leerde FLEX in de opeenvolgende simulaties met de robotarm doorgaans na één of twee correcties de gewenste beloningsfunctie en bleven de prestaties op eerdere en latere configuraties op peil. De vergelijkingsmethoden hadden meer correcties nodig en presteerden steeds slechter naarmate irrelevante kenmerken zich opstapelden of hun representaties te sterk op afzonderlijke stappen waren toegespitst.

Aan een afzonderlijke studie op locatie namen 12 personen deel. Elk van hen gaf getypte correcties in drie reeksen van vijf stappen, waarbij FLEX, ALGAE en MFE werden gebruikt. Volgens de onderzoekers kreeg FLEX op alle vijf de dimensies van de vragenlijst de hoogste gemiddelde beoordeling. Voor het begrijpen van de bedoeling bedroegen de gemiddelden op een schaal van zeven punten 6,3 voor FLEX, 5,0 voor ALGAE en 4,5 voor MFE. Na correctie voor meerdere vergelijkingen waren de verschillen tussen FLEX en beide referentiemethoden statistisch significant. De verschillen in gebruiksgemak en mate van samenwerking waren niet statistisch significant.

Beperkingen van het bewijs en ontwikkelingsstatus

De studie met mensen werd niet uitgevoerd met gesloten-lusregeling op een fysieke robot. De deelnemers bekeken gesimuleerde bewegingstrajecten, omdat sommige referentiemethoden grillige bewegingen van de robotarm opleverden. Daarnaast combineerde het team hun correcties afzonderlijk met demonstraties van experts, die met een fysieke Franka waren verzameld, om offline te leren. De auteurs omschrijven dat werk met de hardware als een haalbaarheidstoets ter ondersteuning van de simulatiestudie.

FLEX is momenteel beperkt tot quasi-statische manipulatie van starre voorwerpen waarvan de relevante eigenschappen in taal kunnen worden uitgedrukt. Voor dynamische taken en vervormbare voorwerpen zijn mogelijk aanvullende modaliteiten nodig. De auteurs stellen dat de algemene kennis van taalmodellen kan inspelen op voorkeuren die veel mensen delen, maar tekortschiet bij persoonlijke of contra-intuïtieve voorkeuren. Een verzoek om nog verder bij een laptop uit de buurt te blijven, drukt ook de mate van voorkeur uit; die neemt de huidige formulering niet mee.

De projectpagina van de auteurs is nog gemarkeerd als werk in uitvoering en vermeldt dat de code en dataset binnenkort beschikbaar komen.

Voor huishoudrobots en assistieve robots zijn minder correcties alleen nuttig als de afgeleide voorkeur overeenkomt met wat de gebruiker daadwerkelijk belangrijk vindt. De centrale open vraag is of generalisaties van taalmodellen tijdens het gebruik van fysieke robots in een gesloten regelkring even consistent rekening kunnen houden met individuele voorkeuren.