FLEX lærer roboter å generalisere ut fra korrigeringer fra mennesker

Forskere ved MIT og New York University har utviklet FLEX, et system som bruker samtalebaserte korrigeringer til å justere miljøegenskapene som styrer robotens bevegelser. MIT kunngjorde arbeidet 9. november 2026, før det ble presentert på Conference on Robot Learning i november 2026.

FLEX løser et problem som kan oppstå med språkstyrte roboter: Hvis en robot som bærer kaffe, får beskjed om ikke å søle på en bærbar datamaskin, kan den legge gjenstanden til på listen over hindringer uten å forstå hvorfor den er viktig. Systemet utleder en mer generell preferanse for å unngå elektronikk, slik at den simulerte robotarmen justerer bevegelsesbanen for å styre unna både datamaskinen og en telefon i nærheten, uten at den trenger en egen instruksjon om telefonen.

Redigering av hva roboten holder oversikt over

Artikkelen omtaler FLEX som Flexible Feature Editing Pipeline. Systemet skiller mellom å spesifisere egenskaper og å optimalisere belønningen: Språklige korrigeringer identifiserer hvilke målbare egenskaper ved en scene som er viktige, mens demonstrasjoner avgjør hvor stor innflytelse disse egenskapene skal ha på bevegelsesbanen. Denne inndelingen retter seg mot representasjoner som er ufullstendige, overlesset med irrelevante egenskaper eller abstrahert på feil nivå.

Hver korrigering går gjennom ADD, GENERALIZE og MASK. ADD undersøker om de eksisterende egenskapene forklarer korrigeringen. Hvis de ikke gjør det, foreslår en språkmodell en manglende egenskap og genererer kode for å beregne den. GENERALIZE erstatter en altfor spesifikk egenskap med en egenskap som er knyttet til den utledede hensikten. I MITs eksempel med en bowlingkule blir en begrensning som gjelder et bestemt krus, gjort om til en regel om å unngå skjøre gjenstander. MASK fjerner egenskaper som ikke lenger er relevante.

Når MASK kjøres til slutt, vurderes relevansen til egenskapene etter at eventuelle generaliseringer er gjort. Eksperimentene brukte GPT-4o, og MIT opplyser at hele samspillet i tre trinn tar omtrent fem sekunder.

Andreea Bobu, som ledet studien og står i spissen for MITs Collaborative Learning and Autonomy Research Lab, knyttet utformingen til bruk i hjemmet: «Alle hjem er forskjellige, og folk bryr seg om forskjellige ting. Derfor finnes det ingen robot som vet hva som er viktig for deg rett ut av esken. Det som begeistrer meg med FLEX, er at systemet kan fange opp dette ut fra én eller to setninger, i stedet for å be deg formulere hver eneste regel. Det er forskjellen på en robot folk finner seg i å ha hjemme, og en de faktisk vil ha der.»

Resultater fra simuleringer og vurderinger fra mennesker

Forskerne testet FLEX i navigasjonsrutenett på 9 × 9 ruter og i simulerte Franka-bordoppgaver med sju frihetsgrader, som omfattet kaffe, et tent stearinlys og en bowlingkule. I armoppgavene ble det brukt korrigeringssekvenser i fem trinn. Gjenstandene ble plassert annerledes mellom trinnene, slik at en egenskap som tidligere var nyttig, kunne bli irrelevant, eller en skjult feiljustering kunne avdekkes.

Sammenligningene omfattet ALGAE, som bare legger til egenskaper, Mask-From-Exhaustive (MFE), som bare maskerer egenskaper, og en grunnlinjemetode uten trinnvis veiledning, der språkmodellen blir bedt om å lage et fullstendig oppdatert sett med egenskaper i én forespørsel. Den normaliserte belønningsmålingen gir optimal atferd verdien 1 og den dårligst mulige bevegelsesbanen verdien 0.

Artikkelen rapporterer at FLEX oppnådde den høyeste gjennomsnittlige normaliserte belønningen i alle de sju navigasjonsscenarioene. I scenarioet som krevde alle de tre operasjonene, var gjennomsnittet for FLEX 0,99, sammenlignet med 0,69 for ALGAE, 0,83 for MFE og 0,78 for grunnlinjen uten støttestruktur.

I de sekvensielle armsimuleringene rapporterer forfatterne at FLEX som regel lærte den ønskede belønningen etter én eller to korrigeringer og opprettholdt ytelsen både i tidligere og senere konfigurasjoner. Sammenligningsmetodene trengte flere korrigeringer, og ytelsen deres ble dårligere etter hvert som irrelevante egenskaper hopet seg opp, eller representasjonene ble for godt tilpasset enkelttrinn.

En separat studie med fysisk oppmøte omfattet 12 deltakere, som hver ga skriftlige korreksjoner i tre blokker med fem trinn, med FLEX, ALGAE og MFE. Forskerne rapporterer at FLEX fikk den høyeste gjennomsnittsvurderingen på alle de fem dimensjonene i spørreskjemaet. Når det gjaldt forståelse av intensjoner, målt på en sjupunktsskala, var gjennomsnittene 6,3 for FLEX, 5,0 for ALGAE og 4,5 for MFE. Forskjellene mellom FLEX og begge grunnlinjene var statistisk signifikante etter justering for multiple sammenligninger. Forskjellene i brukervennlighet og samarbeidsevne var ikke statistisk signifikante.

Begrensninger ved dokumentasjonen og utviklingsstatus

Studien med mennesker ble ikke gjennomført med en fysisk robot i en lukket sløyfe. Deltakerne så på simulerte bevegelsesbaner fordi noen av grunnlinjemetodene førte til uregelmessige armbevegelser. Teamet kombinerte også korrigeringene deres separat med ekspertdemonstrasjoner samlet inn med en fysisk Franka, for bruk i offline-læring. Forfatterne beskriver dette arbeidet med maskinvaren som en gjennomførbarhetstest til støtte for simuleringsstudien.

FLEX er for øyeblikket begrenset til tilnærmet statisk håndtering av stive gjenstander der de relevante egenskapene kan beskrives med språk. Dynamiske oppgaver og gjenstander som kan deformeres, kan kreve flere modaliteter. Forfatterne sier at språkmodellers allmennkunnskap kan fange opp utbredte preferanser, men komme til kort når det gjelder personlige eller kontraintuitive preferanser. En anmodning om å holde enda større avstand til en bærbar datamaskin uttrykker også hvor sterk preferansen er, noe den nåværende formuleringen ikke fanger opp.

Forfatternes prosjektside er fortsatt merket som under arbeid, og opplyser at kode og datasett snart blir tilgjengelige.

For husholdningsroboter og roboter som bistår mennesker, er færre korrigeringer bare nyttige når den utledede preferansen samsvarer med det brukeren faktisk bryr seg om. Det sentrale, ubesvarte spørsmålet er om generaliseringer fra språkmodeller kan håndtere særegne preferanser med samme grad av konsistens under drift med lukket sløyfe på fysiske roboter.