FLEX insegna ai robot a generalizzare a partire dalle correzioni umane

Ricercatori del MIT e della New York University hanno sviluppato FLEX, un sistema che usa correzioni conversazionali per modificare le caratteristiche dell’ambiente che guidano i movimenti di un robot. Il MIT ha annunciato il lavoro il 9 novembre 2026, in vista della sua presentazione alla Conference on Robot Learning nel novembre 2026.

FLEX affronta un problema tipico della robotica guidata dal linguaggio: dire a un robot che trasporta caffè di non versarlo sul portatile può far aggiungere quell’oggetto all’elenco degli ostacoli, senza però cogliere perché sia importante. Il sistema deduce una preferenza più ampia per evitare i dispositivi elettronici, così il braccio simulato modifica il proprio percorso per aggirare sia il portatile sia un telefono vicino, senza bisogno di un’istruzione specifica per il telefono.

Modificare ciò che il robot tiene in considerazione

L’articolo chiama FLEX «Flexible Feature Editing Pipeline» (pipeline flessibile per la modifica delle caratteristiche). Il sistema separa la definizione delle caratteristiche dall’ottimizzazione della ricompensa: le correzioni espresse in linguaggio naturale individuano quali proprietà misurabili di una scena sono importanti, mentre le dimostrazioni determinano quanto tali proprietà debbano influire sulla traiettoria. Questa distinzione mira a risolvere i problemi di rappresentazioni incomplete, sovraccariche di caratteristiche irrilevanti o astratte a un livello inadeguato.

Ogni correzione passa attraverso ADD, GENERALIZE e MASK. ADD verifica se le caratteristiche esistenti spiegano la correzione; in caso contrario, un modello linguistico propone una caratteristica mancante e genera il codice per calcolarla. GENERALIZE sostituisce una caratteristica troppo specifica con una collegata all’intento dedotto. Nell’esempio del MIT con la palla da bowling, un vincolo specifico relativo alle tazze diventa l’indicazione di evitare gli oggetti fragili. MASK rimuove le caratteristiche che non sono più pertinenti.

Eseguire MASK per ultimo fa sì che le decisioni sulla pertinenza riguardino le caratteristiche dopo l’eventuale generalizzazione. Gli esperimenti hanno usato GPT-4o e il MIT riferisce che l’intera interazione in tre fasi dura circa cinque secondi.

Andreea Bobu, che ha guidato lo studio e dirige il Collaborative Learning and Autonomy Research Lab del MIT, ha collegato questa scelta progettuale all’uso domestico: «Le case sono tutte diverse e a ognuno stanno a cuore cose diverse, quindi nessun robot appena uscito dalla confezione sa già che cosa è importante per te. Ciò che mi entusiasma di FLEX è che può capirlo da una o due frasi, invece di chiederti di specificare ogni regola: è questa la differenza tra un robot che le persone sopportano e uno che vogliono davvero in casa».

Risultati delle simulazioni e valutazioni degli utenti

I ricercatori hanno testato FLEX su griglie di navigazione 9 × 9 e in attività simulate al tavolo con un braccio Franka a sette gradi di libertà, che prevedevano caffè, una candela accesa e una palla da bowling. Gli scenari con il braccio prevedevano sequenze di correzione in cinque fasi; la disposizione degli oggetti cambiava tra una fase e l’altra, così una caratteristica prima utile poteva diventare irrilevante oppure poteva emergere un disallineamento nascosto.

I confronti hanno incluso ALGAE, che usa solo ADD, Mask-From-Exhaustive (MFE), che usa solo MASK, e una baseline senza procedure guidate, in cui si chiede al modello linguistico di restituire in un’unica richiesta un insieme completo di caratteristiche aggiornato. La loro metrica di ricompensa normalizzata assegna 1 al comportamento ottimale e 0 alla traiettoria peggiore.

L’articolo riferisce che FLEX ha ottenuto la ricompensa normalizzata media più alta in tutti e sette gli scenari di navigazione. Nello scenario che richiedeva tutte e tre le operazioni, FLEX ha registrato una media di 0,99, contro 0,69 per ALGAE, 0,83 per MFE e 0,78 per la baseline senza procedure guidate.

Nelle simulazioni sequenziali con il braccio, gli autori riferiscono che in genere FLEX ha appreso la ricompensa obiettivo dopo una o due correzioni, mantenendo le prestazioni nelle configurazioni precedenti e successive. I metodi di confronto hanno richiesto più correzioni e hanno perso efficacia man mano che si accumulavano caratteristiche irrilevanti o le rappresentazioni si adattavano eccessivamente alle singole fasi.

Un distinto studio in presenza ha coinvolto 12 partecipanti, ciascuno dei quali ha fornito correzioni digitate in tre blocchi di cinque fasi, usando FLEX, ALGAE e MFE. I ricercatori riferiscono che FLEX ha ottenuto la valutazione media più alta in tutte e cinque le dimensioni del questionario. Per la comprensione dell’intento, su una scala da sette punti, le medie sono state 6,3 per FLEX, 5,0 per ALGAE e 4,5 per MFE. Dopo la correzione per i confronti multipli, le differenze tra FLEX e ciascuna delle due baseline sono risultate statisticamente significative. Le differenze nella facilità d’uso e nella capacità di collaborazione non sono risultate statisticamente significative.

Limiti delle evidenze e stato dello sviluppo

Lo studio con partecipanti non è stato condotto in ciclo chiuso su un robot fisico. I partecipanti hanno osservato traiettorie simulate perché alcuni metodi di confronto producevano movimenti irregolari del braccio; separatamente, il gruppo ha abbinato le loro correzioni a dimostrazioni di esperti raccolte con un Franka fisico per l’apprendimento offline. Gli autori descrivono il lavoro sull’hardware come una verifica di fattibilità a supporto dello studio di simulazione.

Attualmente FLEX è limitato alla manipolazione quasi statica di oggetti rigidi le cui proprietà rilevanti possono essere espresse in linguaggio naturale; le attività dinamiche e gli oggetti deformabili potrebbero richiedere modalità aggiuntive. Gli autori affermano che il buon senso dei modelli linguistici può tenere conto delle preferenze ampiamente condivise, ma può non riuscirci nel caso di preferenze personali o controintuitive. Anche una richiesta di mantenere una distanza ancora maggiore da un portatile esprime il grado di intensità di una preferenza, aspetto che la formulazione attuale non è in grado di cogliere.

La pagina del progetto degli autori è ancora indicata come in fase di sviluppo e segnala che il codice e il set di dati saranno disponibili a breve.

Per i robot domestici e assistivi, ricevere meno correzioni è utile solo se la preferenza dedotta corrisponde a ciò che interessa davvero all’utente. La principale questione ancora aperta è se le generalizzazioni dei modelli linguistici possano adattarsi alle preferenze individuali con la stessa coerenza durante il funzionamento a ciclo chiuso su robot fisici.