FLEX učí roboty zobecňovat na základě lidských oprav

Výzkumníci z MIT a New York University vyvinuli systém FLEX, který pomocí konverzačních oprav upravuje vlastnosti prostředí, podle nichž se řídí pohyby robota. MIT práci oznámila 9. listopadu 2026, před její prezentací na konferenci Conference on Robot Learning v listopadu 2026.

FLEX řeší jeden z nedostatků robotiky řízené jazykovými pokyny: když robotovi nesoucímu kávu řeknete, aby ji nerozlil na notebook, může si tento předmět přidat na seznam překážek, aniž by pochopil, proč je důležitý. Systém odvodí obecnější preferenci vyhýbat se elektronice, takže simulované rameno upraví svou dráhu kolem notebooku i nedalekého telefonu, aniž by k tomu potřebovalo samostatný pokyn týkající se telefonu.

Úprava toho, co robot sleduje

Článek označuje FLEX jako Flexible Feature Editing Pipeline (řetězec pro úpravu vlastností). Odděluje specifikaci vlastností od optimalizace odměny: jazykové opravy určují, které měřitelné vlastnosti scény jsou důležité, zatímco demonstrace určují, jak silně mají tyto vlastnosti ovlivňovat trajektorii. Tento přístup cílí na reprezentace, které jsou neúplné, příliš podrobné kvůli nepodstatným vlastnostem nebo abstrahované na nesprávné úrovni.

Každá oprava prochází třemi kroky: PŘIDAT, ZOBECNIT a MASKOVAT. Krok PŘIDAT ověřuje, zda opravu vysvětlují již existující vlastnosti; pokud ne, jazykový model navrhne chybějící vlastnost a vytvoří kód pro její výpočet. Krok ZOBECNIT nahrazuje příliš konkrétní vlastnost takovou, která odpovídá odvozenému záměru. V příkladu MIT s bowlingovou koulí se omezení týkající se konkrétního hrnku změní na vyhýbání se křehkým předmětům. Krok MASKOVAT odstraní vlastnosti, které už nejsou relevantní.

Když se krok MASKOVAT provádí jako poslední, posouzení relevance se vztahuje na vlastnosti až po jejich případném zobecnění. Experimenty využívaly GPT-4o a MIT uvádí, že celá interakce sestávající ze tří kroků trvá přibližně pět sekund.

Andreea Bobu, která studii vedla a řídí Collaborative Learning and Autonomy Research Lab na MIT, vysvětlila souvislost tohoto návrhu s využitím v domácnostech: „Každý má jiný domov a každému záleží na jiných věcech, takže žádný robot po vybalení neví, co je důležité právě pro vás. Na FLEX mě nejvíc nadchlo, že to dokáže pochopit z jedné nebo dvou vět, místo aby vás nutil vypisovat každé pravidlo — a právě v tom je rozdíl mezi robotem, kterého lidé doma jen trpí, a robotem, kterého tam skutečně chtějí.“

Výsledky simulací a hodnocení od lidí

Výzkumníci testovali FLEX v navigačních mřížkách o rozměrech 9 × 9 a v simulovaných úlohách se stolním robotem Franka se sedmi stupni volnosti, které zahrnovaly kávu, zapálenou svíčku a bowlingovou kouli. Scénáře s ramenem využívaly pětistupňové sekvence oprav; mezi jednotlivými fázemi se měnilo rozmístění objektů, takže dříve užitečná vlastnost mohla přestat být relevantní nebo se mohla projevit skrytá nesouosost.

Srovnání zahrnovalo ALGAE, které používá pouze přidávání, Mask-From-Exhaustive (MFE), které používá pouze maskování, a základní metodu bez dalších vodítek, jež požádá jazykový model o kompletní aktualizovanou sadu vlastností v jediném dotazu. Jejich normalizovaná metrika odměny přiděluje hodnotu 1 optimálnímu chování a 0 nejhorší možné trajektorii.

Článek uvádí, že FLEX dosáhl nejvyšší průměrné normalizované odměny ve všech sedmi navigačních scénářích. Ve scénáři vyžadujícím všechny tři operace dosáhl FLEX průměrné hodnoty 0,99, oproti 0,69 u ALGAE, 0,83 u MFE a 0,78 u základní metody bez dalších vodítek.

Autoři uvádějí, že v sekvenčních simulacích s robotickým ramenem se FLEX obecně naučil cílovou odměnu po jedné nebo dvou opravách a udržel si výkon při dřívějších i pozdějších konfiguracích. Srovnávací metody potřebovaly více oprav a jejich výkon se zhoršoval, jak se hromadily irelevantní vlastnosti nebo se jejich reprezentace příliš přizpůsobovaly jednotlivým fázím.

Samostatné osobní studie se zúčastnilo 12 lidí. Každý z nich zadával textové opravy ve třech blocích po pěti fázích, v nichž se používaly FLEX, ALGAE a MFE. Výzkumníci uvádějí, že FLEX získal nejvyšší průměrné hodnocení ve všech pěti oblastech dotazníku. V oblasti porozumění záměru, hodnocené na sedmibodové škále, činil průměr 6,3 u FLEX, 5,0 u ALGAE a 4,5 u MFE. Rozdíly mezi FLEX a oběma srovnávacími metodami byly po úpravě na vícenásobná srovnání statisticky významné. Rozdíly v jednoduchosti používání a schopnosti spolupráce statisticky významné nebyly.

Omezení důkazů a stav vývoje

Studie s lidmi neprobíhala v uzavřené regulační smyčce na fyzickém robotu. Účastníci sledovali simulované trajektorie, protože některé srovnávací metody vedly k nepravidelným pohybům ramene; tým samostatně zkombinoval jejich opravy s demonstracemi odborníků pořízenými na fyzickém robotu Franka pro offline učení. Autoři tuto práci s hardwarem popisují jako ověření proveditelnosti, které podporuje studii založenou na simulacích.

FLEX je v současnosti omezen na kvazistatickou manipulaci s pevnými objekty, jejichž relevantní vlastnosti lze popsat jazykem; dynamické úlohy a deformovatelné objekty mohou vyžadovat další modality. Autoři uvádějí, že obecné znalosti jazykového modelu umožňují zohlednit široce sdílené preference, ale u osobních nebo kontraintuitivních preferencí mohou selhat. Požadavek, aby robot zůstal od notebooku ještě dál, vyjadřuje také míru preference, kterou současná formulace nedokáže zachytit.

Stránka projektu autorů je stále označena jako rozpracovaná a uvádí, že kód a datová sada budou k dispozici později.

U domácích a asistenčních robotů jsou méně časté opravy přínosné pouze tehdy, když odvozená preference odpovídá tomu, na čem uživateli skutečně záleží. Hlavní otevřenou otázkou zůstává, zda zobecnění jazykových modelů dokážou při provozu fyzických robotů v uzavřené smyčce stejně spolehlivě zohledňovat individuální preference.