FLEX uczy roboty uogólniania na podstawie ludzkich korekt

Badacze z MIT i New York University opracowali FLEX — system, który wykorzystuje korekty w formie rozmowy, aby zmieniać cechy otoczenia wpływające na ruchy robota. MIT poinformował o tych pracach 9 listopada 2026 roku, przed ich prezentacją podczas konferencji Conference on Robot Learning w listopadzie 2026 roku.

FLEX rozwiązuje problem występujący w robotyce sterowanej językiem: polecenie, by robot niosący kawę nie rozlał jej na laptopa, może sprawić, że urządzenie doda ten przedmiot do listy przeszkód, nie uwzględniając przy tym, dlaczego ma on znaczenie. System wyciąga wniosek o szerszej preferencji unikania elektroniki, dzięki czemu symulowane ramię zmienia trasę tak, by ominąć zarówno laptopa, jak i leżący w pobliżu telefon — bez osobnego polecenia dotyczącego telefonu.

Zmiana tego, co śledzi robot

W artykule system FLEX nazwano Flexible Feature Editing Pipeline. Rozdziela on określanie cech od optymalizacji funkcji nagrody: korekty wyrażone w języku naturalnym wskazują, które mierzalne właściwości sceny mają znaczenie, a demonstracje określają, jak silnie te właściwości powinny wpływać na trajektorię. Takie rozdzielenie pozwala korygować reprezentacje, które są niekompletne, zawierają nadmiar nieistotnych cech albo abstrahują na niewłaściwym poziomie.

Każda korekta przechodzi przez trzy etapy: ADD, GENERALIZE i MASK. ADD sprawdza, czy istniejące cechy wyjaśniają korektę; jeśli nie, model językowy proponuje brakującą cechę i generuje kod do jej obliczania. GENERALIZE zastępuje zbyt szczegółową cechę taką, która odpowiada wywnioskowanej intencji. W przykładzie MIT z kulą do kręgli ograniczenie dotyczące konkretnego kubka zmienia się w unikanie przedmiotów podatnych na uszkodzenie. MASK usuwa cechy, które nie są już istotne.

Uruchomienie MASK jako ostatniego etapu oznacza, że ocenę istotności przeprowadza się na cechach już po ich ewentualnym uogólnieniu. W eksperymentach wykorzystano GPT-4o, a MIT podaje, że pełna trzyetapowa interakcja trwa około pięciu sekund.

Andreea Bobu, która kierowała badaniem i stoi na czele Collaborative Learning and Autonomy Research Lab w MIT, powiązała tę koncepcję z zastosowaniem robotów w domu: „Każdy ma inny dom i każdemu zależy na czymś innym, dlatego żaden robot nie wie od razu, co jest ważne właśnie dla ciebie. W FLEX najbardziej ekscytuje mnie to, że robot może się tego dowiedzieć z jednego lub dwóch zdań, zamiast prosić cię o wyjaśnienie każdej reguły — i właśnie to odróżnia robota, którego ludzie jedynie tolerują, od takiego, którego naprawdę chcą mieć w domu”.

Wyniki symulacji i oceny uczestników

Badacze przetestowali FLEX w siatkach nawigacyjnych 9 × 9 oraz w symulowanych zadaniach stołowych z robotem Franka o siedmiu stopniach swobody, obejmujących kawę, zapaloną świecę i kulę do kręgli. Scenariusze z ramieniem robota obejmowały sekwencje korekt składające się z pięciu etapów. Między etapami zmieniano układ przedmiotów, tak aby wcześniej przydatna cecha mogła stracić znaczenie albo mogło ujawnić się ukryte niedopasowanie.

Porównanie objęło ALGAE, które obsługuje wyłącznie ADD, Mask-From-Exhaustive (MFE), które obsługuje wyłącznie MASK, oraz bazową metodę bez dodatkowych etapów, w której model językowy otrzymuje jedno zapytanie z prośbą o przygotowanie kompletnego, zaktualizowanego zestawu cech. W użytej metryce znormalizowanej nagrody wartość 1 oznacza optymalne zachowanie, a 0 — trajektorię najgorszą z możliwych.

W artykule podano, że FLEX uzyskał najwyższą średnią znormalizowaną nagrodę we wszystkich siedmiu scenariuszach nawigacyjnych. W scenariuszu wymagającym zastosowania wszystkich trzech operacji średni wynik FLEX wyniósł 0,99, w porównaniu z 0,69 dla ALGAE, 0,83 dla MFE i 0,78 dla metody bazowej bez dodatkowych etapów.

Autorzy podają, że w sekwencyjnych symulacjach z ramieniem robota FLEX na ogół uczył się docelowej funkcji nagrody po jednej lub dwóch korektach i utrzymywał skuteczność w konfiguracjach zarówno wcześniejszych, jak i późniejszych. Metody porównawcze wymagały większej liczby korekt, a ich skuteczność spadała, gdy gromadziły się nieistotne cechy lub reprezentacje nadmiernie dopasowywały się do poszczególnych etapów.

W odrębnym badaniu stacjonarnym wzięło udział 12 osób. Każda z nich wprowadzała korekty tekstowe w trzech blokach po pięć etapów, korzystając z FLEX, ALGAE i MFE. Badacze podają, że FLEX uzyskał najwyższą średnią ocenę we wszystkich pięciu wymiarach ankiety. W zakresie rozumienia intencji średnie wyniki w skali siedmiopunktowej wyniosły 6,3 dla FLEX, 5,0 dla ALGAE i 4,5 dla MFE. Po korekcie uwzględniającej wielokrotne porównania różnice między FLEX a obiema metodami bazowymi były istotne statystycznie. Różnice w łatwości obsługi i zdolności do współpracy nie były istotne statystycznie.

Ograniczenia dowodów i stan prac rozwojowych

Badanie z udziałem ludzi nie obejmowało sterowania w pętli zamkniętej fizycznym robotem. Uczestnicy oglądali symulowane trajektorie, ponieważ niektóre metody bazowe powodowały chaotyczne ruchy ramienia; w osobnym etapie zespół połączył ich korekty z demonstracjami ekspertów zebranymi na fizycznym robocie Franka, aby przeprowadzić uczenie offline. Autorzy opisują te prace z użyciem sprzętu jako test wykonalności wspierający badanie symulacyjne.

FLEX jest obecnie ograniczony do quasi-statycznej manipulacji sztywnymi przedmiotami, których istotne właściwości można opisać językiem naturalnym; zadania dynamiczne i przedmioty odkształcalne mogą wymagać dodatkowych modalności. Autorzy twierdzą, że wiedza potoczna modeli językowych pozwala uwzględniać szeroko podzielane preferencje, ale może nie wystarczyć w przypadku preferencji osobistych lub sprzecznych z intuicją. Prośba, by zachować jeszcze większą odległość od laptopa, wyraża również siłę preferencji, której obecne sformułowanie modelu nie uwzględnia.

Strona projektu autorów jest nadal oznaczona jako będąca w trakcie opracowywania, a dostępność kodu i zbioru danych określono jako planowaną w najbliższym czasie.

W przypadku robotów domowych i asystujących mniejsza liczba korekt jest przydatna tylko wtedy, gdy wywnioskowane preferencje odpowiadają temu, na czym rzeczywiście zależy użytkownikowi. Kluczowym nierozstrzygniętym pytaniem pozostaje, czy uogólnienia modeli językowych pozwalają uwzględniać indywidualne preferencje z taką samą konsekwencją podczas działania w zamkniętej pętli na fizycznych robotach.