Robotik und physische KI
FLEX bringt Robotern bei, aus menschlichen Korrekturen allgemeine Regeln abzuleiten
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Forschende am MIT und an der New York University haben FLEX entwickelt, ein System, das mithilfe dialogbasierter Korrekturen die Umgebungsmerkmale anpasst, an denen sich die Bewegungen eines Roboters orientieren. Das MIT gab die Arbeit bekannt am 9. November 2026, noch vor ihrer Präsentation auf der Conference on Robot Learning im November 2026.
FLEX setzt bei einem typischen Problem sprachgesteuerter Robotik an: Weist man einen Roboter, der Kaffee trägt, an, nichts auf einem Laptop zu verschütten, kann dieser den Laptop zwar in seine Hindernisliste aufnehmen, ohne jedoch zu erfassen, warum er wichtig ist. Das System leitet daraus eine allgemeinere Präferenz ab, Elektronik zu meiden. So passt der simulierte Arm seine Route sowohl um den Laptop als auch um ein nahe gelegenes Smartphone an, ohne dass dafür eine separate Anweisung zum Smartphone nötig ist.
Anpassen, worauf der Roboter achtet
In der Arbeit wird FLEX als Flexible Feature Editing Pipeline bezeichnet. Das System trennt die Festlegung von Merkmalen von der Optimierung der Belohnungsfunktion: Sprachliche Korrekturen geben an, welche messbaren Eigenschaften einer Szene relevant sind, während Demonstrationen bestimmen, wie stark diese Eigenschaften die Bewegungsbahn beeinflussen sollen. Damit sollen Repräsentationen verbessert werden, die unvollständig sind, zu viele irrelevante Merkmale enthalten oder auf einer ungeeigneten Abstraktionsebene liegen.
Jede Korrektur durchläuft die Schritte ADD, GENERALIZE und MASK. ADD prüft, ob sich die Korrektur durch vorhandene Merkmale erklären lässt. Ist das nicht der Fall, schlägt ein Sprachmodell ein fehlendes Merkmal vor und erzeugt Code, um es zu berechnen. GENERALIZE ersetzt ein zu spezifisches Merkmal durch eines, das der erschlossenen Absicht entspricht. Im Beispiel des MIT mit der Bowlingkugel wird aus der Vorgabe, eine bestimmte Tasse zu meiden, die allgemeinere Regel, zerbrechliche Gegenstände zu meiden. MASK entfernt Merkmale, die nicht länger relevant sind.
Da MASK zuletzt ausgeführt wird, werden die Relevanzentscheidungen auf Merkmale angewandt, nachdem sie gegebenenfalls verallgemeinert wurden. In den Experimenten kam GPT-4o zum Einsatz. Dem MIT zufolge dauert die vollständige Interaktion mit den drei Schritten etwa fünf Sekunden.
Andreea Bobu, die die Studie leitete und das Collaborative Learning and Autonomy Research Lab des MIT leitet, stellte einen Bezug zur Nutzung im Haushalt her: „Jeder wohnt anders, und jedem sind andere Dinge wichtig. Deshalb weiß kein Roboter von Anfang an, worauf es Ihnen ankommt. An FLEX begeistert mich, dass der Roboter das schon aus ein oder zwei Sätzen lernen kann, statt dass man ihm jede Regel einzeln erklären muss – und genau das macht den Unterschied zwischen einem Roboter, den man gerade noch duldet, und einem, den man wirklich zu Hause haben möchte.“
Simulationsergebnisse und Bewertungen durch Menschen
Die Forschenden testeten FLEX in Navigationsrastern mit 9 mal 9 Feldern sowie in simulierten Tischaufgaben mit einem Franka-Roboter mit sieben Freiheitsgraden. Dabei ging es um Kaffee, eine brennende Kerze und eine Bowlingkugel. Die Armszenarien umfassten Korrekturfolgen mit jeweils fünf Phasen. Zwischen den Phasen wurden die Anordnungen der Gegenstände verändert, sodass ein zuvor nützliches Merkmal irrelevant werden oder eine zuvor verborgene Fehlanpassung zutage treten konnte.
Verglichen wurde FLEX mit ALGAE, das nur Merkmale hinzufügt, mit Mask-From-Exhaustive (MFE), das nur Merkmale ausblendet, sowie mit einer Baseline ohne vorgegebene Struktur. Bei Letzterer wird das Sprachmodell in einer einzigen Abfrage gebeten, einen vollständigen aktualisierten Merkmalsumfang zu erstellen. Die normalisierte Belohnungskennzahl setzt optimales Verhalten mit 1 und die schlechtestmögliche Bewegungsbahn mit 0 an.
Laut der Arbeit erzielte FLEX in allen sieben Navigationsszenarien die höchste durchschnittliche normalisierte Belohnung. Im Szenario, das alle drei Operationen erforderte, lag der Durchschnitt für FLEX bei 0,99, verglichen mit 0,69 für ALGAE, 0,83 für MFE und 0,78 für die Baseline ohne vorgegebene Struktur.
In den aufeinanderfolgenden Armsimulationen lernte FLEX der Studie zufolge im Allgemeinen nach ein oder zwei Korrekturen die angestrebte Belohnungsfunktion und behielt seine Leistung bei früheren wie späteren Anordnungen bei. Die Vergleichsmethoden benötigten mehr Korrekturen und schnitten schlechter ab, wenn sich irrelevante Merkmale ansammelten oder ihre Repräsentationen zu stark auf einzelne Phasen zugeschnitten waren.
An einer separaten Studie vor Ort nahmen 12 Personen teil. Jede Person gab in drei Blöcken mit jeweils fünf Phasen schriftliche Korrekturen zu FLEX, ALGAE und MFE. Den Forschenden zufolge erhielt FLEX in allen fünf Dimensionen des Fragebogens die höchste durchschnittliche Bewertung. Beim Verständnis der Absicht lag der Durchschnitt auf einer siebenstufigen Skala für FLEX bei 6,3, für ALGAE bei 5,0 und für MFE bei 4,5. Nach einer Anpassung für multiple Vergleiche waren die Unterschiede zwischen FLEX und beiden Baselines statistisch signifikant. Die Unterschiede bei der Benutzerfreundlichkeit und der Zusammenarbeit waren statistisch nicht signifikant.
Grenzen der Evidenz und Entwicklungsstand
In der Studie mit Menschen wurde kein geschlossener Regelkreis auf einem physischen Roboter getestet. Die Teilnehmenden sahen sich simulierte Bewegungsbahnen an, weil einige Baseline-Methoden zu unberechenbaren Armbewegungen führten. Unabhängig davon kombinierte das Team die Korrekturen der Teilnehmenden mit Expertendemonstrationen, die mit einem physischen Franka-Roboter aufgezeichnet worden waren, um offline zu lernen. Die Autorinnen und Autoren beschreiben diese Arbeit mit der Hardware als Machbarkeitsprüfung zur Unterstützung der Simulationsstudie.
FLEX ist derzeit auf quasi-statische Manipulation starrer Gegenstände beschränkt, deren relevante Eigenschaften sich in Sprache ausdrücken lassen. Für dynamische Aufgaben und verformbare Gegenstände könnten zusätzliche Modalitäten erforderlich sein. Den Autorinnen und Autoren zufolge kann das Alltagswissen von Sprachmodellen weit verbreitete Präferenzen berücksichtigen, bei persönlichen oder kontraintuitiven Präferenzen jedoch versagen. Auch die Bitte, noch mehr Abstand zu einem Laptop zu halten, drückt die Stärke einer Präferenz aus – etwas, das die derzeitige Formulierung nicht erfasst.
Die Projektseite der Autorinnen und Autoren ist weiterhin als in Arbeit gekennzeichnet. Dort heißt es, dass der Code und der Datensatz in Kürze verfügbar sein sollen.
Bei Haushalts- und Assistenzrobotern sind weniger Korrekturen nur dann hilfreich, wenn die erschlossene Präferenz dem entspricht, worauf es dem Nutzer tatsächlich ankommt. Die zentrale offene Frage ist, ob Verallgemeinerungen von Sprachmodellen individuelle Präferenzen im Betrieb physischer Roboter im geschlossenen Regelkreis ebenso konsistent berücksichtigen können.
