FLEXは人間の修正から汎化する方法をロボットに教える

MITとニューヨーク大学の研究者たちは、会話を通じた修正を用いて、ロボットの動きを導く環境特徴を更新するシステム「FLEX」を開発した。MITはこの研究を発表した。発表日は2026年11月9日で、同月に開催されるConference on Robot Learningでの発表に先立つものだった。

FLEXが解決を目指すのは、言語で指示するロボット工学における失敗の一例だ。コーヒーを運ぶロボットに「ノートパソコンにこぼさないで」と伝えると、その物体が障害物リストに追加されるだけで、なぜ避ける必要があるのかまでは反映されないことがある。FLEXは、電子機器全般を避けたいという、より広い好みを推定する。そのため、シミュレーション上のアームは、スマートフォンを個別に避けるよう指示されなくても、ノートパソコンと近くにあるスマートフォンの両方を避けて動く。

ロボットが追跡する特徴を編集する

論文では、FLEXを「柔軟な特徴編集パイプライン（Flexible Feature Editing Pipeline）」と呼んでいる。このシステムは、特徴の指定と報酬の最適化を切り分ける。言語による修正からは、シーン内のどの測定可能な特性が重要かを特定し、デモンストレーションからは、それらの特性を軌道にどの程度反映させるべきかを判断する。この分担により、特徴が不完全な表現、重要でない特徴を過剰に含む表現、あるいは抽象度が適切でない表現に対処する。

修正はそれぞれ、ADD、GENERALIZE、MASKの各段階を経る。ADDでは、既存の特徴で修正内容を説明できるかを確認する。説明できない場合は、言語モデルが不足している特徴を提案し、それを計算するコードを生成する。GENERALIZEでは、特定の対象に限定されすぎた特徴を、推定した意図に結びつく特徴に置き換える。MITが示したボウリング用ボールの例では、マグカップだけを対象とする制約が、壊れやすい物体全般を避ける制約に変わる。MASKでは、もはや関係のない特徴を取り除く。

MASKを最後に実行することで、関連性の判断は、汎化後の特徴に対して行われる。実験ではGPT-4oを使用し、MITによると、3段階からなる一連の処理は約5秒で完了する。

研究を主導し、MITのCollaborative Learning and Autonomy Research Labを率いるAndreea Bobuは、この設計を家庭での利用に結びつけて、次のように述べた。「家は人によって違い、大切にしていることも人それぞれです。だから、箱から出したばかりのロボットが、あなたにとって何が大切かを知っているはずはありません。FLEXの魅力は、あらゆるルールを一つずつ説明しなくても、1、2文からそれを学べることです。それこそが、人々が仕方なく受け入れるロボットと、本当に家に置きたいと思うロボットの違いなのです。」

シミュレーション結果と人間による評価

研究者たちは、9×9のナビゲーショングリッドと、コーヒー、火のついたろうそく、ボウリング用ボールを扱う7自由度のFranka卓上タスクのシミュレーションでFLEXを検証した。アームの各シナリオでは、5段階の修正シーケンスを用いた。段階ごとに物体の配置を変え、それまで有用だった特徴が不要になったり、隠れていた不整合が明らかになったりする状況を作った。

比較対象には、追加のみを行うALGAE、マスクのみを行うMask-From-Exhaustive（MFE）、そして言語モデルに1回の問い合わせで特徴の完全な更新案を求める、足場かけのないベースラインを含めた。正規化報酬指標では、最適な動作に1、最悪の軌道に0を割り当てる。

論文によると、FLEXは7つすべてのナビゲーションシナリオで、正規化報酬の平均が最も高かった。3つの操作すべてが必要なシナリオでは、FLEXの平均は0.99で、ALGAEは0.69、MFEは0.83、足場かけのないベースラインは0.78だった。

逐次的なアームのシミュレーションでは、FLEXは概ね1回または2回の修正で目標報酬を学習し、それ以前と以後の設定でも性能を維持したと著者らは報告している。比較手法では、より多くの修正が必要となり、無関係な特徴が蓄積したり、表現が個々の段階に過剰適合したりするにつれて性能が低下した。

別途、対面での研究も実施され、12人の参加者がそれぞれ、FLEX、ALGAE、MFEを用いた5段階のブロックを3つ経験し、テキストで修正を入力した。研究者によると、FLEXはアンケートの5つすべての評価項目で平均評価が最も高かった。7段階評価による意図の理解度は、FLEXが平均6.3、ALGAEが5.0、MFEが4.5だった。複数比較を調整した後も、FLEXと両ベースラインとの差は統計的に有意だった。一方、使いやすさと協働性の差は統計的に有意ではなかった。

エビデンスの限界と開発状況

人間を対象とした研究では、実機ロボットを用いた閉ループ制御は行わなかった。一部のベースライン手法でアームが不規則に動いたため、参加者にはシミュレーション上の軌道を見てもらった。その一方で研究チームは、実機のFrankaで収集した専門家のデモンストレーションと参加者の修正を組み合わせ、オフライン学習を行った。著者らは、このハードウェアを用いた取り組みを、シミュレーション研究を裏づける実現可能性の確認と位置づけている。

FLEXが現在対応できるのは、関連する特性を言葉で表せる剛体の準静的な操作に限られる。動的なタスクや変形する物体には、追加のモダリティが必要になる可能性がある。著者らによると、言語モデルの常識的な推論は広く共有される好みに対応できる一方、個人的な好みや直感に反する好みには対応できない場合がある。また、ノートパソコンからさらに離れるよう求める指示には、好みの強さも含まれるが、現行の定式化ではそれを捉えられない。

著者らのプロジェクトページには、現在も作業中と記されており、コードとデータセットは近日公開予定とされている。

家庭用ロボットや支援ロボットでは、推定された選好がユーザーの実際の関心と一致している場合に限り、修正回数が少ないことに意味がある。未解決の中心的な問いは、物理ロボットを閉ループで動作させる際にも、言語モデルによる一般化が個人ごとの独特な選好に同じ一貫性をもって対応できるかどうかだ。