AGIBOT、ロボットに次の行動を教える「物理推論データセット」を公開

ロボットはボトルを完璧につかめても、ミニバーの補充には失敗することがある。空のボトルを残したり、補充するボトルが多すぎたり、すでに完了した手順を繰り返したりする場合がある。次の動作を選ぶ前に、状況に応じて何をすべきか判断する能力が不足しているのだ。

AGIBOTは、物理推論データセットによってこの課題の解決を目指す。同社は10月22日、AGIBOT WORLD 2026のリリース4として同データセットを発表した。このリリースでは、タスクの目標、変化する場面の状況、実行履歴、実際のロボットの動作が結び付けられている。中心となる考え方は、同じ目標にたどり着く複数の経路を収集することだ。これにより、タスクの進行に応じて判断を適応させるロボットを訓練するための素材を、研究者に提供する。

1つの目標に複数の正しい行動手順

リリース4では、タスク設計の重点を、難しい動作から難しい判断へと移している。決まった手順の実演だけを収集するのではなく、AGIBOTは物体の数、障害物、使えるスペース、タスクの進捗状況を変化させる。ユーザーの依頼が同じままでも、こうした変化によって、以前は正しかった行動が適切でなくなることがある。

ミニバーの例を考えてみよう。満タンのボトルを3本そろえるには、どのボトルが空かを見分け、すでにある満タンのボトルを数え、何を取り除いて補充するかを判断する必要がある。ボトルをうまくつかむことは、作業の一部にすぎない。ロボットには、目指す最終状態を表現し、それを現在の状態と比較する方法も必要だ。

別のシナリオでは、箱の後ろにある鍵を取り出す。十分なスペースがあれば、直接つかめるかもしれない。箱が邪魔で手が届かない場合は、まず箱を動かす必要がある。引き出しを探す作業では、記憶の問題も生じる。カメラ画像だけでは、どの引き出しをすでに確認したかをシステムが判断できないからだ。

こうした例は、フィジカルAIが直面する実践的な課題を浮き彫りにしている。専門家の目に見える動作を模倣する方策でも、その動作が適切だった背景を把握していなければ、誤った判断を下すことがある。共通の目標を保ちながら条件を変化させることで、このデータセットは、そうした判断の前提となる関係性を訓練に利用できるようにすることを目指している。

複雑さが段階的に増す9つの推論能力

AGIBOTは、9つの能力を軸にこのリリースを構成している。属性に基づく物体の選択、状況に応じた選択、操作が実行可能かどうかの評価、行動の前提条件に関する推論、目標に向けた探索、状態と数量の追跡、より長い手順の計画、記憶の維持、サブタスクの順序付けだ。

こうした能力は、日常的な作業では互いに関係し合う。補充作業には、物体の認識、数量の確認、進捗の追跡が必要だ。物を探すには、探索戦略と過去の試行の記録を組み合わせる必要がある。より長い片付け作業では、複数の判断を順番に行わなければならないことがあり、そのたびに次の行動を取り巻く状況が変化する。

このデータセットでは、タスクを「初級」「中級」「上級」の3段階に分けている。個々の物体を選ぶ判断は比較的簡単な段階に位置する。数量の制約や前提条件が加わると複雑さが増し、さらに長いタスクでは複数の目標、記憶、状況に応じた要件が組み合わさる。この構成により研究者は、個々の能力を調べてから、それらがどの程度うまく連携するかを検証できる。

実行結果も注釈付けされており、物体の選択、配置、必要な数量を達成できたかどうかが含まれる。このリリースには、成功例と誤りの例の両方が含まれており、逸脱を認識して、その後の判断を調整する研究を支援する。

指示を物理的な動作につなげる

技術面での貢献は、注釈を通じてタスクの異なる階層を結び付けている点にある。上位の指示は、全体的な目標を示す。タスクフレーム、サブタスクの区間、行動の手順は、その構造と進捗を表す。研究者は、こうした関係を利用して、どのサブ目標に取り組んでいるのか、次に何をすべきかを調べられる。

動作レベルでは、AGIBOTのDense Prompt注釈が、対象物、操作する領域、両腕の役割、動作、グリッパーの状態、予想される結果を指定する。バウンディングボックス、点、軌跡の線によって、言語情報を位置や動作経路に結び付ける。これにより学習システムは、指示が何を指すのか、また実行内容がどのように表現されるのかについて、より明確な手掛かりを得られる。

同社は、対象物と紛らわしい物体を区別し、結果を確認するための成功区間と敵対的事例の区間についても説明している。ここでいう敵対的事例は、タスクの解釈と実行に関するものだ。ロボットが正しい物体を選んだか、依頼された手順を実際に終えたかといった問いを検討するのに役立つ。

これらの注釈を組み合わせることで、意思決定モデルと行動方策を結び付ける訓練を支援することを目指している。意思決定モデルがサブ目標を選び、方策が操作を実行し、その結果生じた状態が次の判断に反映される。このフィードバックは、ロボットが不完全な試行から立て直す必要がある場合や、変化した場面に対応する場合に重要となる。

AGIBOTのロボット工学プラットフォームにおける今回のリリースの位置付け

より広範なAGIBOT WORLD 2026のリポジトリでは、同社のG2プラットフォームで収集された実環境データが紹介されています。記載されている形式はLeRobotの規約に準拠しており、エピソードデータやメタデータに加え、頭部カメラと手首カメラの映像ストリームが個別に収録されています。これは、視覚的な観測結果と記録されたロボットの動作を結び付けようとする開発者にとって、有用な背景情報となります。

AGIBOTのG2製品ページでは、このハードウェアを、対話機能とともに、身体性知能や力制御による操作を実現するものとして位置付けています。リリース4は、こうした物理的な能力を支える意思決定とタスク記憶の層に取り組むものです。また、AGIBOTのロボットプラットフォームに関するUnite.AIの以前の記事で取り上げたデータ基盤をさらに拡充します。

リポジトリには、Creative Commons 表示—非営利—継承 4.0 ライセンスが記載されています。非営利という条件は、公開されたデータを製品でどのように利用するか検討する開発者にとって、重要な違いとなります。

物理的な推論によって変わる可能性

宿泊・飲食業、家庭向けサービス、小売業の現場で期待されるのは、状況が変化しても目標の達成に向けて作業できるロボットです。テーブルを元の状態に戻したり、棚の商品を補充したりするには、すでに何があるかを確認し、完了した作業を覚えておき、これ以上の作業が不要なタイミングを判断する必要があります。ロボットの活用が単発のデモから一連の業務プロセスへと広がるにつれ、こうした判断はますます重要になります。

リリース4は、そうした方向性に向けた学習素材を提供します。ただし、それだけで、特定のモデルが未知の環境でもこうした業務プロセスを確実に実行できることが実証されるわけではありません。AGIBOTによると、このデータはすでに、今後公開予定のエージェントフレームワークと次世代基盤モデルを支えており、これらのシステムの性能については別途検証が必要です。

重要な変化は、目標、現在の状況、過去の行動がもたらした結果の関係をロボットに学習させる方向へ進んでいることです。研究者は、AGIBOT WORLDプロジェクトと、そこに関連付けられたデータセットを通じて、このアプローチを探究できます。