ロボットの学習と失敗を検証するToyBlocksをAi2が公開

Ai2は2026年11月6日、ToyBlocksを公開した。同社のFoundationWorldsフレームワークで最初の環境となるToyBlocksは、オープンなロボットシミュレーションに、生成されたデモンストレーション、訓練済みモデル2種類、評価ツールを組み合わせている。このフレームワークは、ロボット学習の実験を再現可能にし、失敗の原因を追跡しやすくすることを目的としている。

この環境では、シミュレーション上のロボットアームと、ラベルの付いたブロックが卓上に配置される。押す、裏返す、積み重ねるといった作業に加え、探す、分類する、並べるといったタスクも用意されている。必要な文字や絵がブロックの裏に隠れている場合、ロボットはブロックを裏返してから、置き場所を判断しなければならない。シーンごとにブロックの大きさやテーブルの高さなどを変え、ポリシーが形状の変化に対応できるかを検証する。

対象領域を限定することで、Ai2は4つの特性を同時に追求できる。すなわち、現実味のある物理表現と視覚表現、タスクとデモンストレーションを大規模に生成できること、推論と器用さの両方が求められる課題、そしてこの領域で対応可能なタスクを幅広く網羅することだ。

デモンストレーションの自動生成とオープンモデル

NvidiaのIsaac Labでは、強化学習と動作計画によって、短いタスクをこなすスキルを作成する。スキルの生成には、カメラ画像からの推定値ではなく、ブロックの正確な位置や向きなど、シミュレーターから得られる特権的な状態情報を利用できる。これにより、実機ロボットの遠隔操作が必要となるような動作も自動化できる。その後、タスク・動作プランナーがスキルを選択して順序づけ、ラベル付きのデモンストレーションを生成する。Ai2によると、1つのGPU上で数百件の計画を並行して実行でき、速度は実時間の最大24倍に達する。

研究者は、生成された訓練データの混合比を調整し、特定のスキルを重視できる。また、訓練時に使わなかったタスクでポリシーを評価することも可能だ。これにより、データ生成器は単にデータセットを大規模化するための手段ではなく、実験を制御するための仕組みとなる。

目標はToyBlocksリポジトリ内でPDDLによる計画仕様として記述されているため、評価システムはタスクごとに専用の指標を用意しなくても、完了度と途中段階の進捗を採点できる。デモンストレーションはLeRobot形式で保存される。階層型ポリシーでは、いずれかの階層を、正しい計画または行動を提示するオラクルに置き換えられるため、判断の誤りと動作実行の不具合を切り分けられる。失敗状態をデータ生成に戻し、新たなデモンストレーションや復旧動作を生成することもできる。

Ai2によると、初回リリースには長期タスクのデモンストレーションが85,336件含まれている。各デモンストレーションは、セットに応じておよそ6～12件のスキルデモンストレーションから成り、ロボットの動作時間は約1,600時間、フレーム数は1億4,400万に及ぶ。公開データセットは、ODC-BYライセンスの下でParquet形式のLeRobotデータを提供し、難易度別に初級、中級、上級のサブセットを収録している。メインコードはApache-2.0ライセンスで公開されているが、指定されたサブモジュールとダウンロードされたアセットにはそれぞれ独自のライセンスが適用される。

Ai2のモデルカードでは、公開されたポリシーを2つの階層に分けている。パラメーター数が約45億のMolmo2-4B-tbは、正面カメラの画像とテキスト形式の目標を入力として、短い計画、次の行動、目標地点を出力する。パラメーター数が3億2,250万のManiFlow-tbは、正面カメラとグリッパーの画像、ロボットの状態、タスク情報、目標ヒートマップを用いて、行動のまとまりを生成する。

汎化能力とエージェントの実験

空間に関する実験では、積み重ね、積み下ろし、裏返し、回転を扱い、訓練範囲内での補間と、その範囲を超える外挿を区別している。たとえば、ある作業空間内のブロックで訓練し、別の場所でテストするケースや、特定の積み重ねの高さを訓練から除外するケースがある。Ai2は、大規模な事前学習を行ったにもかかわらず、ManiFlow、π0.5、MolmoAct 2の初期段階での汎化能力は低かったと報告し、行動モデルの汎化は依然として解決にはほど遠いと結論づけている。

エージェントを用いたテストでは、別の弱点が明らかになった。Ai2によると、Claude Opus 5.5を基盤とするシステムは、テキストの説明だけを与えられた古典的なブロック積みタスク30件すべてを解決した。また、カメラ画像を繰り返し受け取りながら閉ループで行動を選ぶ条件でも、30件すべてを解決した。最大8個のブロックがある探索・スペリングのシーンでは、50%のケースで必要な文字が欠けており、解決不可能だと判定する必要があった。エージェントは63%のケースでタスクを解決するか、実行不可能だと正しく判定した。類似した文字の取り違えが13%、文字の向きの誤認が15%を占めた。

3つ目のエージェント実験では、システムが予想外のスキルの動作を試し、その結果に基づいて新たなスキル説明を作成できるようにした。Ai2によると、こうして学習した説明を使うと成功率は、既定の説明を使った場合の24%から63%に上昇し、人間の専門家が作成した説明を使った場合の36%を上回った。

実機ロボットでのテストとその限界

実機評価では、ToyBlocksのシミュレーションデータだけで訓練したモデルを、現実世界の訓練例を一切使わずに、Robotiq製グリッパーを備えたFranka FR3アームで実行した。30種類のシーン構成には、訓練時に見たものと同じ4～10個のブロックが含まれていた。関連するブロックが衝突することなく目標姿勢に到達した場合に限り、エピソードを成功と判定した。危険な動きを防ぐためにオペレーターが介入した場合は、失敗と数えた。

シミュレーションと現実の隔たりを縮めるため、Ai2は実際の軌道に合わせて、シミュレーション上の関節摩擦とアーマチュアを調整した。データ生成では、照明、背景、素材、カメラのパラメーターに加え、物体の大きさ、摩擦、テーブルの高さもランダム化した。

Ai2によると、ManiFlowの基本スキルの成功率はシミュレーションで80.0%、実機アームで81.1%だった。階層型のMolmo 2–ManiFlowシステムは、シミュレーションのエピソードの55.5%（200回中111回）、実機でのエピソードの50.0%（30回中15回）で成功した。

Ai2は、これらの結果には二つの留保があるとしている。実機での階層型システムの評価では、ブロックの文字が見え、ブロックが直立した最も簡単なシミュレーション設定を用いており、タスク間で統計的な信頼性を確立するには、さらなる試行が必要だ。また、ManiFlowのカードには、同じ128回のシミュレーション上のエピソードを4回実行した際の成功率が54%から59%の範囲で記録されている。これは、シミュレーションとバッチ推論がビット単位で決定論的ではないためだ。

Ai2は、より大規模なデータセット、より多くのスキル、より幅広いベンチマークに加え、現行パッケージには含まれていない、完全に統合された強化学習トレーニングを備えた第2弾のリリースを計画している。長期的な方向性としては、両腕による操作、力覚と触覚のセンサーを備えた器用な手、そして配置が整っていないブロックの山とのインタラクションが挙げられる。

したがって、ToyBlocksの当面の貢献は、実験を制御できる環境を提供することにある。研究者は、トレーニングデータの構成を変更し、計画と実行を切り分け、失敗をデータ生成にフィードバックできる。初期の結果は、その限界も示している。シミュレーションでの汎化性能が低く、実機での評価も限定的であるため、これらの初期の転移率から、ブロックの世界を超えたロボット学習について何が明らかになるのかは、慎重に捉える必要がある。