NVIDIA、ロボットが人間の動画から学習するGR00T 2を発表

NVIDIAはGR00T 2を発表した。発表は2026年11月9日、オースティンで開催されたConference on Robot Learning（CoRL）で行われた。また、人間の動画を一部用いて学習したモデルが、対象ロボットの学習データに含まれていない50タスクで、ゼロショットで40%の成功率を達成したと報告した。

GR00T 2は、Cosmos-Predict2.5-2Bを基盤とする20億パラメーターのトランスフォーマーを採用している。直近のカメラ映像、ロボットの状態、文章による指示を組み合わせ、予測される今後の映像と次の一連の動作を生成する。1つの事前学習済みチェックポイントで、平行グリッパー付きアーム、器用な操作が可能な手、ヒューマノイドに対応する。NVIDIAはこのモデルをオープンなものとして紹介しているが、研究ページによると、コードの公開は12月の予定だ。

事前学習には、一人称視点の人間の動画402,730時間、2,897タスクにわたるハンドヘルドグリッパーの実演10,184時間、ロボットの遠隔操作データ23,500時間を組み合わせている。Human-1M-100Kの公開では、動画、言語アノテーション、頭部と手の動作データを含む人間のデータ100,000時間分が、CC BY 4.0ライセンスの下で公開される。同ライセンスは商用・非商用の利用を認めている。

異なる身体形態を用いたテストでは、スキルが身体間でどのように転移し、限られたロボットデータでどのように適応するかが示されている。NVIDIAによると、人間の実演から学習したフィルターペーパーの設置では、タスク固有の遠隔操作データを使わずに65%の成功率を達成した。また、おもちゃのダンプトラックの組み立てスキルをハンドヘルドグリッパーからYAMアームに転移させた場合の成功率は60%だった。Dexter評価では、GR00T 2は40タスクでそれぞれ少なくとも1回の試行を完了した。タスクごとに実演を1回与えた場合、平均成功率は71%、5回では95%に達する。この5回の実演に必要なロボットデータはタスクあたり3分未満で、その後、RTX 5090 1台で約30分のアダプターのファインチューニングを行う。

技術白書では、実演5回での結果に条件を付している。評価対象に選ばれたのは、5エピソードで学習でき、成功率が少なくとも80%に達するタスクである。そのため、この平均値が高いのは、選定方法によるところも大きい。

シミュレーション学習で精密動作を実現

シミュレーションの基盤となるのはIsaac Lab 3.0で、2026年10月20日から一般提供されている。物理演算、レンダリング、可視化の各バックエンドをまたいで利用できる共通のタスクAPIを備える。Newtonは剛体、変形体、粒子に対応し、多くのワークフローはIsaac Simを完全にインストールしなくても実行できる。視覚情報に基づく器用な操作のベンチマークでは、Isaac Lab 3.0をNewtonとともに実行した場合、Isaac Lab 2.3をPhysXとともに使用した場合と比べ、学習スループットが最大2.5倍になるとNVIDIAは報告している。

AlphaNISTは、大規模なシミュレーション学習を、NIST Assembly Task Boardの20タスクに適用する。そこには、最小4ミリメートルの部品を扱うタスクも含まれる。共有ポリシー1つを、成功か失敗かだけを示す報酬で学習させる。NVIDIAによると、このポリシーのシミュレーション学習での成功率は98.2%で、タスクごとに別個のポリシーを用いた場合の81.4%を上回った。また、GPU時間は約39分の1で済んだ。これらはシミュレーション学習の結果である。

AlphaNISTを支えるのは、成功誘導サンプリングだ。University of WashingtonとNVIDIAが開発したこの手法は、ポリシーの能力の限界に近い条件、特に成功率がおよそ半分となる条件に学習を重点的に割り当てる。手法の著者らは、シミュレーション環境を100万超に拡張しても有効に機能すること、またRGB画像に基づく組み立てポリシーを、実機のUR5eにゼロショットで転移できることを報告している。

ベンチマークで産業現場の多様性に対応

Isaac Lab-Arenaは評価レイヤーを提供する。このオープンソースのフレームワークでは、モジュール式のコンポーネントから再現可能な評価を構築し、GPUで高速化された複数のシミュレーション環境で実行できる。失敗分析により、再学習が必要な条件も分かる。NVIDIAによると、開発者向けプレビュー版0.4はCoRLに合わせて公開される。

RLWRLDとNVIDIAが開発したDexBench v1.0には、小売、物流、組立ライン、ホテルの飲食サービスを想定した15のタスクが含まれる。UC BerkeleyとNVIDIAによるVABARは、道具の仕分けと吊り下げ、歯車のかみ合わせ、注射器の梱包、ケーブルの挿入と配線を対象とし、33種類のスキルライブラリーを備える。VABARのプロジェクトページによると、現在の2段階の難易度は検証用セットを構成しており、より難しいテストセットは今後追加される。

エージェントが失敗からの復旧と新たな制約に対応

UC BerkeleyのGraph-as-Policyフレームワークは、複数のエージェントを使って、解釈可能なロボットスキルの有向グラフを組み立て、シミュレーションでリハーサルを行う。失敗した場合は、グラフの構造とパラメーターを修正する。プロジェクトの報告によると、リハーサルを10回繰り返した結果、Make Popcornの成功率は当初の33%から、シミュレーションでは94%、実機ロボットでは90%（20回中18回）に上昇した。現在のベンチマークが主に対象としているのは準静的な操作であり、変形物、動力学、移動する目標物は今後の課題として残る。

GR00T 2は推論エージェントを使ってスキルの順序を決め、進捗を監視し、部品が落ちたり作業が滞ったりした場合に復旧手順を実行する。一方、モデルは接触を伴う複雑な操作を担う。修正用データとこのエージェントを用いた場合、NVIDIAの報告では、おもちゃの飛行機の組み立ては100回中98回、おもちゃのトラクターは97回、Hot Wheelsの組み立ては97回成功した。いずれも各おもちゃにつき、部品をランダムにばらまいた状態から開始した。教師ありファインチューニングだけの場合の成功回数は、それぞれ69回、51回、23回だった。

白書では別途、長期的なタスクを対象とする事後学習ベンチマークで、平均成功率がおよそ70%だったと報告している。視覚情報を使って誘導するごみの分別では、エピソード中にロボットがエージェントの応答を待った時間の割合は中央値で38%に達した。これは、エージェントによる監視に伴う遅延コストを示している。

NVIDIAによると、Nexuniは洗濯物の取り扱いにGR00T 2を試験導入しており、Foxconnはサーバー製造の自動化に適用し、Siemensは産業分野でのユースケースを評価しています。公表されているのは試験と評価に関する取り組みであり、本番環境への導入は発表されていません。

白書の結論では、信頼性を支える要素として、幅広い能力を担う事前学習、精度を高める修正デモンストレーションと強化学習、そして記憶、検証、復旧を担うエージェントが挙げられています。したがって、産業分野の利用者にとって有用な評価指標は、GR00T 2を取り巻くワークフロー全体と、各タスクで必要となる監督の量です。今後の導入に向けた課題は、NVIDIA自身の結果で示された信頼性を維持しながら、タスクごとの適応にかかる時間とエージェントの待ち時間を削減することです。