Meta V-JEPA 2: ロボットに共通感をもたらすAIモデル

MetaのVideo Joint Embedding Predictive Architecture 2 (V-JEPA 2)は、人工知能 (AI)における重要な進歩です。ロボットが物理的な相互作用を理解し、予測するのを助けます。このモデルは、1万時間以上のビデオでトレーニングされています。これにより、ロボットは次に何が起こるかを学び、予測することができます。また、新しい環境で行動を計画することもできます。未知の物体とより効果的にやり取りすることができます。

V-JEPA 2は、自己教師あり学習を使用しています。ビデオデータから直接学習し、人間の注釈を必要としません。これは、ラベル付きデータに依存する他のAIモデルとは異なります。ロボットは、視覚的なコンテキストに基づいて結果を予測できます。必要に応じて適応し、行動を計画できます。これにより、高度な機械知能 (AMI)の実現に近づきます。

MetaのJoint Embedding Predictive Architecture (JEPA)を基に構築されたV-JEPA 2は、アクションの予測とワールドモデリングを強化し、ロボットが未知の環境で新しいタスクを実行できるようにしています。Metaは、このモデルを研究コミュニティと共有して、AIの進歩を加速し、ロボットの能力を向上させることを目的としています。

ロボットの共通感がなぜ難しいのか

共通感は、基本的な決定を下す能力です。例えば、コップを傾けるとこぼれることを知っていることや、椅子が道を塞ぐ可能性があることを理解することなどです。人間にとって、これらの知識は経験を通して自然に得られます。しかし、ロボットはこの同じ直感を開発するのに苦労しています。

ほとんどのロボットは、制御された環境で特定のタスクにプログラムされています。これらのタスクでは、ロボットはうまく機能します。しかし、状況が変化したり、予期せぬ要素が現れたりすると、ロボットは苦労します。ロボットは、原因と結果を認識したり、行動の結果を予測したりすることができません。例えば、ロボットはコップを平らな表面に置く方法を知っているかもしれません。しかし、コップを傾けるとこぼれる可能性を予測できないかもしれません。

現在のAIモデル、例えば強化学習 (RL)に基づくものは、限界があります。RLには、多くのトライアルとエラーの学習が必要です。これにより、プロセスは遅く、リソースを大量に消費します。大規模言語モデル (LLM)は言語では優れていますが、物理的な世界では根拠がありません。これらは、テキストのみに基づいて妄想的な応答を生み出します。これにより、動的な状況では信頼できません。伝統的なコンピュータビジョンモデルも、限界があります。これらのモデルはタスクに特化しており、新しいまたは予期せぬシナリオに適応できません。

これらの問題を解決するために、ワールドモデルを使用することが推奨されます。ワールドモデルにより、ロボットは過去の経験に基づいて将来の行動をシミュレートし、予測することができます。これらのモデルは、世界の物理的なダイナミクスを理解するのを助けます。例えば、物体が移動したときや、物体が衝突したときに何が起こるかを予測することなどです。MetaのV-JEPA 2は、これらの原則を統合した最初のモデルです。生のビデオデータから直接学習します。これにより、ロボットは動的な物理的な相互作用に基づいて推論し、計画することができます。

V-JEPA 2の理解

V-JEPA 2は、MetaのFundamental AI Research (FAIR)チームによって作成された自己教師あり学習モデルです。伝統的なAIモデルがラベル付きデータを必要とするのに対し、V-JEPA 2はビデオシーケンスの欠落部分を予測することで、ラベルなしのビデオから学習します。これは、表現レベルの予測として知られています。各ピクセルに焦点を当てるのではなく、V-JEPA 2は、環境内の物体や行動の関係を捉える抽象的な表現で作業します。

モデルは、物理的なダイナミクスを理解するために設計されたMetaのJoint Embedding Predictive Architecture (JEPA)を基に構築されています。エンコーダと予測器の2つの主要なコンポーネントがあります。エンコーダは、生のビデオを処理して有用な表現を作成し、予測器はこれらの表現を使用して将来のイベントを予測します。V-JEPA 2は、1万時間以上のビデオでトレーニングされています。これにより、物理的な世界の複雑なパターンを学習することができます。ビデオから学習することで、モデルは将来の行動や相互作用を予測し、ロボットの計画と決定を改善することができます。

V-JEPA 2は、ロボットがゼロショット計画を実行できるようにします。これは、ロボットが事前にトレーニングなしに新しい環境でタスクを実行できることを意味します。代わりに、ロボットは、物体を拾ったり、新しい場所に配置したりするなどのタスクを、以前これらのタスクを見たことがなくても実行できます。これにより、V-JEPA 2は、アクションの予測とワールドモデリングにおいて重要な改善となり、ロボットは新しい状況に適応することができます。

モデルは、生のビデオデータから学習します。これにより、ロボットは将来のイベントを予測し、現実世界の状況でより有能になります。V-JEPA 2は、ロボットが計画し、タスクを実行するのを人間のようにするのを近づけています。Metaは、AIの進歩を加速するために、V-JEPA 2を研究コミュニティと共有しています。V-JEPA 2を使用するロボットは、動的な環境で動作し、迅速に適応し、タスクをより効率的に計画することができます。

V-JEPA 2の操作: 2段階のプロセス

V-JEPA 2は、2つの明確な段階で動作します。各段階により、モデルは生のビデオデータから学習し、実際のタスクで知識を適用して情報に基づいた決定を下すことができます。

ステージ 1: アクションフリーの表現学習

V-JEPA 2は、1万時間以上のビデオと100万枚の画像の大規模な事前トレーニングから始まります。モデルは、ビデオシーケンスの欠落部分を予測することで学習します。モデルは、ビデオを3Dチューブレットとして処理し、これらはモデルの主なトークンとして機能します。モデルは、Vision Transformer (ViT)アーキテクチャと3Dロータリーポジションエンベッディング (3D-RoPE)を使用して、空間的および時間的な情報をより効果的に捉えます。

エンコーダは、チューブレットを処理して、高次元の特徴ベクトルを作成します。これらのベクトルは、ビデオの空間的および時間的なダイナミクスを表します。モデルは、マスクノイズ削減オブジェクトを使用し、ビデオの大部分を隠します。モデルは、可視部分を使用して隠されたコンテンツを予測します。Exponential Moving Average (EMA)ターゲットエンコーダは、モデルが平凡な解決策を避け、安定した学習を保証するのに役立ちます。損失関数は、予測とEMAターゲットエンコーダの出力の間のL1距離を最小化し、ピクセルレベルの詳細ではなく、オブジェクトの永続性や運動などの高レベルの概念に焦点を当てています。

ステージ 2: アクション条件付き計画と制御

2番目のステージでは、モデルはアクション条件付きトレーニングに移行します。エンコーダの重みは凍結され、新しい予測器がロボットのインタラクションデータを使用してトレーニングされます。このデータには、ビデオ観測と対応する制御アクションが含まれます。通常、DROIDデータセット(約62時間のロボットデータ)から来ます。現在、モデルは、現在の状態と可能なアクションに基づいて環境の将来の状態を予測できます。

V-JEPA 2は、目標条件付きエネルギー最小化問題を設定します。モデルは、現在の観測と目標画像を特徴マップにエンコードし、予測器はこれらの表現を使用して将来のイベントを予測します。最適なアクションシーケンスは、予測された将来の状態と目標表現の間のL1距離を最小化することで見つかります。Cross-Entropy Method (CEM)は、トラジェクトリーオプティマイゼーションに使用されます。

最適なシーケンスの最初のアクションのみが実行され、プロセスは再帰的ホライズン制御ループで繰り返されます。これにより、リアルタイムの計画と適応が可能になります。3Dチューブレット処理を使用することで、V-JEPA 2は、空間的および時間的な依存関係を捉え、ロボットが複雑な環境で運動、物体の相互作用、行動の結果について推論することができます。これにより、タスク固有のデモンストレーションや報酬エンジニアリングが不要なゼロショット計画と制御が可能になります。

V-JEPA 2のロボティクスへの応用

V-JEPA 2は、ロボットが世界とやり取りする方法を変えています。多くの応用がまだ開発中ですが、モデルは制御された環境で強力な能力を示しています。

ピックアンドプレイス操作

実験室の環境では、V-JEPA 2は、ロボットが最小限のトレーニングでピックアンドプレイスタスクを実行できるようにしました。DROIDデータセットの62時間のデータのみを使用して、ロボットはさまざまな物体、剛性と可変形の両方を操作できます。これは、物体のサイズと複雑さが大きく異なるロジスティクス、製造、ホームロボティクスなどの分野で重要です。

動的環境でのナビゲーション

V-JEPA 2は、時間的ダイナミクスをモデル化できるため、動的な環境での移動に役立ちます。人、動物、または障害物が動いている環境で、ロボットは変化を予測し、経路を調整することができます。これは、安全性と効率性を確保するために、忙しい環境での重要な要素です。

人間ロボットインタラクション

人間の行動を予測することで学習するV-JEPA 2は、人間ロボットの共同作業を改善することができます。ロボットは、共有スペースでより自然に、より安全に応答することができます。病院、家、または産業の床などの共有スペースで、これは重要なステップです。

汎化とゼロショット計画

V-JEPA 2は、タスクや環境を超えて汎化することができます。ロボットは、新しい状況で学習した表現を使用して、追加のトレーニングを必要とせずにゼロショット計画を実行することができます。

リアルタイムの意思決定と効率

効率的な設計により、V-JEPA 2はリアルタイムの計画と制御をサポートします。Metaによると、V-JEPA 2は、NvidiaのCosmosモデルよりも約30倍高速です。これは、迅速な決定が必要なタスク、例えばロボットの操作や動的な環境でのナビゲーションに不可欠です。

実用的な課題と限界

V-JEPA 2は、自己教師あり学習とロボットの計画において重要な進歩を遂げましたが、広範囲に展開する前にまだ課題があります。以下は主な限界です：

視覚データのみへの依存

V-JEPA 2は、ビデオと画像のデータのみでトレーニングされています。これにより、視覚的なタスクには効果的ですが、タクティル操作や聴覚的ヒントなどの多感覚タスクの実行能力が制限されます。現実世界のロボットは、複数の感覚入力を依存しています。

カメラの位置と校正の感度

モデルは、モノラルRGB入力に依存しています。これは、ロボットのベースまたは参照フレームが見えていない場合、パフォーマンスが低下する可能性があります。カメラのセットアップの手動調整が必要になる場合があります。

長期的およびマルチステップ計画の限界

V-JEPA 2は、短期的なタスクではうまく機能しますが、長期的な計画では苦労します。予測におけるエラーの蓄積と、アクションスペースの拡大により、複雑なマルチステップ操作が困難になります。

高計算負荷

NvidiaのCosmosモデルよりも速いですが、V-JEPA 2には12億以上のパラメータがあります。これには、計算リソースが大量に必要です。これは、インフラストラクチャが限られている小規模な研究所や組織にとって、課題となる可能性があります。

構造化されていない環境での汎化

V-JEPA 2は、制御された設定ではうまく機能しますが、未知または構造化されていない環境では問題が発生する可能性があります。ピックアンドプレイスタスクの成功率は約80%ですが、エッジケースでは失敗する可能性があります。

完全なロボットスタックとの統合

有用であるためには、V-JEPA 2は、モーター制御器、リアルタイムセンサー、タスクプランナーと統合する必要があります。動的な環境でのスムーズな相互運用性を達成することは、課題です。

倫理的および偏りの考慮

すべての大規模モデルと同様に、V-JEPA 2は、トレーニングデータからの偏りを継承する可能性があります。特に人間のやり取りを伴う現実世界のアプリケーションでは、これらの偏りは予期せぬ結果につながる可能性があります。倫理的な監督は不可欠です。

まとめ

V-JEPA 2は、AIとロボティクスにおける重要な進歩を表しています。ロボットが物理的な世界を理解し、人間の行動のようにやり取りすることを可能にします。モデルは、アクションの予測、世界の理解、事前のトレーニングなしでの計画において強力なパフォーマンスを示していますが、まだいくつかの課題があります。

V-JEPA 2は、視覚データのみに依存し、多感覚タスク、長期的な計画、完全なロボットシステムとの統合には限界があります。しかし、リアルタイムの決定と適応能力により、複雑な現実世界の状況で非常に有用です。

Metaは、V-JEPA 2を改良し続けており、これはAIの進歩とロボットの知能化に貢献することになります。この進歩は、ヘルスケア、ロジスティクス、自動運転車などの業界にとって貴重なものになるでしょう。V-JEPA 2には、大きな潜在性があり、ロボティクスの未来において重要な役割を果たすことになります。