NVIDIA Cosmos：物理AIをシミュレーションで強化

物理AIシステムの開発、例えば工場のロボットや自動運転車の開発には、多大な量の高品質のデータセットが必要です。しかし、実世界のデータを収集することは、高額で時間がかかり、また、大手テクノロジー企業に限定されることが多いです。NVIDIAのCosmosプラットフォームは、物理シミュレーションを使用してリアルな合成データを生成することで、この課題に対処します。これにより、エンジニアは実世界のデータを収集することなくAIモデルをトレーニングできます。この記事では、Cosmosがトレーニングデータへのアクセスを改善し、安全で信頼性の高いAIを実世界のアプリケーションに迅速に開発する方法について説明します。

物理AIの理解

物理AIとは、物理世界を認識、理解、操作できる人工知能システムを指します。従来のAIと異なり、物理AIは空間関係、物理法則、ダイナミックな環境などの実世界の複雑さに対処する必要があります。例えば、自動運転車は歩行者を認識し、動きを予測し、リアルタイムで経路を調整する必要があります。また、倉庫内のロボットは障害物を回避し、物体を精密に操作する必要があります。
物理AIの開発は、多様な実世界のシナリオにモデルをトレーニングするために大量のデータが必要なため、課題があります。このデータを収集することは、運転映像やロボットタスクのデモの場合と同様に、時間がかかり、高額になる可能性があります。また、AIを実世界でテストすることは、ミスが事故につながる可能性があるため、リスクがあります。NVIDIA (NVDA ) Cosmosは、物理シミュレーションを使用してリアルな合成データを生成することで、これらの課題に対処します。

ワールドファウンデーションモデルとは

NVIDIA Cosmosの核心は、ワールドファウンデーションモデル（WFMs）と呼ばれるAIモデルのコレクションです。これらのAIモデルは、物理世界をシミュレートする仮想環境を生成するように設計されています。物理法則に基づいてオブジェクトが相互作用するシナリオやビデオを生成することで、WFMsは物理的な世界をシミュレートします。例えば、WFMsは雨天での車の運転シミュレーションを生成し、水がトラクションに与える影響や、ヘッドライトが濡れた表面に反射する様子を示すことができます。
WFMsは物理AIのために不可欠です。開発者は、実世界のデータを収集するのではなく、WFMsを使用して合成データを生成できます。これにより、コストが削減され、開発プロセスが加速され、リスクのない安全な環境で複雑なシナリオをテストできます。WFMsは、特定のアプリケーションに適合させることができる汎用モデルです。

NVIDIA Cosmosの紹介

NVIDIA Cosmosは、開発者が物理AIアプリケーション、特に自動運転車（AV）やロボティクス向けのWFMsを構築およびカスタマイズできるプラットフォームです。Cosmosは、AIシステムが物理世界と相互作用できるように、先進的な生成モデル、データ処理ツール、セーフティ機能を統合しています。プラットフォームはオープンソースで、モデルは寛容なライセンスの下で利用可能です。
プラットフォームの主なコンポーネントには、次のものがあります：

• 生成ワールドファウンデーションモデル（WFMs）：物理環境と相互作用をシミュレートする事前トレーニング済みモデル。
• 高度なトークナイザー：データを効率的に圧縮および処理するツールで、モデルトレーニングを高速化します。
• 加速データ処理パイプライン：大規模なデータセットを処理するシステムで、NVIDIAのコンピューティングインフラストラクチャによって動作します。

Cosmosの新しい機能の1つは、物理AIの推論モデルです。このモデルにより、開発者は仮想世界を作成および変更できます。特定のニーズに合わせてシミュレーションをカスタマイズできます。例えば、ロボットが物体を拾う能力をテストしたり、AVが突然の障害物に対する反応を評価したりできます。

NVIDIA Cosmosの主な機能

NVIDIA Cosmosは、物理AI開発の特定の課題に対処するために、さまざまなコンポーネントを提供します：

• Cosmos Transfer WFMs：構造化されたビデオ入力（セグメンテーションマップ、深度マップ、LiDARスキャンなど）を受け取り、制御可能なフォトリアリスティックビデオ出力を生成します。これは、AVが物体を識別したり、ロボットが周囲を認識したりするために、合成データを生成するために特に役立ちます。
• Cosmos Predict WFMs：Cosmos Predictモデルは、テキスト、画像、ビデオなどのマルチモーダル入力に基づいて仮想世界の状態を生成します。シナリオの将来の状態を予測し、複雑なシーケンスのマルチフレーム生成をサポートします。開発者は、NVIDIAの物理AIデータセットを使用して、これらのモデルを特定のニーズ（例：歩行者の動きの予測やロボットのアクション）に合わせてカスタマイズできます。
• Cosmos Reason WFM：Cosmos Reasonモデルは、完全にカスタマイズ可能なWFMで、空間時間的認識能力を備えています。推論能力により、空間関係と時間の経過を理解できます。モデルは、ビデオデータを分析し、結果を予測するために、思考の連鎖的推論を使用します。例えば、人が横断歩道に踏み出すか、箱が棚から落ちるかを予測できます。

アプリケーションとユースケース

NVIDIA Cosmosは、業界に大きな影響を与えています。いくつかの主要企業が、物理AIプロジェクトでこのプラットフォームを採用しています。これらの初期の採用は、さまざまな分野でCosmosの汎用性と実用性を強調しています：

• 1X：Cosmosを使用して、AI駆動のロボットの開発能力を向上させています。
• Agility Robotics：NVIDIAとのパートナーシップを強化し、Cosmosを使用してヒューマノイドロボットシステムを開発しています。
• Figure AI：Cosmosを使用して、ヒューマノイドロボットを向上させ、複雑なタスクを実行できるAIを開発しています。
• Foretellix：自動運転車のシミュレーションでCosmosを適用し、幅広いテストシナリオを生成しています。
• Skild AI：Cosmosを使用して、さまざまなアプリケーション向けのAI駆動ソリューションを開発しています。
• Uber：自動運転車の開発でCosmosを統合し、セルフドライビングシステムのトレーニングデータを改善しています。
• Oxa：Cosmosを使用して、産業用モビリティの自動化を加速しています。
• Virtual Incision：Cosmosを外科用ロボットに適用し、医療における精度を向上させています。

これらのユースケースは、Cosmosが輸送から医療まで、幅広いニーズに対応し、物理AIシステムのトレーニングに合成データを提供する方法を示しています。

将来の影響

NVIDIA Cosmosの導入は、物理AIシステムの開発において重要です。オープンソースのプラットフォームで強力なツールとモデルを提供することで、NVIDIAは物理AIの開発をより幅広い開発者や組織に開放しています。これにより、自動運転、ロボティクス、医療などの分野で大きな進歩が期待されます。

まとめ

NVIDIA Cosmosは物理AIの開発において重要な役割を果たしています。このプラットフォームでは、事前トレーニング済みの物理ベースのワールドファウンデーションモデル（WFMs）を提供し、リアルなシミュレーションを生成します。オープンソースで、先進的な機能とセーフティ機能を備えたCosmosは、より迅速で効率的なAIの開発を可能にします。プラットフォームはすでに、輸送、ロボティクス、医療などの業界で大きな進歩を促しています。物理世界と相互作用する知能システムを構築するための合成データを提供することで、Cosmosは物理AIの将来を形作っています。