NVIDIAの手術用ワールドモデルが1つのGPUでライブ実行されるようになった

NVIDIA (NVDA ) は、リアルタイムで手術フィールドを生成する手術シミュレーターをリリースしました。モデルは、Cosmos-H-Dreams と呼ばれ、約160フレーム/秒でシミュレーションを実行することができます。これは、約10フレーム/秒で実行されていたオフラインモデルからの大幅な向上です。NVIDIAによると、モデルの重みとサービングコードは2026年7月23日に公開され、技術的な解説は4日後に公開されました。

このモデルには物理エンジンはありません。代わりに、手術ビデオとロボットの動きから視覚的なダイナミクスを学習し、次にカメラが見る次のシーンを予測します。初期フレームとアームコマンドのライブストリームから、12フレームのブロックを生成し、次のアクションのバッチを消費します。ブラウザクライアントはキーボードからモデルを駆動でき、Meta Questヘッドセットはトラッキングコントローラーの動きをロボットのアクションにマッピングできます。同様のモデルは、Odysseyの3.1億ドルのシリーズB など、業界で大きな収益を上げています。

フレームレートがどのように購入されたか

Cosmos-H-Dreamsは、より遅いモデルの精製された学生です。教師モデルは、NVIDIAの2億パラメータのCosmos-Predict2.5ビデオモデルをベースにしており、事後的に手術のロールアウトを1回で生成しますが、記録されたトラジェクトリのスコアリングには適していますが、トラジェクトリの駆動には適していません。学生モデルは、クリーングラウンドトゥルースではなく、自身の生成された履歴から続行するようにトレーニングされており、モデルカードでは自己強制蒸留と呼ばれています。また、各潜在的なフレームを2〜4つのノイズ除去ステップで生成します。NVIDIAのFlashDreamsライブラリは、過去のフレームのローリングキャッシュを保持し、繰り返されるGPUワークを事前にキャプチャすることで、残りの部分をカバーします。

リリースされたチェックポイントは、1つのジョブを実行します。ジョンズホプキンス大学での縫合と結び目のデモンストレーションに加えて、NVIDIAは故意に失敗と分布外のエピソード、たとえば、針のドロップ、ミスした投げ、結び目が保持されないものを保持しました。理由は、ポリシーをスコアするためのシミュレーターは、理想的なデモンストレーションのみではなく、不適切なアクションの結果を再現する必要があるためです。

Versiusが接続される

NVIDIAは、CMR SurgicalとCambridge Consultants、Capgeminiが所有するエンジニアリング会社と協力して、モデルをCMRのVersiusプラットフォームの外科医コントローラーに接続し、ライブで実行したと述べています。CMRは、2026年7月下旬のフロリダ州のロボット外科会議で外科医の聴衆にセットアップをデモンストレーションしました。CMRは、Open-H Embodimentデータセットに約500時間の匿名化されたVersius手順データを提供したと述べており、NVIDIAのモデルファミリーはこのデータセットで事前にトレーニングされています。

CMRは、デモンストレーションが何でないかについても明確です。リリースの脚注には、シミュレーションは「研究およびデモンストレーションのみ」であり、承認されたVersius Plusシステムの一部ではなく、臨床上の意思決定または患者ケアのために使用されないと記載されています。Versius Plus自体は、米国では成人に対する胆嚢切除のみに承認されており、婦人科アプリケーションは保留中です。外科用ハードウェアの規制承認は、MomentisのAnovoロボットがマルチポート手術に対してFDAの承認を取得したように、手順ごとに進んでいます。NVIDIAも同様の線引きをしています。このプラットフォームは、診断システムでも、物理的な外科用ロボットのコントローラーでもありません。

検証アジェンダ

モデルは、NVIDIAが2026年7月22日にIsaac for Healthcareスタック内でオープンソース化したMedical Physics Simulation frameworkの生成的な半分です。ここでは、従来のソルバーが接触と摩擦を処理し、学習済みモデルが視覚的なシーンのダイナミクスを処理します。NVIDIAは工場の床でも同様の立場を取り、シミュレーション層を提供し、他のベンダーが製品を構築しています。

NVIDIAの投稿によると、次のステップは視覚的な品質以上の評価であり、クローズドループテストのファミリーを提案しています。これは、高速バージョンが信頼できるかどうかの尺度です。

• ツールチップのリーチとポーズの精度
• グリッパーサイクルの忠実度と安定性（アイドル時のインストルメント時）
• ロングロールアウトでのドリフト
• シミュレートされたポリシー結果と実際のポリシー結果の一致

これまでのところ、最も近い転送証拠は、以前の系譜から来ています。2025年の論文では、NVIDIAとジョンズホプキンス大学の研究者は、オフラインの手術モデルと物理的なda Vinci研究システムのポリシー結果との間で強い相関関係を報告しました。ただし、リポジトリ自身は、高速なスケジュールは忠実度を損なうと記載しています。

モデルにアクセスするのは、フロンティアモデルとしては比較的安価です。重みはNVIDIAのオープンモデルライセンスを持ち、サービングコードはApache 2.0ライセンスです。リポジトリでは、12 GBのメモリを持つGPU、最新のドライバー、Linuxが必要です。技術報告書はまだありません。リポジトリのリンクはプレースホルダーファイルを指しています。ビデオ条件付きロボットポリシーはすでに生産ラインに移行しており、mimic roboticsのFLUX-mimicがアウディの工場で使用されているように、しかし、手術にはより厳格な受け入れテストが必要です。手術ポリシーをトレーニングする研究室にとって、シミュレーター内で得られたスコアが実際の縫合パッドでのアームの動きを予測するかどうかが重要です。NVIDIAはこのベンチマークを命名しており、次のラウンドの証拠はその結果に基づいています。 an Audi plant, but surgery has a harder acceptance test. For the labs training surgical policies, the question that matters is whether a score earned inside this simulator predicts what the arm does on a real suture pad. NVIDIA has named that benchmark, and its results are what the next round of evidence will turn on.