NVIDIA、リアルタイム外科手術ワールドモデル「Cosmos3-H-Dreams」を公開

NVIDIAは2026年10月20日、CMR SurgicalのVersiusシステムによる臨床的な胆嚢摘出術の録画映像を用いてファインチューニングした、ロボット手術向けのリアルタイムな行動条件付き生成ワールドモデル「Cosmos3-H-Dreams」を公開した。モデルのチェックポイントと付属コードも同日に公開された。

NVIDIAがHugging Face上で公開した発表によると、同社の知る限り、Cosmos3-H-Dreamsは、臨床的な胆嚢摘出術の録画映像を用いて学習され、ライブの運動学的制御に対応した初のリアルタイム生成外科手術シミュレーターだという。Cosmos 3を基盤とし、NVIDIAのストリーミング推論ライブラリFlashDreamsで高速化されたこのモデルは、単一のNVIDIA RTX PRO 6000 GPU上で対話的に動作すると、発表では説明されている。

モデルカードには、GitHubとHugging Faceの両方での公開日として2026年10月20日が記載されており、NVIDIA Open Model Licenseの下で商用・非商用を問わず利用できるとされている。また、想定用途として、シミュレーション環境での手術ロボット制御ポリシーの評価、遠隔操作による対話型のワールドモデル探索、ロボットによる胆嚢摘出術向けの合成データ生成を挙げている。対象は、手術ロボットの研究者、医療AI開発者、学術機関、手術ロボット企業だ。

卓上縫合から臨床現場へ

Cosmos3-H-Dreamsは、dVRKによる卓上縫合を対象とした、Cosmos-Predict2.5を基盤とするモデルCosmos-H-Dreamsの後継にあたる。ワールド基盤モデルである旧モデルは、シーンの幾何形状、組織の変形、物理的な相互作用を明示的にモデル化するのではなく、同期された映像とロボットの運動学データから視覚的な動態を直接学習していた。今回のモデルは、このアプローチを臨床現場へと広げた。臨床現場では、牽引によって組織が伸び、反射の状態が変わり、構造物が隠れ、煙によって視認性が変化する。また、長時間のロールアウトでは小さな生成誤差が積み重なり、器具の形状や解剖学的構造が徐々に変化する可能性がある。

アーキテクチャと蒸留パイプライン

このモデルは、Open-H-Embodimentデータセットで学習した160億パラメータのモデルCosmos3-H-Embodied-Nanoを基盤とし、厳選した胆嚢摘出術の映像と運動学データを用いて双方向型の教師モデルを特化させている。Cosmos3-H-Dreams自体は約151億7,000万パラメータを持ち、Qwen3-VL-8B-Instructの推論タワーと潜在拡散型の生成エキスパートを組み合わせたMixture-of-Transformersアーキテクチャを採用している。Wan2.2 VAEの潜在表現を処理し、運動学的条件付けには行動埋め込み層を用いる。

行動インターフェースは各時間ステップで28次元を使用し、各アームの14次元には、アンカー基準の並進、6次元回転、ジョーの位置、電気外科エネルギーの作動、サムスティックのボタン、サムスティックの軸が含まれる。このインターフェースは、Versiusのロボット構成向けに20次元から拡張された。事前学習済みの姿勢とジョーの重みは維持し、新たな制御入力はゼロで初期化した。学習には832 x 480の映像を用い、行動データを10 Hzで同期させている。発表によると、このサンプリングレートは実行時の生成スループットとは異なる。

双方向型の教師モデルは、まず将来の24フレームを対象に2,000回反復してファインチューニングされ、続いて72フレームの予測期間で4,400回反復して調整された。これは10 Hzでそれぞれ2.4秒、7.2秒に相当する。蒸留では、サンプリングステップ数が35回の72フレーム教師モデルを、因果的な教師強制を1,000回反復することでブロック因果型の生徒モデルに変換し、その後、固定された教師モデルを基準に分布マッチング蒸留を行うSelf-Forcingを300回反復した。公開された生徒モデルは、キー／バリューキャッシュを用いた自己回帰方式で映像を生成し、潜在フレームごとに4回のノイズ除去を行う。各潜在フレームは将来の行動ベクトルを4つ（10 Hzで0.4秒分）取り込み、新たな映像フレームを4つ生成するため、ストリーミング形式のロールアウトが可能になる。

2つ目の公開チェックポイントでは、ノイズ除去ステップ数が2回となっている。NVIDIAによると、この2ステップモデルは、4ステップモデルのサンプリングステップを減らしたものではなく、別途学習されたモデルだという。また、ノイズ除去ステップ数を減らすと、視覚的な品質が低下する代わりに推論が高速化する。ストリーミング処理にはFlashDreamsを用い、長時間のロールアウト中に増大するキー／バリューキャッシュを統合するよう改変したFadeMemモジュールを組み合わせている。これは、生成履歴の処理を担うSelf-Forcingを補完する。

学習データと評価用保留データ

ファインチューニングには、CMR SurgicalのVersiusによる臨床的な胆嚢摘出術の非公開録画データを使用した。このデータは4,792件の手術エピソードからなり、60 Hz、1080p解像度で合計約1,700万フレームに及ぶ。データは10 Hzに間引かれた。手術中、外科医はロボットを遠隔操作していた。行動ラベルはロボットのテレメトリから自動的に生成され、器具の視認性は手動でラベル付けされた。

サンプル選定では、履歴ウィンドウと将来ウィンドウのそれぞれについて、ネイティブの60 Hzの全行で器具がちょうど2つ視認でき、操作に使用されているウィンドウだけを残した。標準的な組み合わせは、左側のCadiere把持鉗子と右側の単極フックであり、固定しきい値を超えるカメラ操作が実行中のウィンドウは除外した。学習セットは64件の録画データで構成され、動画のユニークな長さは約526分だった。蒸留に使用した24フレーム予測期間ではウィンドウ開始位置が183,528件、72フレーム予測期間では約436分の動画に対して開始位置が106,820件だった。録画データは手術エピソード単位で分割し、ユニークな動画時間の約98％を学習に使用し、約2％を保留した。

保留データによる検証では、10件の録画から約10.6分、10 Hzで約6,400フレームを対象としている。これらの録画から抽出した固定評価パネルには、それぞれ品質評価のケースが48件、動作制御のケースが12件含まれ、さらに、ツールの回転角を中立位置、±5°、±15°とした回転プローブと、目視確認用の30.4秒間の連続ロールアウトが用いられている。モデルカードによると、データには、人間の患者を対象とした臨床手技における腹腔内の内視鏡映像とロボットのテレメトリーが含まれ、顔やその他の個人を特定できる映像ではなく、解剖学的構造と手術器具が映っている。音声やテキストは含まれていない。

性能、ライセンス、コード

モデルカードによると、RTX PRO 6000 Blackwell Workstation Editionでは、832 x 480の解像度で拡散ステップ数が4の場合に30.0フレーム/秒、2の場合に43.2 FPSを達成する。Max-Q Editionではそれぞれ20.2 FPS、31.2 FPSで、DGX Sparkでは512 x 288に解像度を下げた場合に16.9 FPSとなる。単一のRTX PRO 6000およびDGX Sparkで、リアルタイムのインタラクティブなサービングが検証されており、モデルはHopper H100でも動作する。対応するマイクロアーキテクチャはNVIDIA BlackwellとHopperで、対応OSはLinux。学習とネイティブ推論にはBF16混合精度が使用され、重みはFP32としてエクスポートされている。

付属のGitHubリポジトリはApache-2.0ライセンスで公開されており、記録済みの動作をMP4に出力する再生機能に加え、WebXR対応ヘッドセットと2台のトラッキングコントローラーによるライブ制御をサポートする。リポジトリに記載されたシステム要件には、CUDA対応GPUを搭載したLinux環境、Python 3.12、uvパッケージマネージャー、およびデフォルトの480 x 832設定で32GBを超えるVRAMが含まれる。

NVIDIAは、開発者が同期された映像と互換性のある動作表現を用いて、システムを他のデータセットや実施形態に適応させられるよう、教師ありファインチューニングとSelf-Forcing蒸留の手順を段階的に説明したレシピも公開した。発表によると、コントローラーを統合する際は、学習時と同じ動作規約および正規化を使用する必要がある。モデルカードの倫理的考慮事項には、入力する画像および映像コンテンツについて、開発者が適切な権利と許可を得なければならないこと、また、入力に含まれる人物や個人の健康情報が生成映像でぼかされることはないと記載されている。

明示された制約と研究の方向性

NVIDIAは、視覚的なリアリズムは検証の出発点であり、生体力学的な正確さを証明するものではないと述べている。また、制御指令を無視する、もっともらしく見えるロールアウトは、インタラクティブな環境として機能しないとしている。発表では、明確なタスク境界と成功基準を定めた胆嚢摘出術全体のモデリング、生成シミュレーションと数値シミュレーションの連携、外科医による評価、より多くの器具への対応、モデルと連携する自律型手術ポリシーの閉ループ開発などが研究の方向性として挙げられている。NVIDIAは、これらを確立済みの臨床能力ではなく研究の方向性と位置づけ、Cosmos3-H-Dreamsは研究用シミュレーターであり、患者の治療に用いるための検証済みシステムではないと述べている。