NVIDIA 发布 Cosmos3-H-Dreams 实时手术世界模型

NVIDIA 于 2026 年 10 月 20 日发布 Cosmos3-H-Dreams。这是一款面向机器人手术、可实时运行并由动作条件驱动的生成式世界模型，基于 CMR Surgical Versius 系统的临床胆囊切除手术录像进行微调。模型检查点及配套代码也于同日发布。

NVIDIA 在 Hugging Face 上发布的公告中表示，据其所知，Cosmos3-H-Dreams 是首个基于临床胆囊切除手术录像训练、支持实时运动学控制的实时生成式手术模拟器。该模型由 Cosmos 3 提供支持，并通过 NVIDIA 的流式推理库 FlashDreams 加速。公告称，模型可在单块 NVIDIA RTX PRO 6000 GPU 上交互式运行。

模型卡列出的发布日期为 2026 年 10 月 20 日，GitHub 和 Hugging Face 上均为该日期；卡片还指出，该模型已可依据 NVIDIA Open Model License 用于商业或非商业用途。卡片列出的预期用途包括在仿真环境中评估手术机器人策略、交互式探索遥操作世界模型，以及为机器人胆囊切除术生成合成数据；目标用户包括手术机器人研究人员、医疗保健 AI 开发者、学术机构和手术机器人公司。

从桌面缝合到临床场景

Cosmos3-H-Dreams 是 Cosmos-H-Dreams 的后续版本。后者基于 Cosmos-Predict2.5 构建，面向 dVRK 桌面缝合任务。作为世界基础模型，早期系统直接从同步视频和机器人运动学数据中学习视觉动态，而非显式建模场景几何、组织形变和物理交互。新版本将这一方法拓展至临床场景：组织会在牵拉下伸展，反光会发生变化，结构可能被遮挡，烟雾会改变可见度；在长时间连续生成中，细小的生成误差还可能不断累积，逐渐改变器械几何形态或解剖结构。

架构与蒸馏流程

该模型以 Cosmos3-H-Embodied-Nano 为基础。后者是一个拥有 160 亿个参数、使用 Open-H-Embodiment 数据集训练的模型；在此基础上，研究团队使用经过筛选的胆囊切除手术视频和运动学数据，对双向教师模型进行了专门训练。Cosmos3-H-Dreams 本身约有 151.7 亿个参数，采用混合 Transformer 架构，将 Qwen3-VL-8B-Instruct 推理塔与潜在扩散生成专家结合起来，并基于 Wan2.2 VAE 潜变量运行，同时使用动作嵌入层进行运动学条件控制。

动作接口在每个时间步使用 28 个维度，每条机械臂占 14 个维度，涵盖相对于锚点的平移、6D 旋转、钳口位置、电外科能量激活、一个拇指杆按钮以及拇指杆轴。该接口是在 Versius 机器人配置原有的 20 个维度基础上扩展而来；预训练的姿态和钳口权重得以保留，新增控制输入则以零初始化。训练使用 832 × 480 分辨率的视频，动作数据按 10 Hz 对齐；公告特别指出，这一采样频率不同于运行时的生成吞吐量。

双向教师模型先针对未来 24 帧进行了微调，训练 2,000 次迭代；随后又针对 72 帧的预测跨度训练 4,400 次迭代。在 10 Hz 下，这两个预测跨度分别对应 2.4 秒和 7.2 秒。蒸馏过程中，研究团队通过因果教师强制训练，将使用 35 个采样步的 72 帧教师模型转化为分块因果学生模型，训练 1,000 次迭代；随后又针对固定教师模型，使用分布匹配蒸馏进行了 300 次 Self-Forcing 迭代。发布的学生模型通过键/值缓存以自回归方式生成视频，每个潜在帧使用 4 个去噪步；每个潜在帧接收 4 个未来动作向量（在 10 Hz 下对应 0.4 秒），并生成 4 个新视频帧，从而实现流式连续生成。

第二个发布检查点使用 2 个去噪步。NVIDIA 表示，这个两步模型是单独训练的，并非将四步模型减少采样步数后得到；去噪步数更少可以加快推理速度，但视觉质量会有所下降。流式生成通过 FlashDreams 运行，并采用经过调整的 FadeMem 模块，在长时间连续生成过程中整合不断增长的键/值缓存；该模块与 Self-Forcing 处理生成历史的机制相辅相成。

训练数据与留出评估

微调使用了 CMR Surgical 专有的 Versius 临床胆囊切除手术录像。这些录像来自 4,792 台手术，总计约 1,700 万帧，分辨率为 1080p，帧率为 60 Hz；随后数据被降采样至 10 Hz。手术过程中，外科医生通过遥操作控制机器人；动作标签由机器人遥测数据自动生成，器械的可见情况则由人工标注。

样本筛选仅保留符合以下条件的时间窗口：在历史窗口和未来窗口的每一行原生 60 Hz 数据中，始终恰有两件器械可见且处于操作状态。标准器械组合为左侧 Cadiere 抓钳和右侧单极电钩；此外，筛选还排除了摄像机主动控制指令超过固定阈值的窗口。训练集包含 64 段录像，视频总时长约 526 分钟（按唯一时长计）；其中，24 帧预测跨度包含 183,528 个窗口起点，蒸馏所用的 72 帧预测跨度则涵盖约 436 分钟视频、共 106,820 个窗口起点。数据按手术 episode 划分，约 98% 的唯一时长用于训练，约 2% 留作评估。

留出验证集涵盖了来自 10 段录制视频、时长约 10.6 分钟的内容，约有 6,400 帧，帧率为 10 Hz。根据这些录制内容选取的固定评估组各包含 48 个画质案例和 12 个动作控制案例，并补充了工具旋转角度为中性、±5°和±15°时的旋转探测，以及用于视觉审查的 30.4 秒连续推演。模型卡将内容描述为临床手术中对人类患者进行的腹腔内窥镜视频和机器人遥测数据，画面展示解剖结构和手术器械，而非面部或其他可识别身份的视角；内容不含音频或文本。

性能、许可与代码

模型卡报告称，在 RTX PRO 6000 Blackwell Workstation Edition 上，以 832 x 480 分辨率运行、采用四个扩散步骤时，性能为每秒 30.0 帧；采用两个步骤时为 43.2 FPS。Max-Q 版的性能分别为 20.2 和 31.2 FPS；DGX Spark 在降低至 512 x 288 分辨率时为 16.9 FPS。模型已在单台 RTX PRO 6000 和 DGX Spark 上通过实时交互式服务验证，也可运行于 Hopper H100。支持的微架构为 NVIDIA Blackwell 和 Hopper，支持的操作系统为 Linux；训练和原生推理采用 BF16 混合精度，权重则以 FP32 格式导出。

配套的 GitHub 代码库采用 Apache-2.0 许可，支持将录制的动作回放并输出为 MP4，也支持通过带有两个追踪控制器的 WebXR 兼容头显进行实时控制。代码库列出的系统要求包括配备支持 CUDA 的 GPU 的 Linux 系统、Python 3.12、uv 包管理器，以及在默认 480 x 832 配置下超过 32GB 的显存。

NVIDIA 还发布了教师模型微调和 Self-Forcing 蒸馏的分步操作指南，使开发者能够借助同步视频和兼容的动作表示，将系统适配到其他数据集和具身形态；公告指出，控制器集成必须采用与训练相同的动作约定和归一化方式。模型卡的伦理考量部分指出，开发者必须持有输入图像和视频内容的适当权利与许可；生成的视频不会对输入中包含的人物或个人健康信息进行模糊处理。

声明的局限性与研究方向

NVIDIA 指出，视觉逼真度是验证工作的起点，而非生物力学准确性的证明；如果看似合理的推演忽略控制指令，就无法充当交互式环境。公告列出的研究方向包括：对完整胆囊切除术流程建模，并明确任务边界和成功标准；将生成式仿真与数值仿真相结合；邀请外科医生参与评估；支持更多手术器械；以及开发与模型闭环耦合的自主手术策略。NVIDIA 将这些内容定位为研究方向，而非已确立的临床能力，并表示 Cosmos3-H-Dreams 是一款研究模拟器，并非经过验证、可用于患者护理的系统。