NVIDIA 的外科手术世界模型现在可以在一块 GPU 上实时运行

NVIDIA (NVDA ) 已经发布了一个外科手术模拟器，可以实时生成手术现场，速度足够快，让外科医生或训练有素的机器人政策可以控制场景的发展。这个模型，Cosmos-H-Dreams，在单个 RTX PRO 6000 GPU 上可以达到大约 160 帧每秒的速度，比起它从中提取的离线模型的每秒 10 帧有了显著的提高，根据 NVIDIA 自己的数据。模型的权重和服务代码于 2026 年 7 月 23 日发布，公司在四天后发布了技术细节。

这个模型下面没有物理引擎。相反，模型从外科手术视频和机器人运动学中学习视觉动态，然后预测相机下一步会看到什么。它需要一个初始帧和一串实时的臂部命令，然后生成接下来的 12 帧，之后再消耗下一批动作。浏览器客户端可以从键盘驱动它，Meta Quest 头显可以将跟踪控制器运动映射到机器人动作，训练有素的外科手术政策也可以代替人类放入同样的循环中。同类模型在其他领域也获得了大量资金，包括 Odyssey 的 3.1 亿美元 B 轮融资，用于开发 AI 世界模型。

如何获得帧率

Cosmos-H-Dreams 是一个从更慢的模型中提取的学生模型。老师，Cosmos-H-Surgical-Simulator，是建立在 NVIDIA 的 20 亿参数 Cosmos-Predict2.5 视频模型之上的，能够在事后一次性生成外科手术模拟，这适合评分记录轨迹，但不适合驱动轨迹。学生模型被训练为从自己的生成历史中继续，而不是从干净的真实数据开始，这个过程被 模型卡 称为自强化提取，并且它在 2 到 4 个去噪步中生成每个潜在帧，而不是老师模型的多步。 FlashDreams，NVIDIA 的流式推理库，通过保持过去帧的滚动缓存和预捕获重复的 GPU 工作来完成其余的工作，这样硬件就不需要在每一步都重新规划。

发布的检查点只做一件事：在 da Vinci 研究套件上进行桌面缝合，这是一个物理平台，学术实验室用来开发和测试外科手术政策。它以 288×512 像素运行，并以每秒 10 Hz 的有效速度接受命令。这是一个工作台任务，而不是身体任务。

训练混合更有趣，也许比帧率更有趣。除了约翰霍普金斯大学的成功缝合和打结示范，NVIDIA 故意保留了失败和离群值的示范：掉落的针，未完成的投掷，无法持久的结。其公开理由是，一个旨在评分政策的模拟器必须能够复制糟糕动作的后果，而不仅仅是理想的示范。

Versius 得到连接

NVIDIA 表示，他们与 CMR 外科和剑桥顾问（Capgemini 拥有的工程公司）合作，将模型连接到 CMR 的 Versius 平台的外科手术控制器，并实时运行。CMR 展示了这个设置，向外科手术观众展示，在 2026 年 7 月底的机器人外科手术会议上。该公司有理由早期参与这个循环：NVIDIA 表示，CMR 贡献了几乎 500 小时的匿名 Versius 程序数据到 Open-H Embodiment 数据集，这个模型家族是在这个数据集上预训练的，CMR 将自己描述为这个数据集的最大贡献者。

CMR 也明确表示，这个演示不是什么。他们的发布注释中指出，这个模拟“仅用于研究和演示目的”，不是经过批准的 Versius Plus 系统的一部分，也不用于临床决策或患者护理。Versius Plus 本身在美国仅获得批准用于成人胆囊切除手术，妇科应用正在等待批准。外科硬件的监管批准仍然是逐步进行的，就像 Momentis 的 Anovo 机器人 获得美国多端口手术批准一样。NVIDIA 也在自己的帖子中划定了同样的界限：这是一个研究和开发平台，而不是诊断系统，也不是物理外科手术机器人的控制器。

验证议程

这个模型是 NVIDIA 在其医疗保健栈中的 医疗物理模拟框架 的生成半部分，NVIDIA 于 2026 年 7 月 22 日开源，这个框架使用传统求解器处理接触和摩擦，而学习模型处理视觉场景动态。NVIDIA 在工厂车间采取了同样的立场，提供模拟层，其他供应商在此基础上构建产品。

NVIDIA 的帖子指出，下一步是评估超过视觉质量，并提出了一个闭环测试家族作为衡量快速版本是否准确可靠的标准：

• 工具提示到达和姿势准确性
• 夹持器周期保真度和稳定性，当仪器空闲时
• 长时间滚动漂移
• 模拟和真实政策结果的一致性

迄今为止最接近的转移证据来自早期血统：2025 年由 NVIDIA 和约翰霍普金斯研究人员发表的论文报告了在物理 da Vinci 研究系统上的缝合垫任务中，离线外科手术模型的滚动和政策结果之间存在强相关性，以及在体外猪胆囊工作上的初步对齐。那个是慢速双向模型，而不是两步学生模型，存储库本身指出更快的时间表会损失一些保真度。

获取它的成本在前沿模型标准下是很低的。权重带有 NVIDIA 的开放模型许可，服务代码 是 Apache 2.0 许可，存储库要求一个具有 12 GB 内存的 GPU、当前驱动程序和 Linux。目前还没有技术报告；存储库指向技术报告的链接指向一个占位文件。视频条件机器人政策已经开始应用于生产线，如 mimic 机器人公司的 FLUX-mimic 在奥迪工厂，但外科手术有更严格的接受标准。对于训练外科手术政策的实验室来说，重要的问题是这个模拟器内部获得的评分是否能预测真实缝合垫上的手臂动作。NVIDIA 已经命名了这个基准，他们的结果将决定下一轮证据的走向。