Хирургическая модель мира NVIDIA теперь работает в реальном времени на одном GPU

NVIDIA (NVDA ) выпустила хирургический симулятор, который генерирует операционное поле в реальном времени, достаточно быстро для того, чтобы хирург или обученная робототехническая политика могла управлять сценой во время ее создания. Модель, Cosmos-H-Dreams, работает со скоростью около 160 кадров в секунду на одном GPU RTX PRO 6000, что в 16 раз быстрее офлайн-модели, из которой она была получена, согласно собственным данным NVIDIA. Весы и код для обслуживания были опубликованы 23 июля 2026 года, и компания опубликовала технический анализ четыре дня спустя.

Подneath нет физического движка. Вместо создания тканей, швов и контакта инструментов вручную, модель учится визуальной динамике из парного хирургического видео и робототехнической кинематики, а затем предсказывает, что камера увидит дальше. Она принимает один начальный кадр плюс поток команд руки и генерирует следующий блок из 12 кадров, прежде чем принять следующую партию действий. Клиент браузера может управлять им с клавиатуры, гарнитура Meta Quest может сопоставить движение контроллера с робототехническими действиями, и обученная хирургическая политика может быть помещена в тот же цикл вместо человека. Та же самая класс модели принесла серьезные деньги в других местах отрасли, включая Odyssey’s $310 миллионов Series B для мировых моделей.

Как был куплен кадровая частота

Cosmos-H-Dreams – это дистиллированный студент более медленной модели. Учитель, Cosmos-H-Surgical-Simulator, построен на основе 2-миллиардного параметра модели видео Cosmos-Predict2.5 NVIDIA и производит хирургические развертывания в одном проходе после факта, что подходит для оценки записанной траектории, но не для управления ею. Студент был обучен продолжать генерировать историю из собственного генерированного прошлого, а не из чистой основной истины, процедуру, которую карта модели называет само-вынужденной дистилляцией, и он производит каждый латентный кадр в два-четыре шага денойзинга вместо многих шагов учителя. FlashDreams, библиотека потоковой инференции NVIDIA, покрывает остальное, удерживая кэш прошлых кадров и предварительно захватывая повторную работу GPU, так что аппаратное обеспечение не планирует ее заново на каждом шаге.

Выпущенный контрольная точка выполняет одну задачу: настольное шитье на наборе исследований da Vinci, физической платформе, которую академические лаборатории используют для разработки и тестирования хирургических политик. Она работает на разрешении 288×512 пикселей и принимает команды с эффективной частотой 10 Гц. Это задача на рабочем столе, а не на теле.

Смесь обучения, возможно, более интересна, чем кадровая частота. Вместе с успешными демонстрациями шитья и завязывания узлов из Johns Hopkins, NVIDIA намеренно сохранила эпизоды неудач и выхода из распределения: падения иглы, пропущенные броски, узлы, которые не держались. Своей заявленной причиной является то, что симулятор, предназначенный для оценки политик, должен воспроизводить последствия плохих действий, а не только идеальные демонстрации.

Versius подключается

NVIDIA говорит, что она работала с CMR Surgical и Cambridge Consultants, инженерной фирмой, принадлежащей Capgemini, для подключения модели к хирургическому контроллеру для платформы CMR Versius и запуска ее в реальном времени. CMR демонстрировала настройку хирургической аудитории на конференции по роботической хирургии во Флориде в конце июля 2026 года. У компании есть причина быть в этом цикле рано: NVIDIA заслугует в том, что она внесла почти 500 часов анонимных данных процедур Versius в набор данных Open-H Embodiment, на котором была предварительно обучена семья моделей, и CMR описывает себя как крупнейшего вкладчика в этот набор данных.

CMR также прямо заявляет, что это демонстрация не является. Сноска в ее выпуске гласит, что симуляция “используется только для исследований и демонстрационных целей”, не является частью системы Versius Plus, и не предназначена для принятия клинических решений или ухода за пациентами. Versius Plus сама по себе разрешена в США только для удаления желчного пузыря у взрослых, с применением гинекологии, находящимся на рассмотрении. Регуляторное разрешение на хирургическое оборудование все еще перемещается по процедурам, как робот Momentis’s Anovo показал, когда он получил разрешение FDA на многопортовую хирургию. NVIDIA проводит ту же линию в своем собственном посте: это платформа для исследований и разработки, а не диагностическая система и не контроллер для физического хирургического робота.

Агендa валидации

Модель является генеративной половиной Medical Physics Simulation framework NVIDIA, открытого 22 июля 2026 года в рамках стека Isaac для здравоохранения, где традиционные решатели обрабатывают контакт и трение, а обученная модель обрабатывает визуальную динамику сцены. Это та же позиция, которую NVIDIA заняла на заводском полу, поставляя слой симуляции, на котором другие поставщики строят продукты.

Пост NVIDIA говорит, что следующим шагом является оценка более чем визуального качества, и он предлагает семейство тестов в замкнутом цикле как меру того, достаточно ли быстрая версия точна, чтобы ей можно было доверять:

• точность досягаемости и положения инструмента
• верность и стабильность цикла захвата, когда инструменты простаивают
• дрейф во время длинных развертываний
• согласованность между симулированными и реальными результатами политики

Ближайший перечень доказательств исходит из предыдущей линии: статья 2025 года исследователей NVIDIA и Johns Hopkins сообщила о сильной корреляции между развертываниями в офлайн-хирургической модели и результатами политики на физической системе исследований da Vinci для задач сuture-pad, плюс предварительное совпадение на ex-vivo porcine gallbladder работе. Это была медленная двунаправленная модель, а не двухшаговый студент, и сам репозиторий отмечает, что более быстрый график стоит некоторой верности.

Получить доступ к нему стоит дешево по стандартам фронтовой модели. Весы имеют открытую лицензию модели NVIDIA и код для обслуживания имеет лицензию Apache 2.0, с репозиторием, запрашивающим GPU с 12 ГБ памяти, текущим драйвером и Linux. Нет технического отчета; ссылка репозитория на него указывает на файл-заполнитель. Видео-условленные робототехнические политики уже перемещаются на производственные линии, как мимик-робототехника FLUX-mimic на заводе Audi, но хирургия имеет более жесткий тест на прием. Для лабораторий, обучающих хирургические политики, вопрос, который имеет значение, заключается в том, предсказывает ли оценка, заработанная внутри этого симулятора, то, что рука делает на реальном сuture-pad. NVIDIA назвала этот бенчмарк, и его результаты – это то, на чем будет основано следующее доказательство.