NVIDIA выпускает Cosmos3-H-Dreams — модель мира для хирургии в реальном времени

20 октября 2026 года NVIDIA выпустила Cosmos3-H-Dreams — генеративную модель мира для роботизированной хирургии, работающую в реальном времени и управляемую действиями. Модель дообучена на клинических записях операций по удалению желчного пузыря, выполненных с помощью системы CMR Surgical Versius. Контрольную версию модели и сопутствующий код опубликовали в тот же день.

В объявлении, опубликованном NVIDIA на Hugging Face, компания заявила, что, насколько ей известно, Cosmos3-H-Dreams — первый генеративный хирургический симулятор реального времени, обученный на клинических записях операций по удалению желчного пузыря и поддерживающий управление кинематикой в реальном времени. По данным объявления, модель, основанная на Cosmos 3 и ускоренная с помощью FlashDreams — библиотеки NVIDIA для потокового инференса, — работает в интерактивном режиме на одном графическом процессоре NVIDIA RTX PRO 6000.

В карточке модели указаны даты выпуска — 20 октября 2026 года — на GitHub и Hugging Face. Там также сказано, что модель готова к коммерческому и некоммерческому использованию в соответствии с лицензией NVIDIA Open Model License. В числе предусмотренных вариантов применения названы оценка политик управления хирургическими роботами в симуляции, интерактивное исследование моделей мира с телеуправлением и генерация синтетических данных для роботизированного удаления желчного пузыря. Модель предназначена для исследователей в области хирургической робототехники, разработчиков ИИ для здравоохранения, академических учреждений и компаний, работающих в сфере хирургической робототехники.

От шитья на настольном симуляторе к клиническим условиям

Cosmos3-H-Dreams пришла на смену Cosmos-H-Dreams — модели на базе Cosmos-Predict2.5, предназначенной для отработки шитья на настольном симуляторе dVRK. В качестве фундаментальной модели мира ее предшественница училась воспроизводить визуальную динамику непосредственно по синхронизированным видеозаписям и кинематике робота, а не моделировала явно геометрию сцены, деформацию тканей и физические взаимодействия. В новой версии этот подход применяется в клинических условиях, где ткани растягиваются под натяжением, меняются отражения, одни структуры заслоняют другие, а дым ухудшает видимость; небольшие ошибки генерации могут накапливаться при длительном воспроизведении и постепенно менять геометрию инструментов или анатомических структур.

Архитектура и этапы дистилляции

Модель создана на основе Cosmos3-H-Embodied-Nano — модели с 16 млрд параметров, обученной на наборе данных Open-H-Embodiment, — и специализирует двунаправленную модель-учитель на тщательно отобранных видеозаписях операций по удалению желчного пузыря и данных о кинематике. Сама Cosmos3-H-Dreams насчитывает около 15,17 млрд параметров и использует архитектуру смеси трансформеров, объединяющую вычислительный блок для рассуждений Qwen3-VL-8B-Instruct с экспертом по генерации на основе латентной диффузии. Модель работает с латентными представлениями Wan2.2 VAE и использует слои внедрения действий для управления кинематикой.

Интерфейс действий использует 28 измерений на временной шаг: по 14 измерений на каждую руку, включающих перемещение относительно опорной точки, 6D-вращение, положение губок, активацию электрохирургической энергии, кнопку стика и оси стика. Интерфейс для воплощения Versius расширили с 20 до 28 измерений; предварительно обученные веса для положения и губок сохранили, а веса новых входов управления инициализировали нулями. Для обучения используются видео с разрешением 832 x 480, действия синхронизированы с частотой 10 Гц. В объявлении отмечается, что эта частота дискретизации не равна скорости генерации во время работы модели.

Сначала двунаправленную модель-учитель дообучали на 24 будущих кадрах в течение 2 000 итераций, затем — на горизонте в 72 кадра в течение 4 400 итераций; при частоте 10 Гц это соответствует 2,4 и 7,2 секунды. В ходе дистилляции модель-учитель с горизонтом в 72 кадра, использовавшая 35 шагов выборки, преобразовали в студенческую модель с блочно-каузальной архитектурой: для этого в течение 1 000 итераций применяли каузальное обучение с принудительным вводом данных от учителя, а затем провели 300 итераций Self-Forcing с дистилляцией, согласующей распределения, относительно зафиксированной модели-учителя. Выпущенная студенческая модель генерирует видео авторегрессионно, используя кэш ключей и значений и четыре шага удаления шума на каждый латентный кадр. На каждый латентный кадр подаются четыре вектора будущих действий (0,4 секунды при частоте 10 Гц), после чего модель создает четыре новых видеокадра, обеспечивая потоковое воспроизведение.

Во второй выпущенной контрольной версии используются два шага удаления шума. NVIDIA отмечает, что модель с двумя шагами обучалась отдельно, а не была получена запуском четырехшаговой модели с меньшим числом шагов выборки; меньшее число шагов удаления шума ускоряет инференс, но снижает визуальное качество. Потоковая генерация выполняется с помощью FlashDreams и адаптированного модуля FadeMem, который объединяет растущий кэш ключей и значений при длительном воспроизведении и дополняет механизм Self-Forcing, работающий с историей генерации.

Данные для обучения и оценка на отложенной выборке

Для дообучения использовались закрытые клинические записи операций по удалению желчного пузыря, выполненных с помощью CMR Surgical Versius: 4 792 эпизода общей продолжительностью около 17 миллионов кадров, снятых с частотой 60 Гц и разрешением 1080p. Затем записи прореживали до 10 Гц. Во время операций хирурги телеуправляли роботом; метки действий автоматически формировались на основе телеметрии робота, а видимость инструментов размечалась вручную.

В выборку включали только те временные окна, в которых на каждом исходном отсчете с частотой 60 Гц во всех окнах с историей и будущими кадрами были видны и задействованы ровно два инструмента: в качестве стандартной пары использовались левый зажим Cadiere и правый монополярный крючок. Окна, в которых активные команды движения камеры превышали заданный порог, исключались. Обучающая выборка включала 64 записи и около 526 уникальных минут видео; для горизонта в 24 кадра было 183 528 начальных позиций окон, а для горизонта в 72 кадра, использовавшегося при дистилляции, — около 436 минут видео и 106 820 начальных позиций окон. Разделение записей выполнялось на уровне эпизодов: около 98 процентов уникальной продолжительности использовали для обучения, а около 2 процентов оставили для проверки.

Проверка на отложенной выборке охватывает около 10,6 минуты из 10 записей — примерно 6 400 кадров при частоте 10 Гц. Каждая фиксированная оценочная выборка, сформированная на основе этих записей, включает 48 примеров для оценки качества и 12 примеров для проверки управления действиями; кроме того, проводятся тесты поворота инструментов на 0°, ±5° и ±15°, а также выполняются непрерывные прогоны длительностью 30,4 секунды для визуальной проверки. В карточке модели указано, что данные включают эндоскопическое видео из брюшной полости и телеметрию робота, полученные во время клинических процедур на людях; на них видны анатомические структуры и хирургические инструменты, но не лица и другие идентифицирующие детали. Аудио и текст отсутствуют.

Производительность, лицензирование и код

Согласно карточке модели, на RTX PRO 6000 Blackwell Workstation Edition достигается скорость 30,0 кадра в секунду при разрешении 832 × 480 и четырёх шагах диффузии, а также 43,2 кадра в секунду при двух шагах; на версии Max-Q — 20,2 и 31,2 кадра в секунду соответственно, а на DGX Spark — 16,9 кадра в секунду при пониженном разрешении 512 × 288. Работу системы в режиме интерактивной подачи данных в реальном времени проверили на одной RTX PRO 6000 и на DGX Spark; модель также работает на Hopper H100. Поддерживаются микроархитектуры NVIDIA Blackwell и Hopper, а в качестве операционной системы — Linux. При обучении и нативном инференсе использовалась смешанная точность BF16; веса экспортированы в FP32.

Сопутствующий репозиторий GitHub распространяется по лицензии Apache-2.0 и поддерживает воспроизведение записанных действий с сохранением результата в MP4, а также управление в реальном времени с гарнитуры, совместимой с WebXR, и двух отслеживаемых контроллеров. В репозитории перечислены системные требования: Linux с графическим процессором, поддерживающим CUDA, Python 3.12, менеджер пакетов uv и более 32 ГБ видеопамяти при стандартном разрешении 480 × 832.

NVIDIA также опубликовала пошаговое руководство по дообучению модели-учителя и дистилляции Self-Forcing, чтобы разработчики могли адаптировать систему к другим наборам данных и вариантам воплощения с синхронизированным видео и совместимыми представлениями действий. В анонсе отмечается, что интеграции контроллеров должны использовать те же соглашения о представлении действий и ту же нормализацию, что и при обучении. В разделе этических соображений карточки модели указано, что разработчики должны иметь необходимые права и разрешения на исходные изображения и видео; также отмечается, что сгенерированное видео не размывает людей и персональные медицинские данные, присутствующие во входных материалах.

Указанные ограничения и направления исследований

NVIDIA отмечает, что визуальный реализм — это отправная точка для проверки, а не доказательство биомеханической точности; кроме того, правдоподобный на вид прогон, в котором игнорируются команды управления, не может служить интерактивной средой. Среди направлений исследований в анонсе перечислены моделирование всей процедуры холецистэктомии с чёткими границами задач и критериями успешного выполнения, объединение генеративного и численного моделирования, оценка с участием хирургов, поддержка большего числа инструментов и разработка автономных хирургических стратегий, связанных с моделью в замкнутом цикле. NVIDIA подчёркивает, что это направления исследований, а не уже существующие клинические возможности, и заявляет, что Cosmos3-H-Dreams — исследовательский симулятор, а не валидированная система для оказания медицинской помощи пациентам.