NVIDIA випускає Cosmos3-H-Dreams — модель світу для хірургії в реальному часі

20 жовтня 2026 року NVIDIA випустила Cosmos3-H-Dreams — генеративну модель світу для роботизованої хірургії в реальному часі, керовану діями й доопрацьовану на клінічних записах холецистектомій, проведених за допомогою системи CMR Surgical Versius. Контрольну точку моделі та супровідний код опублікували того самого дня.

В оголошенні, опублікованому NVIDIA на Hugging Face, компанія заявила, що, наскільки їй відомо, Cosmos3-H-Dreams — перший генеративний хірургічний симулятор у реальному часі, навчений на клінічних записах холецистектомій і здатний підтримувати керування кінематикою наживо. Як зазначено в оголошенні, модель працює на базі Cosmos 3, прискорена за допомогою FlashDreams — бібліотеки NVIDIA для потокового виведення — і взаємодіє з користувачем у реальному часі на одному графічному процесорі NVIDIA RTX PRO 6000.

У картці моделі зазначено, що її випустили 20 жовтня 2026 року на GitHub і Hugging Face, а також що її можна використовувати в комерційних і некомерційних цілях за ліцензією NVIDIA Open Model License. Серед передбачених способів використання названо оцінювання політик роботизованої хірургії в симуляції, інтерактивне дослідження моделі світу за допомогою телеоперацій і створення синтетичних даних для роботизованої холецистектомії. Модель призначена для дослідників у галузі хірургічної робототехніки, розробників ШІ для охорони здоров’я, академічних установ і компаній, що займаються хірургічною робототехнікою.

Від накладання швів на столі до клінічних операцій

Cosmos3-H-Dreams є наступницею Cosmos-H-Dreams — моделі на базі Cosmos-Predict2.5, призначеної для накладання швів на столі за допомогою dVRK. Як базова модель світу, попередня система засвоювала візуальну динаміку безпосередньо із синхронізованих відео та кінематичних даних робота, а не моделювала явно геометрію сцени, деформацію тканин і фізичні взаємодії. Нова версія переносить цей підхід у клінічні умови, де тканини розтягуються під натягом, відблиски зміщуються, структури перекриваються, а дим погіршує видимість. У таких умовах невеликі помилки генерації можуть накопичуватися під час тривалих розгортань і поступово змінювати геометрію інструментів або анатомічну структуру.

Архітектура та процес дистиляції

Модель створено на базі Cosmos3-H-Embodied-Nano — моделі з 16 мільярдами параметрів, навченої на наборі даних Open-H-Embodiment; її двонапрямного вчителя спеціалізували на відібраних відеозаписах холецистектомій і кінематичних даних. Сама Cosmos3-H-Dreams має приблизно 15,17 мільярда параметрів і використовує архітектуру суміші трансформерів, яка поєднує модуль логічного міркування Qwen3-VL-8B-Instruct із генеративним експертом на основі латентної дифузії. Модель працює з латентними представленнями Wan2.2 VAE та використовує шари вбудовування дій для керування кінематикою.

Інтерфейс керування використовує 28 вимірів на кожному часовому кроці: по 14 вимірів на кожну руку, що охоплюють переміщення відносно опорної точки, обертання в 6D, положення губок, активацію електрохірургічної енергії, кнопку аналогового стіка та його осі. Інтерфейс розширили з 20 вимірів для конфігурації Versius; попередньо навчені ваги для пози та губок зберегли, а нові входи керування ініціалізували нулями. Для навчання використовували відео з роздільністю 832 x 480, а дії синхронізували з частотою 10 Гц. В оголошенні наголошено, що ця частота дискретизації відрізняється від швидкості генерації під час виконання.

Двонапрямного вчителя спочатку доопрацьовували на 24 майбутніх кадрах упродовж 2 000 ітерацій, а потім — на часовому горизонті у 72 кадри впродовж 4 400 ітерацій, що за частоти 10 Гц відповідає 2,4 і 7,2 секунди. Під час дистиляції вчителя з горизонтом у 72 кадри, який використовував 35 кроків вибірки, перетворили на блоково-каузальну модель-студент за допомогою каузального навчання з примусовим подаванням виходів учителя, яке тривало 1 000 ітерацій. Після цього виконали ще 300 ітерацій Self-Forcing із дистиляцією зіставлення розподілів відносно незмінного вчителя. Випущена модель-студент генерує відео авторегресивно, використовуючи кеш ключів і значень і чотири кроки знешумлення на кожен латентний кадр. Для кожного латентного кадру використовуються чотири майбутні вектори дій (0,4 секунди за частоти 10 Гц) і генеруються чотири нові відеокадри, що забезпечує потокове розгортання.

Друга випущена контрольна точка використовує два кроки знешумлення. NVIDIA зазначає, що модель із двома кроками навчали окремо — це не чотирикрокова модель, запущена з меншою кількістю кроків вибірки, — і що менша кількість кроків знешумлення пришвидшує виведення ціною нижчої візуальної якості. Потокову генерацію забезпечує FlashDreams з адаптованим модулем FadeMem, який упорядковує кеш ключів і значень, що збільшується під час тривалих розгортань, доповнюючи механізм Self-Forcing для роботи зі згенерованою історією.

Навчальні дані та оцінювання на відкладених даних

Для доопрацювання використовували конфіденційні клінічні записи холецистектомій, виконаних за допомогою CMR Surgical Versius: 4 792 епізоди загальною тривалістю близько 17 мільйонів кадрів із частотою 60 Гц і роздільністю 1080p, передискретизовані до 10 Гц. Під час процедур хірурги керували роботом дистанційно; мітки дій автоматично отримували з телеметрії робота, а видимість інструментів позначали вручну.

До вибірки включали лише вікна, у яких на кожному вихідному часовому кроці з частотою 60 Гц вікна історії та майбутнього було видно рівно два інструменти, що перебували в роботі: ліворуч — захоплювач Cadiere, праворуч — монополярний гачок. Вікна, у яких активні команди камери перевищували фіксований поріг, відкидали. Навчальна вибірка охоплювала 64 записи й приблизно 526 унікальних хвилин відео; для горизонту у 24 кадри було 183 528 початкових позицій вікон, а для горизонту у 72 кадри, використаного під час дистиляції, — приблизно 436 хвилин і 106 820 початкових позицій вікон. Записи розділили за епізодами: близько 98 відсотків унікальної тривалості використали для навчання, а приблизно 2 відсотки залишили для оцінювання.

Відкладена валідація охоплює приблизно 10,6 хвилини відео з 10 записів — близько 6 400 кадрів із частотою 10 Гц. Кожна фіксована панель оцінювання, сформована на основі цих записів, містить 48 випадків для оцінювання якості та 12 випадків для керування діями; додатково проводяться перевірки обертання інструментів у нейтральному положенні, а також за кутів ±5° і ±15°, і безперервні розгортання тривалістю 30,4 секунди для візуального перегляду. У картці моделі зазначено, що дані містять ендоскопічне відео з черевної порожнини та телеметрію роботизованої системи, зібрані під час клінічних процедур на людях; на них зображено анатомічні структури й хірургічні інструменти, а не обличчя чи інші ідентифікаційні ракурси. Аудіо й текст відсутні.

Продуктивність, ліцензування та код

Згідно з карткою моделі, на RTX PRO 6000 Blackwell Workstation Edition продуктивність становить 30,0 кадру за секунду за роздільної здатності 832 × 480 і чотирьох кроків дифузії та 43,2 кадру за секунду за двох кроків; на версії Max-Q — 20,2 і 31,2 кадру за секунду відповідно, а на DGX Spark — 16,9 кадру за секунду за зниженої роздільної здатності 512 × 288. Роботу в режимі реального часу з інтерактивним керуванням перевірено на одній системі RTX PRO 6000 і на DGX Spark; модель також працює на Hopper H100. Підтримуються мікроархітектури NVIDIA Blackwell і Hopper, а підтримувана операційна система — Linux. Для навчання та виведення даних у штатному режимі використовувалася змішана точність BF16, а ваги експортувалися у форматі FP32.

Супровідний репозиторій GitHub ліцензовано за Apache-2.0; він дає змогу відтворювати записані дії з виведенням у формат MP4, а також керувати системою в реальному часі за допомогою гарнітури, сумісної з WebXR, і двох контролерів із відстеженням руху. У репозиторії наведено системні вимоги, зокрема Linux із графічним процесором, сумісним із CUDA, Python 3.12, менеджер пакетів uv і понад 32 ГБ відеопам’яті за стандартної конфігурації 480 × 832.

NVIDIA також опублікувала покрокову інструкцію з доопрацювання моделі з учителем і дистиляції Self-Forcing, щоб розробники могли адаптувати систему до інших наборів даних і варіантів втілення за наявності синхронізованого відео та сумісних представлень дій. В оголошенні зазначено, що інтеграції контролерів мають використовувати ті самі правила представлення дій і нормалізацію, що й під час навчання. У розділі етичних застережень картки моделі сказано, що розробники повинні мати належні права й дозволи на використання вхідних зображень і відео, а згенероване відео не розмиватиме зображення людей чи персональну медичну інформацію, наявні у вхідних даних.

Заявлені обмеження та напрями досліджень

NVIDIA зазначає, що візуальний реалізм є лише відправною точкою для валідації, а не доказом біомеханічної точності; крім того, розгортання, яке має правдоподібний вигляд, але ігнорує команди керування, не може слугувати інтерактивним середовищем. В оголошенні перелічено такі напрями досліджень: моделювання повної процедури холецистектомії з чітко визначеними межами завдань і критеріями успіху, поєднання генеративного та чисельного моделювання, оцінювання за участю хірургів, підтримка більшої кількості інструментів і розроблення автономних хірургічних стратегій, замкнених у контурі з моделлю. NVIDIA наголошує, що це напрями досліджень, а не вже наявні клінічні можливості, і зазначає, що Cosmos3-H-Dreams — це дослідницький симулятор, а не система, валідована для надання медичної допомоги пацієнтам.