Хірургічна модель світу NVIDIA тепер працює в режимі реального часу на одному GPU

NVIDIA (NVDA ) випустила хірургічний симулятор, який генерує оперативне поле в режимі реального часу, досить швидко для того, щоб хірург або навчена робота могла керувати сценою під час її створення. Модель, Cosmos-H-Dreams, працює зі швидкістю близько 160 кадрів на секунду на одному GPU RTX PRO 6000, у порівнянні з приблизно 10 кадрами на секунду для офлайн-моделі, з якої вона була отримана, згідно з власними даними NVIDIA. Ваги та код сервера були опубліковані 23 липня 2026 року, а технічний аналіз був опублікований чотири дні пізніше.

Під моделлю немає фізичного двигуна. Замість створення тканини, швів та контакту інструментів вручну, модель вчиться візуальної динаміки з парних хірургічних відео та кінематичної роботи робота, а потім передбачає, що камера побачить наступне. Вона приймає один початковий кадр плюс живий потік команд руки та генерує наступний блок з 12 кадрів до того, як спожити наступну партію дій. Клієнт браузера може керувати ним з клавіатури, гарнітура Meta Quest може відображати рух контролера в дії робота, а навчена хірургічна політика може бути встановлена в той же цикл замість людини. Та ж сама модель вже принесла серйозні гроші в інших галузях, зокрема Odyssey’s $310 million Series B для світових моделей.

Як була куплена частота кадрів

Cosmos-H-Dreams є дистильованим учнем повільнішої моделі. Вчитель, Cosmos-H-Surgical-Simulator, побудований на основі 2-мільярдного параметра моделі відео Cosmos-Predict2.5 NVIDIA та генерує хірургічні розгортання в одному проході після факту, що підходить для оцінки записаної траєкторії, але не для керування нею. Учень був навчений продовжувати свою власну генеровану історію, а не з чистої основи, процедуру, яку модельна карта називає самозатверджувальною дистиляцією, та генерує кожен латентний кадр у два-чотири кроки очищення замість багатьох кроків вчителя. FlashDreams, бібліотека потокового висновку NVIDIA, покриває решту, зберігючи кеш попередніх кадрів та попередньо захоплюючи повторну роботу GPU, щоб апаратне забезпечення не планувало її на кожному кроку.

Випущена контрольна точка виконує одну роботу: настільне шиття на да Вінчі Research Kit, фізичній платформі, яку академічні лабораторії використовують для розробки та тестування хірургічних політик. Вона працює на роздільній здатності 288 на 512 пікселів та приймає команди з ефективною частотою 10 Гц. Це бенч-завдання, а не тіло.

Тренувальна суміш, ймовірно, більш цікава, ніж частота кадрів. Разом з успішними демонстраціями шиття та зав’язування вузлів з Джона Хопкінса, NVIDIA навмисно зберігала епізоди невдачі та поза розподілом: випадання голок, пропущені кидки, вузли, які не утримувалися. Її заявлена причина полягає в тому, що симулятор, призначений для оцінки політик, повинен відтворювати наслідки поганих дій, а не тільки ідеальні демонстрації.

Versius підключений

NVIDIA заявила, що працювала з CMR Surgical та Cambridge Consultants, інженерною фірмою, яка належить Capgemini, щоб підключити модель до хірургічного контролера для платформи Versius та запустити її в режимі реального часу. CMR демонструвала налаштування хірургічній аудиторії на конференції з роботизованої хірургії у Флориді наприкінці липня 2026 року. Компанія має підстави бути в цьому циклі рано: NVIDIA вважає, що CMR внесла майже 500 годин анонімізованих даних процедур Versius до набору даних Open-H Embodiment, на якому була попередньо навчена модель, а CMR описує себе як найбільший внесок до цього набору.

CMR також прямо заявляє, що демонстрація не є чимось іншим. Примітка на її релізі вказує, що симуляція “тільки для дослідницьких та демонстраційних цілей”, не є частиною системи Versius Plus, яка пройшла сертифікацію, і не призначена для клінічних рішень чи догляду за пацієнтами. Versius Plus сам по собі сертифікований у США тільки для видалення жовчного міхура у дорослих, з гінекологічним застосуванням, яке очікує на затвердження. Регуляторна сертифікація хірургічного обладнання все ще рухається крок за кроком, як робот Momentis’s Anovo показав, коли він отримав сертифікацію FDA для багатопортової хірургії. NVIDIA проводить ту ж саму лінію у своєму власному пості: це платформа досліджень та розробки, а не діагностична система та не контролер фізичного хірургічного робота.

Агендою валідації

Модель є генеративною частиною фреймворку медичної фізичної симуляції NVIDIA, відкритого 22 липня 2026 року в складі свого стека Isaac для охорони здоров’я, де традиційні розв’язувачі обробляють контакт та тертя, а навчена модель обробляє візуальну динаміку сцени. Це та ж сама позиція, яку NVIDIA зайняла на фабричному поверсі, постачаючи шар симуляції, на якому інші виробники будують продукти.

Пост NVIDIA заявляє, що найближчим кроком є оцінка більшої кількості параметрів, ніж тільки візуальна якість, і пропонує сім’ю закритих тестів як міру того, чи достатньо точна швидка версія, щоб їй можна було довіряти:

• точність досягнення інструментом та пози
• відтворення циклів захоплення та стабільність, коли інструменти неактивні
• зміщення під час довгих розгортань
• узгодженість між симульованими та реальними результатами політики

Найближчий перехідний доказ наразі походить від попередньої лінії: у статті 2025 року дослідників NVIDIA та Джона Хопкінса повідомлялося про сильну кореляцію між розгортаннями в офлайн-хірургічній моделі та результатами політики на фізичній системі да Вінчі для завдань з шиття, плюс попередня узгодженість на роботі з свинячим жовчним міхуром. Це була повільна двонаправлена модель, а не двокроковий учень, і сам репозиторій зазначає, що швидший графік коштує деякої точності.

Отримання доступу до нього досить дешево за стандартами моделей фронтиру. Ваги мають відкриту ліцензію моделі NVIDIA, а код сервера має ліцензію Apache 2.0, з репозиторієм, який запитує GPU з 12 ГБ пам’яті, поточним драйвером та Linux. Технічної звіту ще немає; посилання репозиторію на нього вказує на файл-заповнювач. Відео-контрольовані політики робота вже переміщаються на виробничі лінії, як у випадку з моделлю FLUX-mimic компанії mimic robotics на заводі Audi, але хірургія має складніший тест на прийняття. Для лабораторій, які тренують хірургічні політики, питання, яке має значення, полягає в тому, чи бал, отриманий усередині цього симулятора, передбачає, що рука робить на реальному швейному подушці. NVIDIA назвала цю міру, а її результати будуть тим, на чому буде ґрунтуватися наступний раунд доказів.