NVIDIA udostępnia Cosmos3-H-Dreams — działający w czasie rzeczywistym model świata do chirurgii

20 października 2026 r. NVIDIA udostępniła Cosmos3-H-Dreams — generatywny model świata do chirurgii robotycznej, działający w czasie rzeczywistym i warunkowany działaniami, dostrojony na podstawie klinicznych nagrań cholecystektomii wykonanych z użyciem systemu CMR Surgical Versius. Tego samego dnia opublikowano punkt kontrolny modelu i towarzyszący mu kod.

W komunikacie opublikowanym przez NVIDIA na Hugging Face firma stwierdziła, że według jej wiedzy Cosmos3-H-Dreams to pierwszy generatywny symulator chirurgiczny działający w czasie rzeczywistym, wytrenowany na klinicznych nagraniach cholecystektomii i obsługujący sterowanie kinematyczne na żywo. Zgodnie z komunikatem model, oparty na Cosmos 3 i przyspieszony dzięki FlashDreams — bibliotece NVIDIA do wnioskowania strumieniowego — działa interaktywnie na pojedynczym układzie NVIDIA RTX PRO 6000.

Karta modelu podaje datę wydania 20 października 2026 r. zarówno w serwisie GitHub, jak i Hugging Face, oraz informuje, że model jest gotowy do użytku komercyjnego i niekomercyjnego na warunkach licencji NVIDIA Open Model License. Wśród jego planowanych zastosowań wymienia ocenę polityk sterowania robotami chirurgicznymi w symulacji, interaktywną eksplorację modelu świata z wykorzystaniem teleoperacji oraz generowanie danych syntetycznych na potrzeby robotycznej cholecystektomii. Model jest przeznaczony dla badaczy robotyki chirurgicznej, twórców rozwiązań AI w ochronie zdrowia, instytucji akademickich i firm z branży robotyki chirurgicznej.

Od szycia na stole do scen klinicznych

Cosmos3-H-Dreams jest następcą Cosmos-H-Dreams, modelu opartego na Cosmos-Predict2.5 i przeznaczonego do szycia na stole z użyciem dVRK. Jako bazowy model świata wcześniejszy system uczył się dynamiki wizualnej bezpośrednio z zsynchronizowanych nagrań wideo i danych kinematycznych robota, zamiast jawnie modelować geometrię sceny, deformację tkanek i interakcje fizyczne. Nowa wersja przenosi to podejście do scen klinicznych, w których tkanki rozciągają się pod wpływem trakcji, zmieniają się odbicia, struktury zostają zasłonięte, a dym ogranicza widoczność. W takich warunkach niewielkie błędy generowania mogą narastać podczas długich przebiegów i stopniowo zmieniać geometrię narzędzi lub struktur anatomicznych.

Architektura i proces destylacji

Model bazuje na Cosmos3-H-Embodied-Nano, modelu o 16 miliardach parametrów wytrenowanym na zbiorze danych Open-H-Embodiment, a jego dwukierunkowy model nauczycielski dostosowano do starannie wyselekcjonowanych nagrań wideo z cholecystektomii i danych kinematycznych. Sam Cosmos3-H-Dreams ma około 15,17 miliarda parametrów i wykorzystuje architekturę typu mixture-of-transformers, łączącą moduł rozumowania Qwen3-VL-8B-Instruct z ekspertem generowania opartym na dyfuzji w przestrzeni utajonej. Model działa na reprezentacjach utajonych Wan2.2 VAE i wykorzystuje warstwy osadzające działania do warunkowania kinematycznego.

Interfejs działań wykorzystuje 28 wymiarów na krok czasowy — po 14 na każde ramię — obejmujących translację względem punktu zakotwiczenia, rotację 6D, położenie szczęk, aktywację energii elektrochirurgicznej, przycisk drążka sterującego i jego osie. Interfejs rozszerzono z 20 wymiarów dla wersji robota Versius, zachowując wstępnie wytrenowane wagi dotyczące pozy i szczęk oraz inicjalizując nowe wejścia sterujące wartościami zerowymi. Do treningu wykorzystano wideo w rozdzielczości 832 × 480, z działaniami zsynchronizowanymi z częstotliwością 10 Hz. Jak zaznaczono w komunikacie, częstotliwość próbkowania jest odrębna od przepustowości generowania w czasie działania modelu.

Dwukierunkowy model nauczycielski dostrajano najpierw przez 2000 iteracji na podstawie 24 przyszłych klatek, a następnie przez 4400 iteracji z horyzontem 72 klatek, co przy częstotliwości 10 Hz odpowiada odpowiednio 2,4 i 7,2 sekundy. W procesie destylacji model nauczycielski z horyzontem 72 klatek, wykorzystujący 35 kroków próbkowania, przekształcono w model uczniowski o przyczynowości blokowej. W tym celu przez 1000 iteracji stosowano wymuszanie nauczycielem z zachowaniem przyczynowości, a następnie przez 300 iteracji metodę Self-Forcing z destylacją dopasowującą rozkłady względem nieruchomego modelu nauczycielskiego. Udostępniony model uczniowski generuje wideo autoregresyjnie, korzystając z pamięci podręcznej klucz/wartość i czterech kroków odszumiania na każdą klatkę utajoną. Każda klatka utajona wykorzystuje cztery przyszłe wektory działań (0,4 sekundy przy 10 Hz) i generuje cztery nowe klatki wideo, co umożliwia strumieniowe generowanie kolejnych klatek.

Drugi udostępniony punkt kontrolny modelu wykorzystuje dwa kroki odszumiania. NVIDIA informuje, że model dwuetapowy wytrenowano osobno — nie jest to model czteroetapowy uruchomiony z mniejszą liczbą kroków próbkowania — oraz że mniejsza liczba kroków odszumiania przyspiesza wnioskowanie kosztem niższej jakości wizualnej. Strumieniowe generowanie działa z użyciem FlashDreams i dostosowanego modułu FadeMem, który podczas długich przebiegów porządkuje rozrastającą się pamięć podręczną klucz/wartość, uzupełniając metodę Self-Forcing, która obsługuje historię wygenerowanych danych.

Dane treningowe i ocena na wyłączonych próbkach

Do dostrajania wykorzystano zastrzeżone kliniczne nagrania cholecystektomii wykonane z użyciem systemu CMR Surgical Versius. Pochodziły one z 4792 zabiegów i obejmowały łącznie około 17 milionów klatek zarejestrowanych z częstotliwością 60 Hz w rozdzielczości 1080p; następnie zmniejszono częstotliwość próbkowania do 10 Hz. Podczas zabiegów chirurdzy sterowali robotem za pomocą teleoperacji. Etykiety działań wyprowadzono automatycznie z danych telemetrycznych robota, a widoczność narzędzi oznaczono ręcznie.

Do zbioru włączano wyłącznie te okna, w których w każdym natywnym wierszu z częstotliwością 60 Hz, obejmującym zarówno okno historii, jak i okno przyszłości, widoczne i używane były dokładnie dwa narzędzia. Standardową parę stanowiły lewy chwytak Cadiere i prawy haczyk monopolarny. Wykluczono okna, w których aktywne polecenia sterujące kamerą przekraczały ustalony próg. Zbiór treningowy obejmował 64 nagrania i około 526 unikalnych minut wideo; dla horyzontu 24 klatek zawierał 183 528 początków okien. Z kolei dla horyzontu 72 klatek wykorzystywanego w destylacji obejmował około 436 minut i 106 820 początków okien. Nagrania podzielono na poziomie zabiegów: około 98 procent unikalnych minut wykorzystano do treningu, a około 2 procent pozostawiono poza zbiorem treningowym.

Walidacja na zbiorze odłożonym obejmuje około 10,6 minuty materiału z 10 nagrań, czyli około 6400 klatek przy 10 Hz. Każdy ze stałych zestawów ewaluacyjnych utworzonych na podstawie tych nagrań zawiera 48 przypadków oceny jakości oraz 12 przypadków kontroli działań. Zestawy uzupełniają próby obrotu narzędzi o 0°, ±5° i ±15° oraz 30,4-sekundowe ciągłe przebiegi przeznaczone do oceny wizualnej. Według karty modelu materiał obejmuje śródbrzuszne nagrania endoskopowe i telemetrię robota z klinicznych zabiegów przeprowadzanych u ludzi. Przedstawia anatomię i narzędzia chirurgiczne, a nie twarze ani inne ujęcia pozwalające na identyfikację; nie zawiera też dźwięku ani tekstu.

Wydajność, licencja i kod

Według karty modelu osiąga on 30,0 klatek na sekundę w rozdzielczości 832 x 480 przy czterech krokach dyfuzji oraz 43,2 kl./s przy dwóch krokach na karcie RTX PRO 6000 Blackwell Workstation Edition; na wersji Max-Q osiąga odpowiednio 20,2 i 31,2 kl./s, a na DGX Spark — 16,9 kl./s przy obniżonej rozdzielczości 512 x 288. Obsługę interaktywną w czasie rzeczywistym zweryfikowano na pojedynczej karcie RTX PRO 6000 oraz na DGX Spark; model działa także na Hopper H100. Obsługiwane mikroarchitektury to NVIDIA Blackwell i Hopper, obsługiwanym systemem operacyjnym jest Linux, a podczas trenowania i natywnej inferencji zastosowano mieszaną precyzję BF16. Wagi wyeksportowano w formacie FP32.

Towarzyszące repozytorium GitHub jest udostępniane na licencji Apache-2.0 i umożliwia odtwarzanie zarejestrowanych działań z zapisem do pliku MP4, a także sterowanie na żywo za pomocą zestawu nagłownego zgodnego z WebXR i dwóch śledzonych kontrolerów. Wymagania systemowe wymienione w repozytorium obejmują system Linux z kartą GPU obsługującą CUDA, Pythona 3.12, menedżer pakietów uv oraz ponad 32 GB pamięci VRAM przy domyślnej konfiguracji 480 x 832.

NVIDIA opublikowała również szczegółową instrukcję dostrajania modelu nauczyciela i destylacji metodą Self-Forcing, która pozwala programistom dostosować system do innych zbiorów danych i konfiguracji robotycznych, wykorzystując zsynchronizowane wideo oraz zgodne reprezentacje działań. W ogłoszeniu zaznaczono, że integracje kontrolerów muszą stosować te same konwencje działań i normalizację co podczas trenowania. W części poświęconej zagadnieniom etycznym karta modelu wskazuje, że programiści muszą mieć odpowiednie prawa i zgody na wykorzystanie wejściowych obrazów i materiałów wideo, a generowane wideo nie rozmywa osób ani informacji o stanie zdrowia zawartych w danych wejściowych.

Wskazane ograniczenia i kierunki dalszych badań

NVIDIA podkreśla, że realizm wizualny jest punktem wyjścia do walidacji, a nie dowodem dokładności biomechanicznej, oraz że przebieg symulacji, który wygląda wiarygodnie, ale ignoruje polecenia sterujące, nie może służyć jako środowisko interaktywne. W ogłoszeniu wymieniono kierunki dalszych badań, takie jak modelowanie całego zabiegu cholecystektomii z jasno określonymi granicami zadań i kryteriami powodzenia, łączenie symulacji generatywnej z numeryczną, prowadzenie ewaluacji z udziałem chirurgów, obsługa większej liczby narzędzi oraz opracowywanie autonomicznych strategii chirurgicznych współpracujących z modelem w zamkniętej pętli. NVIDIA przedstawia te zagadnienia jako kierunki badań, a nie potwierdzone możliwości kliniczne, i zaznacza, że Cosmos3-H-Dreams jest symulatorem badawczym, a nie systemem zwalidowanym do opieki nad pacjentami.