NVIDIA, 실시간 수술 월드 모델 Cosmos3-H-Dreams 공개

NVIDIA는 2026년 10월 20일 Cosmos3-H-Dreams를 공개했다. 이 모델은 CMR Surgical Versius 시스템으로 촬영한 임상 담낭절제술 기록을 사용해 미세 조정한 실시간 로봇 수술용 행동 조건부 생성 월드 모델이다. 모델 체크포인트와 관련 코드도 같은 날 공개됐다.

NVIDIA가 Hugging Face에 게시한 공지에서 회사는 자체적으로 파악한 바로는 Cosmos3-H-Dreams가 임상 담낭절제술 기록으로 훈련되어 실시간 운동학 제어를 지원하는 최초의 생성형 수술 시뮬레이터라고 밝혔다. Cosmos 3를 기반으로 하고 NVIDIA의 스트리밍 추론 라이브러리인 FlashDreams로 가속한 이 모델은 단일 NVIDIA RTX PRO 6000 GPU에서 상호작용형으로 실행된다고 공지는 전했다.

모델 카드에는 GitHub와 Hugging Face 모두에서 2026년 10월 20일에 공개됐다고 명시되어 있으며, NVIDIA Open Model License에 따라 상업적 또는 비상업적 용도로 사용할 준비가 된 모델이라고 설명되어 있다. 카드에는 시뮬레이션 환경에서의 수술 로봇 정책 평가, 원격 조작 방식의 상호작용형 월드 모델 탐색, 로봇 담낭절제술을 위한 합성 데이터 생성이 사용 목적으로 기재되어 있다. 대상은 수술 로봇 연구자, 의료 AI 개발자, 학술 기관, 수술 로봇 기업이다.

탁상 봉합에서 임상 현장으로

Cosmos3-H-Dreams는 dVRK 탁상 봉합을 대상으로 한 Cosmos-Predict2.5 기반 모델 Cosmos-H-Dreams의 후속 모델이다. 월드 파운데이션 모델인 이전 시스템은 장면의 기하 구조, 조직 변형, 물리적 상호작용을 명시적으로 모델링하는 대신 동기화된 영상과 로봇 운동학에서 시각적 동역학을 직접 학습했다. 새 모델은 이 접근법을 임상 현장으로 확장한다. 이 환경에서는 견인에 따라 조직이 늘어나고, 반사가 달라지며, 구조물이 가려지고, 연기로 시야가 변한다. 또한 긴 롤아웃 중에는 작은 생성 오류가 누적되어 기구의 기하 구조나 해부학적 구조가 점차 달라질 수 있다.

아키텍처 및 증류 파이프라인

이 모델은 Open-H-Embodiment 데이터셋으로 훈련한 160억 개 매개변수 모델 Cosmos3-H-Embodied-Nano를 기반으로 하며, 선별된 담낭절제술 영상과 운동학 데이터로 양방향 교사 모델을 특화한다. Cosmos3-H-Dreams 자체는 약 151억 7천만 개의 매개변수를 갖췄으며, 추론 타워인 Qwen3-VL-8B-Instruct와 잠재 확산 생성 전문가를 결합한 Mixture-of-Transformers 아키텍처를 사용한다. 또한 운동학 조건화를 위한 행동 임베딩 계층과 함께 Wan2.2 VAE 잠재 표현을 처리한다.

행동 인터페이스는 시간 단계마다 28개 차원으로 구성되며, 각 팔의 14개 차원은 앵커 기준 이동, 6D 회전, 조(jaw) 위치, 전기수술 에너지 활성화, 엄지스틱 버튼 및 엄지스틱 축을 다룬다. Versius 구현체를 위해 인터페이스를 20개 차원에서 확장했으며, 사전 훈련된 자세 및 조 가중치는 유지하고 새 제어 입력은 0으로 초기화했다. 훈련에는 832 x 480 해상도 영상과 10 Hz로 정렬된 행동 데이터가 사용된다. 공지는 이 샘플링 속도가 런타임 생성 처리량과는 다르다고 설명한다.

양방향 교사 모델은 먼저 미래 24프레임을 대상으로 2,000회 반복해 미세 조정한 뒤, 72프레임 시야를 대상으로 4,400회 반복해 미세 조정했다. 이는 10 Hz 기준으로 각각 2.4초와 7.2초에 해당한다. 증류 과정에서는 샘플링 단계 35회를 사용한 72프레임 교사 모델을 인과적 교사 강제 학습을 통해 블록 인과적 학생 모델로 변환했으며, 이 과정은 1,000회 반복됐다. 이어 고정된 교사 모델을 기준으로 분포 일치 증류를 적용한 Self-Forcing을 300회 반복했다. 공개된 학생 모델은 키/값 캐시를 사용해 자기회귀 방식으로 영상을 생성하며, 잠재 프레임마다 노이즈 제거를 네 단계 수행한다. 각 잠재 프레임은 미래 행동 벡터 네 개(10 Hz 기준 0.4초)를 입력으로 사용하고 새로운 영상 프레임 네 개를 생성해 스트리밍 롤아웃을 가능하게 한다.

두 번째 공개 체크포인트는 노이즈 제거 단계를 두 번 수행한다. NVIDIA는 이 2단계 모델이 4단계 모델의 샘플링 단계 수만 줄여 실행하는 방식이 아니라 별도로 훈련된 모델이라고 밝혔다. 또한 노이즈 제거 단계가 적을수록 추론은 빨라지지만 시각적 품질은 낮아진다고 설명했다. 스트리밍은 FlashDreams를 통해 실행되며, 여기에 적용된 FadeMem 모듈은 긴 롤아웃 중 계속 커지는 키/값 캐시를 통합한다. 이는 생성된 이력의 처리를 담당하는 Self-Forcing을 보완한다.

훈련 데이터 및 홀드아웃 평가

미세 조정에는 CMR Surgical Versius의 독점 임상 담낭절제술 기록이 사용됐다. 기록은 총 4,792건의 수술 사례에서 수집한 것으로, 60 Hz 및 1080p 해상도 기준 약 1,700만 프레임에 달하며 10 Hz로 다운샘플링됐다. 수술 중 외과의가 로봇을 원격 조작했으며, 행동 라벨은 로봇 원격 측정 데이터에서 자동으로 도출하고 기구의 가시성은 수동으로 라벨링했다.

샘플 선정에서는 이력 및 미래 구간 각각의 모든 기본 60 Hz 행에서 기구가 정확히 두 개 보이고 조작 중인 구간만 유지했다. 표준 조합은 왼쪽 Cadiere 겸자와 오른쪽 단극 후크였으며, 고정 임계값을 초과하는 카메라 제어 명령이 활성화된 구간은 제외했다. 훈련 세트는 고유한 영상 약 526분에 해당하는 기록 64건으로 구성됐다. 24프레임 시야에는 윈도 시작 지점 183,528개가 포함됐고, 증류에 사용된 72프레임 시야에는 윈도 시작 지점 106,820개에 걸쳐 영상 약 436분이 포함됐다. 기록은 수술 사례 단위로 분할했으며, 고유 영상 시간의 약 98%를 훈련에 사용하고 약 2%는 홀드아웃으로 남겼다.

보류한 검증 데이터는 10개 녹화본에서 추출한 약 10.6분 분량으로, 10Hz에서 약 6,400프레임에 해당한다. 이 녹화본에서 추출한 고정 평가 패널에는 각각 품질 평가 사례 48개와 동작 제어 사례 12개가 포함되며, 중립 상태와 도구를 ±5°, ±15° 회전한 회전 테스트, 그리고 시각적 검토를 위한 30.4초 연속 시뮬레이션도 추가된다. 모델 카드에 따르면 데이터에는 실제 환자의 임상 시술 과정에서 촬영한 복강 내시경 영상과 로봇 원격 측정 데이터가 포함되어 있으며, 얼굴이나 기타 식별 가능한 장면이 아니라 해부학적 구조와 수술 기구가 담겨 있고 오디오나 텍스트는 포함되지 않는다.

성능, 라이선스 및 코드

모델 카드에 따르면 RTX PRO 6000 Blackwell Workstation Edition에서 832 x 480 해상도로 확산 스텝 4회를 적용했을 때 초당 30.0프레임, 2회를 적용했을 때 초당 43.2프레임을 처리한다. Max-Q edition에서는 초당 20.2프레임과 31.2프레임을, DGX Spark에서는 512 x 288의 낮은 해상도로 초당 16.9프레임을 처리한다. 단일 RTX PRO 6000과 DGX Spark에서 실시간 인터랙티브 서비스를 검증했으며, 모델은 Hopper H100에서도 실행된다. 지원되는 마이크로아키텍처는 NVIDIA Blackwell과 Hopper이고, 지원 운영체제는 Linux다. 학습과 기본 추론에는 BF16 혼합 정밀도를 사용했으며, 가중치는 FP32로 내보냈다.

함께 제공되는 GitHub 저장소는 Apache-2.0 라이선스로 제공되며, 녹화된 동작을 MP4 출력으로 재생하는 기능과 추적 컨트롤러 2개가 장착된 WebXR 호환 헤드셋을 통한 실시간 제어 기능을 지원한다. 저장소에는 CUDA 지원 GPU가 탑재된 Linux 시스템, Python 3.12, uv 패키지 관리자, 기본 480 x 832 설정에서 32GB를 초과하는 VRAM 등 시스템 요구 사항이 명시되어 있다.

NVIDIA는 개발자가 동기화된 영상과 호환되는 동작 표현을 사용해 시스템을 다른 데이터셋과 구현체에 맞게 조정할 수 있도록 교사 미세 조정 및 Self-Forcing 증류를 단계별로 안내하는 방법도 공개했다. 발표문에 따르면 컨트롤러를 통합할 때는 학습에 사용한 것과 동일한 동작 규약과 정규화 방식을 적용해야 한다. 모델 카드의 윤리적 고려 사항에는 개발자가 입력 이미지와 영상 콘텐츠에 대한 적절한 권리와 허가를 보유해야 한다는 내용이 명시되어 있으며, 입력에 포함된 사람이나 개인 건강 정보는 생성된 영상에서 흐림 처리되지 않는다고 설명한다.

명시된 한계와 연구 방향

NVIDIA는 시각적 사실성이 검증의 출발점일 뿐 생체역학적 정확성을 입증하는 것은 아니며, 제어 명령을 무시하는 그럴듯한 시뮬레이션 결과는 인터랙티브 환경으로 사용할 수 없다고 밝혔다. 발표문에는 명확한 작업 경계와 성공 기준을 설정해 담낭절제술 전 과정을 모델링하고, 생성 시뮬레이션과 수치 시뮬레이션을 연결하며, 외과의와 함께 평가하고, 더 많은 수술 기구를 지원하며, 모델과 폐루프 방식으로 결합되는 자율 수술 정책을 개발하는 등의 연구 방향이 제시되어 있다. NVIDIA는 이를 확립된 임상 기능이 아닌 연구 방향으로 규정하고, Cosmos3-H-Dreams는 환자 치료에 사용할 수 있도록 검증된 시스템이 아니라 연구용 시뮬레이터라고 밝혔다.