엔비디아의 외과용 월드 모델이 이제 한 개의 GPU에서 실시간으로 작동합니다

엔비디아 (NVDA )는 실시간으로 수술 현장을 생성하는 외과용 시뮬레이터를 출시했습니다. 이 모델은 외과의사나 훈련된 로봇 정책이 생성되는 동안 장면을 제어할 수 있을 만큼 빠르게 작동합니다. 모델명은 Cosmos-H-Dreams이며, 단일 RTX PRO 6000 GPU에서 약 160 프레임으로 작동합니다. 이는 약 10 프레임으로 작동하는 오프라인 모델에서 추출된 모델보다 빠릅니다. 엔비디아의 eigenen 수치에 따르면, 가중치와 제공 코드는 2026년 7월 23日に 공개되었으며, 기술적인 내용은 4일 후에 공개되었습니다.

물리 엔진은 없습니다. 조직,縫合, 도구 접촉을 수동으로 작성하는 대신, 모델은 외과용 비디오와 로봇 키네티کس의 시각적 역학을 학습하고, 다음에 카메라가 볼 수 있는 것을 예측합니다. 초기 프레임과 라이브 스트림의 팔 명령을 사용하여 12개의 프레임을 생성하고, 다음 배치의 동작을 소비합니다. 브라우저 클라이언트는 키보드에서 이를 구동할 수 있으며, Meta Quest 헤드셋은 로봇 동작으로 추적된 컨트롤러 동작을 매핑할 수 있으며, 학습된 외과용 정책을 인간 대신에 동일한 루프에 넣을 수 있습니다. 동일한 모델 클래스는 다른 곳에서 이미 많은 돈을 벌었습니다. 예를 들어, Odyssey의 3억 1천만 달러 시리즈 B는 AI 월드 모델을 발전시키기 위해 투자되었습니다.

프레임 속도가 어떻게 구입되었는가

Cosmos-H-Dreams는 느린 모델의 추출된 학생입니다. 교사인 Cosmos-H-Surgical-Simulator는 엔비디아의 20억 매개변수 Cosmos-Predict2.5 비디오 모델을 기반으로 하며, 事実 이후에 외과용 롤아웃을 한 번에 생성합니다. 이는 기록된 궤적을 평가하는 데 적합하지만, 이를 구동하는 데는 적합하지 않습니다. 학생은 깨끗한 그라운드 트루스에서가 아닌 자신의 생성된 기록에서 계속 가기 위해 훈련되었습니다. 모델 카드는 이를 자체 강제 증류라고 부르며, 각 잠재적 프레임을 교사 모델의 여러 번의 노이즈 제거 단계 대신 2-4개의 노이즈 제거 단계로 생성합니다. FlashDreams, 엔비디아의 스트리밍 추론 라이브러리는, 과거 프레임의 롤링 캐시를 유지하고 반복되는 GPU 작업을 사전 캡처하여 하드웨어가 매번 다시 계획하지 않도록 합니다.

공개된 체크포인트는 하나의 작업을 수행합니다. da Vinci 연구 키트의 테이블縫合입니다. 이는 학술 연구소에서 외과용 정책을 개발하고 테스트하는 물리적 플랫폼입니다. 288 x 512 픽셀에서 작동하며, 10 Hz의 명령을 수신합니다. 이는 벤치 마크 작업입니다. 몸이 아닙니다.

훈련 混合物은 프레임 속도보다 더 흥미롭습니다. 존스 홉킨스에서 성공적인縫合과 매듭 묶기 데모와 함께, 엔비디아는故意으로 실패와 분포 밖의 에피소드를 유지했습니다. 예를 들어, 바늘을 떨어뜨리거나, 놓친 던지기, 묶이지 않는 매듭입니다. 그 이유는 정책을 평가하기 위한 시뮬레이터는 이상적인 데모만이 아니라, 나쁜 행동의 결과를 재현해야 한다고 말합니다.

Versius가 연결됩니다

엔비디아는 CMR Surgical과 Cambridge Consultants, Capgemini 소유의 엔지니어링 회사와 협력하여 모델을 CMR의 Versius 플랫폼의 외과용 컨트롤러에 연결하고, 이를 라이브로 실행했다고 말합니다. CMR은 설정을 2026년 7월 말 플로리다에서 열린 로봇 수술 회의에서 외과용 관객에게展示했습니다. 이 회사는 이 루프에서 일찍 참여하는 이유가 있습니다. 엔비디아는 CMR이 모델 패밀리가 사전 훈련된 Open-H Embodiment 데이터セット에 거의 500시간의 익명화된 Versius 절차 데이터를 기여했다고 말합니다. CMR은 이 데이터セット의 가장 큰 기여자라고 말합니다.

CMR은 또한 이 데모가 무엇이 아닌지에 대해 분명합니다. 발표의 脚注에는 “연구 및 데모 목적으로만”이며, 승인된 Versius Plus 시스템의 일부가 아니며, 임상 의사 결정이나 환자 치료를 위한 것이 아니라고 명시되어 있습니다. Versius Plus 자체는 미국에서 성인 담낭 제거에만 승인되었으며,婦人科 적용은 보류 중입니다. 외과용 하드웨어의 규제 승인은 아직도 절차별로 진행됩니다. 예를 들어, Momentis의 Anovo 로봇이 미국에서 다중 포트 수술을 위해 승인받은 바 있습니다. 엔비디아는 자신의 게시물에서 동일한 선을 긋습니다. 이는 연구 및 개발 플랫폼이며, 진단 시스템이나 물리적 외과용 로봇의 컨트롤러가 아닙니다.

검증 의제

모델은 엔비디아가 2026년 7월 22日に Isaac for Healthcare 스택에서 오픈 소스화한 의료 물리 시뮬레이션 프레임워크의 생성적 절반입니다. 여기서 전통적인 솔버는 접촉과 마찰을 처리하며, 학습된 모델은 시각적 장면 역학을 처리합니다. 이는 공장 현장에서 엔비디아가 취한 입장과 동일합니다. 他の 벤더가 제품을 구축하는 시뮬레이션 레이어를 제공합니다.

엔비디아의 게시물은 즉각적인 다음 단계는 시각적 품질 이상을 평가하는 것이라고 말합니다. 또한 빠른 버전이 신뢰할 수 있는지 여부를 측정하는 데 사용되는 폐쇄 루프 테스트 패밀리를 제안합니다.

• 도구 팁 도달 및 포즈 정확도
• 그립퍼 사이클 충실도 및 휴식 중에 기구가闲置할 때의 안정성
• 긴 롤아웃 동안의漂移
• 시뮬레이션된 결과와 실제 정책 결과 간의 일치

가장 가까운 전이 증거는 이전 계보에서 나옵니다. 2025년 논문에서 엔비디아와 존스 홉킨스 연구자들은 오프라인 외과용 모델과 물리적 da Vinci 연구 시스템의縫合 패드 작업에서 정책 결과 간의 강한 상관관계를 보고했습니다. 또한 엑스 비보 포르카인 작업에 대한 예비 일치도 보고했습니다. 이는 느린 양방향 모델이었습니다. 저장소 자체는 빠른 일정은 일부 신뢰도를 희생한다고 명시합니다.

이를 사용하는 것은 프런티어 모델의 기준으로 저렴합니다. 가중치는 엔비디아의 오픈 모델 라이센스를 가지고 있으며, 제공 코드는 Apache 2.0이며, 저장소는 12 GB의 메모리가 있는 GPU, 현재 드라이버 및 Linux가 필요합니다. 아직 기술 보고서는 없습니다. 저장소의 링크는 플레이스 홀더 파일을 가리킵니다. 비디오 조건부 로봇 정책은 이미 생산 라인에 들어가고 있습니다. 예를 들어, mimic robotics의 FLUX-mimic이 있습니다. 그러나 수술은 더 어려운 수용 테스트를 가지고 있습니다. 외과용 정책을 훈련하는 연구소에서는 시뮬레이터 내에서 얻은 점수가 실제縫合 패드에서 팔이 하는 것을 예측하는지 여부가 중요합니다. 엔비디아는 이 벤치마크를 명명했으며, 그 결과는 다음 라운드의 증거가 돌아올 것입니다.