NVIDIA lança o Cosmos3-H-Dreams, um modelo cirúrgico de mundo em tempo real

Em 20 de outubro de 2026, a NVIDIA lançou o Cosmos3-H-Dreams, um modelo generativo de mundo em tempo real, condicionado por ações, para cirurgia robótica, ajustado com gravações clínicas de colecistectomias realizadas com o sistema Versius da CMR Surgical. O ponto de verificação do modelo e o código complementar foram publicados no mesmo dia.

Em um anúncio publicado pela NVIDIA no Hugging Face, a empresa afirmou que, até onde sabe, o Cosmos3-H-Dreams é o primeiro simulador cirúrgico generativo em tempo real treinado com gravações clínicas de colecistectomias que permite controle cinemático ao vivo. Alimentado pelo Cosmos 3 e acelerado pelo FlashDreams, a biblioteca de inferência em fluxo da NVIDIA, o modelo funciona de forma interativa em uma única GPU NVIDIA RTX PRO 6000, segundo o anúncio.

O cartão do modelo informa as datas de lançamento de 20 de outubro de 2026 tanto no GitHub quanto no Hugging Face e afirma que o modelo está pronto para uso comercial ou não comercial sob a NVIDIA Open Model License. Entre os usos previstos, cita a avaliação de políticas de robótica cirúrgica em simulação, a exploração interativa de modelos de mundo por teleoperação e a geração de dados sintéticos para colecistectomia robótica. O modelo se destina a pesquisadores de robótica cirúrgica, desenvolvedores de IA para a área da saúde, instituições acadêmicas e empresas de robótica cirúrgica.

Da sutura em bancada a cenários clínicos

O Cosmos3-H-Dreams sucede o Cosmos-H-Dreams, um modelo baseado no Cosmos-Predict2.5 voltado à sutura em bancada com dVRK. Como modelo fundamental de mundo, o sistema anterior aprendeu a dinâmica visual diretamente de vídeos sincronizados e da cinemática do robô, em vez de modelar explicitamente a geometria da cena, a deformação dos tecidos e as interações físicas. O novo lançamento leva essa abordagem a cenários clínicos, nos quais os tecidos se esticam sob tração, os reflexos mudam, as estruturas ficam ocluídas e a fumaça altera a visibilidade, e nos quais pequenos erros de geração podem se acumular ao longo de simulações prolongadas e alterar gradualmente a geometria dos instrumentos ou a estrutura anatômica.

Arquitetura e processo de destilação

O modelo se baseia no Cosmos3-H-Embodied-Nano, um modelo de 16 bilhões de parâmetros treinado com o conjunto de dados Open-H-Embodiment, e especializa um modelo-professor bidirecional usando vídeos e dados cinemáticos selecionados de colecistectomias. O próprio Cosmos3-H-Dreams tem aproximadamente 15,17 bilhões de parâmetros e usa uma arquitetura de mistura de transformadores que combina um módulo de raciocínio Qwen3-VL-8B-Instruct com um especialista em geração por difusão latente. O modelo opera com latentes do VAE Wan2.2 e camadas de incorporação de ações para o condicionamento cinemático.

A interface de ações usa 28 dimensões por passo temporal, com 14 dimensões por braço que abrangem translação relativa à âncora, rotação 6D, posição da mandíbula, ativação da energia eletrocirúrgica, um botão do joystick e os eixos do joystick. A interface foi ampliada em relação às 20 dimensões da configuração Versius, preservando os pesos pré-treinados de pose e mandíbula e inicializando com zeros as novas entradas de controle. O treinamento usa vídeos de 832 x 480, com ações alinhadas a 10 Hz, uma taxa de amostragem que, segundo o anúncio, é distinta da taxa de geração em tempo de execução.

O modelo-professor bidirecional foi primeiro ajustado com 24 quadros futuros por 2.000 iterações e, em seguida, com um horizonte de 72 quadros por 4.400 iterações, correspondentes a 2,4 e 7,2 segundos a 10 Hz. A destilação converteu o modelo-professor de 72 quadros, que usava 35 etapas de amostragem, em um modelo-aluno causal por blocos, por meio de forçamento causal do professor ao longo de 1.000 iterações. Em seguida, foram realizadas 300 iterações de Self-Forcing com destilação por correspondência de distribuições em relação ao modelo-professor fixo. O modelo-aluno disponibilizado gera vídeo de forma autorregressiva, com um cache de chave/valor e quatro etapas de remoção de ruído por quadro latente; cada quadro latente consome quatro vetores de ação futuros (0,4 segundos a 10 Hz) e produz quatro novos quadros de vídeo, permitindo a geração contínua em fluxo.

Um segundo ponto de verificação disponibilizado usa duas etapas de remoção de ruído. A NVIDIA afirma que o modelo de duas etapas é treinado separadamente, e não corresponde ao modelo de quatro etapas executado com menos etapas de amostragem, e que menos etapas de remoção de ruído resultam em inferência mais rápida, mas com menor qualidade visual. A geração em fluxo é executada pelo FlashDreams com um módulo FadeMem adaptado, que consolida o cache de chave/valor em crescimento durante simulações prolongadas, complementando o tratamento do histórico gerado pelo Self-Forcing.

Dados de treinamento e avaliação com dados reservados

O ajuste fino utilizou gravações clínicas proprietárias de colecistectomias realizadas com o Versius da CMR Surgical, provenientes de 4.792 episódios que totalizam cerca de 17 milhões de quadros a 60 Hz e resolução de 1080p, reamostrados para 10 Hz. Os cirurgiões operaram o robô por teleoperação durante os procedimentos; os rótulos das ações foram derivados automaticamente da telemetria do robô, e a visibilidade dos instrumentos foi rotulada manualmente.

A seleção das amostras reteve apenas janelas em que exatamente dois instrumentos estivessem visíveis e em uso em cada linha nativa de 60 Hz das janelas de histórico e futuro. O par canônico era um graspador Cadiere à esquerda e um gancho monopolar à direita. Também foram excluídas as janelas com comandos ativos da câmera acima de um limite fixo. O conjunto de treinamento compreendeu 64 gravações e cerca de 526 minutos únicos de vídeo, com 183.528 inícios de janela para o horizonte de 24 quadros e aproximadamente 436 minutos distribuídos por 106.820 inícios de janela para o horizonte de 72 quadros usado na destilação. As gravações foram divididas por episódio: cerca de 98 por cento dos minutos únicos foram usados para treinamento e aproximadamente 2 por cento foram reservados.

A validação em dados reservados abrange aproximadamente 10,6 minutos de 10 gravações, cerca de 6.400 quadros a 10 Hz. Cada painel fixo de avaliação, composto por amostras dessas gravações, contém 48 casos de qualidade e 12 casos de controle de ação, complementados por testes de rotação com as ferramentas em posição neutra e com rotações de ±5° e ±15°, além de simulações contínuas de 30,4 segundos para análise visual. A ficha do modelo descreve o conteúdo como vídeo endoscópico intra-abdominal e telemetria do robô de procedimentos clínicos em pacientes humanos. As imagens mostram anatomia e instrumentos cirúrgicos, não rostos ou outras imagens que permitam identificar as pessoas, e não incluem áudio nem texto.

Desempenho, licenciamento e código

A ficha do modelo informa um desempenho de 30,0 quadros por segundo na resolução de 832 x 480 com quatro etapas de difusão e de 43,2 FPS com duas etapas em uma RTX PRO 6000 Blackwell Workstation Edition; na edição Max-Q, o desempenho é de 20,2 e 31,2 FPS, respectivamente, e chega a 16,9 FPS na DGX Spark, com a resolução reduzida para 512 x 288. A execução interativa em tempo real foi validada em uma única RTX PRO 6000 e na DGX Spark, e o modelo também funciona em uma Hopper H100. As microarquiteturas compatíveis são NVIDIA Blackwell e Hopper, o sistema operacional compatível é o Linux, e o treinamento e a inferência nativa usaram precisão mista BF16, com os pesos exportados em FP32.

O repositório complementar do GitHub é licenciado sob a Apache-2.0 e permite reproduzir ações gravadas com saída em MP4, bem como controlar o sistema ao vivo por meio de um headset compatível com WebXR e dois controladores rastreados. Entre os requisitos de sistema listados pelo repositório estão Linux com uma GPU compatível com CUDA, Python 3.12, o gerenciador de pacotes uv e mais de 32 GB de VRAM na configuração padrão de 480 x 832.

A NVIDIA também publicou um guia passo a passo para o ajuste fino de um modelo professor e a destilação Self-Forcing, a fim de permitir que os desenvolvedores adaptem o sistema a outros conjuntos de dados e configurações robóticas com vídeo sincronizado e representações de ações compatíveis. O anúncio observa que as integrações de controladores devem usar as mesmas convenções de ação e normalização do treinamento. As considerações éticas da ficha do modelo afirmam que os desenvolvedores devem ter os direitos e as permissões necessários para o conteúdo de imagens e vídeos de entrada e que o vídeo gerado não desfocará pessoas nem informações pessoais de saúde incluídas nas entradas.

Limitações declaradas e direções de pesquisa

A NVIDIA afirma que o realismo visual é um ponto de partida para a validação, não uma prova de precisão biomecânica, e que uma simulação aparentemente plausível que ignore comandos de controle não pode servir como ambiente interativo. O anúncio apresenta direções de pesquisa que incluem modelar todo o procedimento de colecistectomia, com limites claros para as tarefas e critérios de sucesso; conectar simulações generativas e numéricas; realizar avaliações com cirurgiões; oferecer suporte a mais instrumentos; e desenvolver políticas cirúrgicas autônomas acopladas ao modelo em um ciclo fechado. A NVIDIA apresenta essas iniciativas como direções de pesquisa, não como capacidades clínicas estabelecidas, e afirma que o Cosmos3-H-Dreams é um simulador de pesquisa, não um sistema validado para o atendimento de pacientes.