O Modelo de Mundo Cirúrgico da NVIDIA Agora Executa em Tempo Real em um único GPU

A NVIDIA (NVDA ) lançou um simulador cirúrgico que gera o campo de operação em tempo real, rápido o suficiente para que um cirurgião ou uma política de robô treinada possa controlar a cena enquanto ela está sendo produzida. O modelo, Cosmos-H-Dreams, executa a cerca de 160 quadros por segundo em um único GPU RTX PRO 6000, em comparação com cerca de 10 quadros por segundo para o modelo offline do qual foi distilado, de acordo com os próprios números da NVIDIA. Os pesos e o código de serviço foram publicados em 23 de julho de 2026, e a empresa publicou a quebra técnica quatro dias depois.

Não há um motor de física por baixo. Em vez de criar tecido, suturas e contato de instrumentos à mão, o modelo aprende dinâmica visual a partir de vídeos cirúrgicos emparelhados e cinemática de robô, e então prevê o que a câmera veria em seguida. Ele leva um quadro inicial mais um fluxo de comandos de braço em tempo real e gera o bloco seguinte de 12 quadros antes de consumir o próximo lote de ações. Um cliente de navegador pode dirigí-lo a partir de um teclado, um headset Meta Quest pode mapear o movimento do controlador rastreado em ações de robô, e uma política cirúrgica aprendida pode ser colocada no mesmo loop no lugar do humano. A mesma classe de modelo arrecadou dinheiro sério em outras partes da indústria, incluindo Odyssey’s $310 milhões em série B para modelos de mundo.

Como a taxa de quadros foi comprada

Cosmos-H-Dreams é um estudante destilado de um modelo mais lento. O professor, Cosmos-H-Surgical-Simulator, é construído no modelo de vídeo de 2 bilhões de parâmetros da NVIDIA, Cosmos-Predict2.5, e produz simulações cirúrgicas em uma passagem após o fato, o que é adequado para pontuar uma trajetória gravada, mas não para dirigir uma. O estudante foi treinado para continuar a partir de sua própria história gerada, em vez de a partir da verdade fundamentada limpa, um procedimento que o cartão do modelo chama de destilação auto-forçada, e ele produz cada quadro latente em dois a quatro passos de desruído, em vez dos muitos do professor. FlashDreams, a biblioteca de inferência de streaming da NVIDIA, cobre o resto, mantendo um cache rolante de quadros anteriores e pré-capturando o trabalho de GPU repetido, para que o hardware não replaneje em cada passo.

O checkpoint liberado faz um trabalho: sutura em uma mesa de trabalho no da Vinci Research Kit, uma plataforma física que laboratórios acadêmicos usam para desenvolver e testar políticas cirúrgicas. Ele executa a 288 por 512 pixels e aceita comandos a uma taxa efetiva de 10 Hz. Este é um trabalho de banco, não um corpo.

A mistura de treinamento é, argumentativamente, mais interessante do que a taxa de quadros. Ao lado de demonstrações de sutura e amarração bem-sucedidas do Johns Hopkins, a NVIDIA deliberadamente manteve falhas e episódios fora de distribuição: quedas de agulha, lançamentos perdidos, nós que não seguram. Sua razão declarada é que um simulador destinado a pontuar políticas deve reproduzir as consequências de ações ruins, não apenas demonstrações ideais.

Versius se conecta

A NVIDIA afirma que trabalhou com a CMR Surgical e a Cambridge Consultants, a empresa de engenharia de propriedade da Capgemini, para conectar o modelo ao controlador do cirurgião para a plataforma Versius da CMR e executá-lo em tempo real. A CMR demonstrou a configuração para uma audiência cirúrgica em uma conferência de cirurgia robótica na Flórida no final de julho de 2026. A empresa tem razão para estar nesse loop cedo: a NVIDIA credita a ela por contribuir com quase 500 horas de dados de procedimento Versius anonimizados para o conjunto de dados Open-H Embodiment no qual a família de modelos foi pré-treinada, e a CMR descreve a si mesma como a maior contribuinte para esse conjunto de dados.

A CMR também é direta sobre o que a demonstração não é. Uma nota de rodapé em sua liberação afirma que a simulação é “para fins de pesquisa e demonstração apenas”, não faz parte do sistema Versius Plus liberado, e não é destinada a tomadas de decisão clínicas ou cuidados com pacientes. O próprio Versius Plus é liberado apenas para remoção de vesícula biliar em adultos nos EUA, com uma aplicação ginecológica pendente. A liberação regulatória para hardware cirúrgico ainda se move procedimento por procedimento, como Momentis’s Anovo robot mostrou quando ganhou liberação da FDA para cirurgia multiporta. A NVIDIA traça a mesma linha em sua própria postagem: este é uma plataforma de pesquisa e desenvolvimento, não um sistema de diagnóstico e não um controlador para um robô cirúrgico físico.

A agenda de validação

O modelo é a metade geradora do Medical Physics Simulation framework que a NVIDIA liberou em código aberto em 22 de julho de 2026 dentro de sua pilha Isaac para Healthcare, onde solvers convencionais lidam com contato e fricção e o modelo aprendido lida com dinâmica de cena visual. Ele é a mesma posição que a NVIDIA tomou no chão de fábrica, fornecendo a camada de simulação que outros fornecedores constroem produtos.

O post da NVIDIA afirma que o próximo passo imediato é avaliar mais do que a qualidade visual, e propõe uma família de testes de loop fechado como a medida de se a versão rápida é precisa o suficiente para confiar:

• precisão de alcance e pose da ferramenta
• fidelidade e estabilidade do ciclo de pinça quando os instrumentos estão ociosos
• deriva sobre rollouts longos
• concordância entre resultados de política simulados e reais

A evidência de transferência mais próxima até agora vem da linhagem anterior: um artigo de 2025 por pesquisadores da NVIDIA e do Johns Hopkins relatou uma forte correlação entre rollouts no modelo cirúrgico offline e resultados de política em um sistema de pesquisa da Vinci físico para tarefas de suture-pad, mais alinhamento preliminar em trabalho de vesícula biliar ex-vivo. Isso foi o modelo bidirecional lento, em vez do estudante de dois passos, e o repositório em si observa que o cronograma mais rápido custa alguma fidelidade.

Obter as mãos nele é barato por padrões de modelos de fronteira. Os pesos carregam a licença de modelo aberto da NVIDIA e o código de serviço é Apache 2.0, com o repositório solicitando um GPU com 12 GB de memória, um driver atual e Linux. Não há relatório técnico ainda; o link do repositório para um aponta para um arquivo placeholder. Políticas de robô condicionadas por vídeo já estão se movendo para linhas de produção, como mimic robotics’ FLUX-mimic em uma fábrica da Audi, mas a cirurgia tem um teste de aceitação mais difícil. Para os laboratórios que treinam políticas cirúrgicas, a pergunta que importa é se uma pontuação conquistada dentro desse simulador prevê o que o braço faz em um suture-pad real. A NVIDIA nomeou esse benchmark, e seus resultados são o que a próxima rodada de evidências irá girar.