NVIDIA lanza Cosmos3-H-Dreams, un modelo del mundo quirúrgico en tiempo real

El 20 de octubre de 2026, NVIDIA lanzó Cosmos3-H-Dreams, un modelo generativo del mundo en tiempo real y condicionado por acciones para cirugía robótica, ajustado con grabaciones clínicas de colecistectomías realizadas con el sistema Versius de CMR Surgical. Ese mismo día se publicaron el punto de control del modelo y el código complementario.

En un anuncio de NVIDIA en Hugging Face, la compañía afirmó que, hasta donde sabe, Cosmos3-H-Dreams es el primer simulador quirúrgico generativo en tiempo real entrenado con grabaciones clínicas de colecistectomías que permite el control cinemático en directo. Según el anuncio, el modelo, basado en Cosmos 3 y acelerado con FlashDreams, la biblioteca de NVIDIA para inferencia en flujo continuo, funciona de manera interactiva en una sola GPU NVIDIA RTX PRO 6000.

La ficha del modelo indica como fechas de lanzamiento el 20 de octubre de 2026 tanto en GitHub como en Hugging Face, y señala que el modelo está listo para usos comerciales o no comerciales conforme a la licencia NVIDIA Open Model License. Entre los usos previstos menciona la evaluación en simulación de políticas para robótica quirúrgica, la exploración interactiva de modelos del mundo mediante teleoperación y la generación de datos sintéticos para colecistectomías robóticas. Está dirigido a investigadores en robótica quirúrgica, desarrolladores de IA para la atención sanitaria, instituciones académicas y empresas de robótica quirúrgica.

De la sutura en mesa a los entornos clínicos

Cosmos3-H-Dreams sucede a Cosmos-H-Dreams, un modelo basado en Cosmos-Predict2.5 y diseñado para suturas en mesa con dVRK. Como modelo fundacional del mundo, el sistema anterior aprendía la dinámica visual directamente de vídeos sincronizados y de la cinemática del robot, en lugar de modelar explícitamente la geometría de la escena, la deformación de los tejidos y las interacciones físicas. La nueva versión traslada ese enfoque a entornos clínicos, donde los tejidos se estiran al aplicar tracción, los reflejos cambian, las estructuras quedan ocultas y el humo modifica la visibilidad, y donde pequeños errores de generación pueden acumularse durante secuencias prolongadas y alterar gradualmente la geometría de los instrumentos o la estructura anatómica.

Arquitectura y proceso de destilación

El modelo se basa en Cosmos3-H-Embodied-Nano, un modelo de 16.000 millones de parámetros entrenado con el conjunto de datos Open-H-Embodiment, y adapta un modelo docente bidireccional con vídeos seleccionados de colecistectomías y datos cinemáticos. Cosmos3-H-Dreams tiene aproximadamente 15.170 millones de parámetros y emplea una arquitectura de mezcla de transformadores que combina un módulo de razonamiento Qwen3-VL-8B-Instruct con un experto en generación por difusión latente. Este último trabaja con latentes VAE de Wan2.2 y capas de incrustación de acciones para el condicionamiento cinemático.

La interfaz de acciones utiliza 28 dimensiones por paso temporal, con 14 dimensiones por brazo que abarcan la traslación relativa al punto de anclaje, la rotación 6D, la posición de la mandíbula, la activación de energía electroquirúrgica, un botón de la palanca de mando y sus ejes. La interfaz se amplió de 20 dimensiones para adaptarla a la configuración de Versius; se conservaron los pesos preentrenados de postura y mandíbula, y las nuevas entradas de control se inicializaron en cero. El entrenamiento utiliza vídeo de 832 × 480, con las acciones sincronizadas a 10 Hz, una frecuencia de muestreo que, según señala el anuncio, es distinta del rendimiento de generación durante la ejecución.

El modelo docente bidireccional se ajustó primero con 24 fotogramas futuros durante 2.000 iteraciones y, después, con un horizonte de 72 fotogramas durante 4.400 iteraciones, equivalentes a 2,4 y 7,2 segundos a 10 Hz. La destilación convirtió el modelo docente de 72 fotogramas, que utilizaba 35 pasos de muestreo, en un modelo estudiante causal por bloques mediante aprendizaje causal con guía del docente durante 1.000 iteraciones. A continuación, se realizaron 300 iteraciones de Self-Forcing con destilación por ajuste de distribuciones frente al modelo docente fijo. El modelo estudiante publicado genera vídeo de forma autorregresiva con una caché de clave/valor y cuatro pasos de eliminación de ruido por fotograma latente; cada fotograma latente consume cuatro vectores de acción futuros (0,4 segundos a 10 Hz) y produce cuatro fotogramas de vídeo nuevos, lo que permite generar secuencias en flujo continuo.

Una segunda versión publicada del punto de control utiliza dos pasos de eliminación de ruido. NVIDIA afirma que el modelo de dos pasos se entrenó por separado, en lugar de obtenerse ejecutando el modelo de cuatro pasos con menos pasos de muestreo, y que reducir los pasos de eliminación de ruido acelera la inferencia a costa de una menor calidad visual. La generación en flujo continuo se ejecuta mediante FlashDreams, con un módulo FadeMem adaptado que consolida la caché de clave/valor, cuyo tamaño aumenta durante las secuencias prolongadas, y complementa el tratamiento del historial generado que realiza Self-Forcing.

Datos de entrenamiento y evaluación con datos reservados

El ajuste fino utilizó grabaciones clínicas confidenciales de colecistectomías realizadas con Versius de CMR Surgical, procedentes de 4.792 episodios que sumaban aproximadamente 17 millones de fotogramas a 60 Hz y una resolución de 1080p, remuestreados a 10 Hz. Durante los procedimientos, los cirujanos teleoperaron el robot; las etiquetas de acción se obtuvieron automáticamente a partir de la telemetría del robot y la visibilidad de los instrumentos se etiquetó manualmente.

La selección de muestras conservó únicamente las ventanas en las que había exactamente dos instrumentos visibles y en uso en cada fila nativa de 60 Hz de las ventanas de historial y futuro. La combinación canónica era una pinza Cadiere a la izquierda y un gancho monopolar a la derecha. También se excluyeron las ventanas con comandos activos de cámara por encima de un umbral fijo. El conjunto de entrenamiento incluyó 64 grabaciones y cerca de 526 minutos únicos de vídeo, con 183.528 puntos de inicio de ventana para el horizonte de 24 fotogramas; para el horizonte de 72 fotogramas utilizado en la destilación, incluyó aproximadamente 436 minutos y 106.820 puntos de inicio de ventana. Las grabaciones se dividieron por episodio: alrededor del 98 % de los minutos únicos se destinó al entrenamiento y cerca del 2 % se reservó.

La validación con datos reservados abarca aproximadamente 10,6 minutos de 10 grabaciones, unos 6.400 fotogramas a 10 Hz. Cada panel de evaluación fijo, extraído de estas grabaciones, contiene 48 casos de calidad y 12 casos de control de acciones, complementados con pruebas de rotación en las que las herramientas giran 0°, ±5° y ±15°, y secuencias continuas de 30,4 segundos para su revisión visual. La ficha describe el contenido como vídeo endoscópico intraabdominal y telemetría robótica de procedimientos clínicos en pacientes humanos, que muestran anatomía e instrumentos quirúrgicos, en lugar de rostros u otras imágenes que permitan identificar a las personas, sin audio ni texto.

Rendimiento, licencias y código

La ficha del modelo indica un rendimiento de 30,0 fotogramas por segundo a 832 x 480 con cuatro pasos de difusión y de 43,2 FPS con dos pasos en una RTX PRO 6000 Blackwell Workstation Edition; en la edición Max-Q, alcanza 20,2 y 31,2 FPS, respectivamente, y en DGX Spark, 16,9 FPS a una resolución reducida de 512 x 288. El funcionamiento interactivo en tiempo real se validó en una sola RTX PRO 6000 y en DGX Spark, y el modelo también se ejecuta en una Hopper H100. Las microarquitecturas compatibles son NVIDIA Blackwell y Hopper; Linux es el sistema operativo compatible. Para el entrenamiento y la inferencia nativa se utilizó precisión mixta BF16, y los pesos se exportaron como FP32.

El repositorio complementario de GitHub está sujeto a la licencia Apache-2.0 y permite reproducir acciones grabadas y generar archivos MP4, así como controlar el sistema en directo desde un casco compatible con WebXR con dos mandos con seguimiento. Entre los requisitos del sistema que enumera el repositorio figuran Linux con una GPU compatible con CUDA, Python 3.12, el gestor de paquetes uv y más de 32 GB de VRAM con la configuración predeterminada de 480 x 832.

NVIDIA también publicó una receta paso a paso para el ajuste fino con un modelo docente y la destilación Self-Forcing, de modo que los desarrolladores puedan adaptar el sistema a otros conjuntos de datos y cuerpos robóticos con vídeo sincronizado y representaciones de acciones compatibles. El anuncio señala que las integraciones con controladores deben utilizar las mismas convenciones de acción y la misma normalización que el entrenamiento. En las consideraciones éticas de la ficha del modelo se indica que los desarrolladores deben contar con los derechos y permisos adecuados para el contenido de imagen y vídeo de entrada, y que el vídeo generado no difuminará a las personas ni la información personal de salud incluida en las entradas.

Limitaciones declaradas y líneas de investigación

NVIDIA afirma que el realismo visual es un punto de partida para la validación, no una prueba de precisión biomecánica, y que una secuencia de resultados de aspecto plausible que ignore las órdenes de control no puede servir como entorno interactivo. El anuncio enumera varias líneas de investigación: modelar el procedimiento completo de colecistectomía con límites claros entre tareas y criterios de éxito; conectar la simulación generativa con la numérica; realizar evaluaciones con cirujanos; admitir más instrumentos; y desarrollar políticas quirúrgicas autónomas acopladas al modelo en un circuito cerrado. NVIDIA presenta estas propuestas como líneas de investigación, no como capacidades clínicas consolidadas, y afirma que Cosmos3-H-Dreams es un simulador de investigación, no un sistema validado para la atención de pacientes.