NVIDIA veröffentlicht Cosmos3-H-Dreams, ein chirurgisches Echtzeit-Weltmodell

NVIDIA veröffentlichte Cosmos3-H-Dreams am 20. Oktober 2026. Das generative, aktionskonditionierte Weltmodell für die robotergestützte Chirurgie in Echtzeit wurde anhand klinischer Aufzeichnungen von Cholezystektomien mit dem System CMR Surgical Versius feinabgestimmt. Der Modell-Checkpoint und der zugehörige Code wurden am selben Tag veröffentlicht.

In einer von NVIDIA verfassten Ankündigung auf Hugging Face erklärte das Unternehmen, Cosmos3-H-Dreams sei seines Wissens der erste generative Chirurgie-Simulator in Echtzeit, der anhand klinischer Aufzeichnungen von Cholezystomien trainiert wurde und eine Live-Steuerung anhand kinematischer Daten unterstützt. Das auf Cosmos 3 basierende und mit FlashDreams, NVIDIAs Bibliothek für Streaming-Inferenz, beschleunigte Modell läuft der Ankündigung zufolge interaktiv auf einer einzelnen NVIDIA RTX PRO 6000 GPU.

Die Modellkarte nennt den 20. Oktober 2026 als Veröffentlichungsdatum auf GitHub und Hugging Face und gibt an, dass das Modell gemäß der NVIDIA Open Model License für die kommerzielle und nicht kommerzielle Nutzung bereitsteht. Als vorgesehene Einsatzbereiche nennt sie die Bewertung von Richtlinien für chirurgische Robotik in Simulationen, die interaktive Erkundung von Weltmodellen mittels Teleoperation und die Erzeugung synthetischer Daten für robotergestützte Cholezystektomien. Die Zielgruppen sind Forschende im Bereich chirurgische Robotik, Entwickler von KI-Systemen im Gesundheitswesen, akademische Einrichtungen und Unternehmen für chirurgische Robotik.

Von Nahtarbeiten am Tischmodell zu klinischen Szenen

Cosmos3-H-Dreams ist der Nachfolger von Cosmos-H-Dreams, einem auf Cosmos-Predict2.5 basierenden Modell, das auf Nahtarbeiten an einem dVRK-Tischmodell ausgerichtet war. Als Welt-Grundlagenmodell erlernte das frühere System die visuelle Dynamik direkt aus synchronisierten Video- und Roboterkinematikdaten, anstatt Szenengeometrie, Gewebeverformung und physikalische Wechselwirkungen explizit zu modellieren. Die neue Version überträgt diesen Ansatz auf klinische Szenen, in denen sich Gewebe unter Zug dehnt, Reflexionen sich verschieben, Strukturen verdeckt werden und Rauch die Sichtverhältnisse verändert. In solchen Szenen können sich zudem kleine Generierungsfehler über lange Rollouts hinweg summieren und die Instrumentengeometrie oder anatomische Strukturen allmählich verändern.

Architektur und Destillationspipeline

Das Modell baut auf Cosmos3-H-Embodied-Nano auf, einem Modell mit 16 Milliarden Parametern, das anhand des Datensatzes Open-H-Embodiment trainiert wurde, und spezialisiert ein bidirektionales Lehrermodell auf kuratierte Video- und Kinematikdaten zu Cholezystektomien. Cosmos3-H-Dreams selbst hat ungefähr 15,17 Milliarden Parameter und verwendet eine Mixture-of-Transformers-Architektur, die einen Qwen3-VL-8B-Instruct-Reasoning-Turm mit einem Expertenmodell für die Latent-Diffusion-Generierung kombiniert. Das Modell arbeitet mit Wan2.2-VAE-Latents und nutzt Action-Embedding-Schichten zur kinematischen Konditionierung.

Die Aktionsschnittstelle umfasst 28 Dimensionen pro Zeitschritt, davon 14 je Arm. Diese decken die Translation relativ zum Anker, eine 6D-Rotation, die Position des Mauls, die Aktivierung elektrochirurgischer Energie, eine Daumenstick-Taste und die Daumenstick-Achsen ab. Für den Versius-Körper wurde die Schnittstelle von 20 auf 28 Dimensionen erweitert; dabei blieben die vortrainierten Gewichte für Pose und Maul erhalten, während die neuen Steuereingaben mit Nullen initialisiert wurden. Das Training verwendet Videos mit einer Auflösung von 832 × 480 Pixeln und auf 10 Hz ausgerichtete Aktionen. Wie die Ankündigung anmerkt, ist diese Abtastrate nicht mit dem Generierungsdurchsatz zur Laufzeit gleichzusetzen.

Das bidirektionale Lehrermodell wurde zunächst mit 24 zukünftigen Frames über 2.000 Iterationen und anschließend mit einem Horizont von 72 Frames über 4.400 Iterationen feinabgestimmt. Bei 10 Hz entspricht dies 2,4 beziehungsweise 7,2 Sekunden. Bei der Destillation wurde das Lehrermodell mit 72 Frames und 35 Abtastschritten durch kausales Teacher Forcing über 1.000 Iterationen in ein blockkausales Schülermodell umgewandelt. Darauf folgten 300 Iterationen Self-Forcing mit einer Verteilungsabgleichs-Destillation gegenüber dem unveränderten Lehrermodell. Das veröffentlichte Schülermodell generiert Videos autoregressiv mithilfe eines Schlüssel-Wert-Caches und vier Entrauschungsschritten pro latentem Frame. Jeder latente Frame verarbeitet vier zukünftige Aktionsvektoren (0,4 Sekunden bei 10 Hz) und erzeugt vier neue Videoframes, wodurch Streaming-Rollouts möglich werden.

Ein zweiter veröffentlichter Checkpoint verwendet zwei Entrauschungsschritte. NVIDIA zufolge wurde das Modell mit zwei Schritten separat trainiert; es handelt sich also nicht um das Modell mit vier Schritten, das lediglich mit weniger Abtastschritten ausgeführt wird. Weniger Entrauschungsschritte ermöglichen eine schnellere Inferenz, gehen jedoch zulasten der visuellen Qualität. Das Streaming läuft über FlashDreams mit einem angepassten FadeMem-Modul, das den wachsenden Schlüssel-Wert-Cache während langer Rollouts zusammenführt und so Self-Forcing ergänzt, das den Umgang mit dem generierten Verlauf übernimmt.

Trainingsdaten und zurückgehaltene Evaluierungsdaten

Für die Feinabstimmung wurden proprietäre klinische Aufzeichnungen von Cholezystektomien mit CMR Surgical Versius verwendet. Sie stammten aus 4.792 Eingriffen und umfassten insgesamt etwa 17 Millionen Frames mit 60 Hz und einer Auflösung von 1080p; die Daten wurden auf 10 Hz heruntergerechnet. Während der Eingriffe steuerten Chirurgen den Roboter per Teleoperation. Die Aktionsbeschriftungen wurden automatisch aus der Robotertelemetrie abgeleitet, die Sichtbarkeit der Instrumente hingegen manuell annotiert.

Bei der Auswahl der Stichproben blieben nur Zeitfenster erhalten, in denen in jeder nativen 60-Hz-Zeile sowohl des Verlaufs- als auch des Zukunftsfensters genau zwei Instrumente sichtbar und im Einsatz waren. Als Standardkombination dienten ein linker Cadiere-Greifer und ein rechter monopolarer Haken. Zeitfenster mit aktiven Kamerabefehlen oberhalb eines festgelegten Schwellenwerts wurden ausgeschlossen. Der Trainingsdatensatz umfasste 64 Aufzeichnungen und etwa 526 einzigartige Videominuten sowie 183.528 Zeitfensteranfänge für den 24-Frame-Horizont. Für den bei der Destillation verwendeten 72-Frame-Horizont umfasste er rund 436 Minuten mit 106.820 Zeitfensteranfängen. Die Aufzeichnungen wurden auf Eingriffsebene aufgeteilt; etwa 98 Prozent der einzigartigen Minuten wurden für das Training verwendet und etwa 2 Prozent zurückgehalten.

Die Validierung anhand zurückgehaltener Daten umfasst etwa 10,6 Minuten aus 10 Aufzeichnungen, also rund 6.400 Einzelbilder bei 10 Hz. Die aus diesen Aufzeichnungen zusammengestellten festen Evaluierungssätze umfassen jeweils 48 Qualitätsfälle sowie 12 Fälle zur Aktionssteuerung. Ergänzt werden sie durch Rotationstests mit Werkzeugrotationen von neutral, ±5° und ±15° sowie durch 30,4 Sekunden lange kontinuierliche Abläufe zur visuellen Überprüfung. Laut Modellkarte handelt es sich bei den Inhalten um intraabdominelle endoskopische Videoaufnahmen und Telemetriedaten von Robotern aus klinischen Eingriffen an Menschen. Sie zeigen Anatomie und chirurgische Instrumente, jedoch keine Gesichter oder andere identifizierende Ansichten; Audio oder Text ist nicht enthalten.

Leistung, Lizenzierung und Code

Laut Modellkarte erreicht das Modell auf einer RTX PRO 6000 Blackwell Workstation Edition bei einer Auflösung von 832 x 480 mit vier Diffusionsschritten 30,0 Bilder pro Sekunde und mit zwei Schritten 43,2 FPS. Auf der Max-Q Edition sind es 20,2 beziehungsweise 31,2 FPS; auf DGX Spark erreicht es bei der reduzierten Auflösung von 512 x 288 16,9 FPS. Der interaktive Echtzeitbetrieb wurde auf einer einzelnen RTX PRO 6000 und auf DGX Spark validiert; außerdem läuft das Modell auf einer Hopper H100. Unterstützt werden die Mikroarchitekturen NVIDIA Blackwell und Hopper. Linux ist das unterstützte Betriebssystem. Für das Training und die native Inferenz kam gemischte BF16-Präzision zum Einsatz; die Gewichte wurden als FP32 exportiert.

Das begleitende GitHub-Repository steht unter der Apache-2.0-Lizenz und unterstützt sowohl die Wiedergabe aufgezeichneter Aktionen mit MP4-Ausgabe als auch die Live-Steuerung über ein WebXR-kompatibles Headset mit zwei getrackten Controllern. Zu den im Repository aufgeführten Systemanforderungen gehören Linux mit einer CUDA-fähigen GPU, Python 3.12, der Paketmanager uv und mehr als 32 GB VRAM bei der Standardkonfiguration mit 480 x 832.

NVIDIA veröffentlichte außerdem eine Schritt-für-Schritt-Anleitung für das Fine-Tuning mit einem Lehrermodell und die Self-Forcing-Destillation, damit Entwickler das System an andere Datensätze und Roboterplattformen mit synchronisierten Videos und kompatiblen Aktionsdarstellungen anpassen können. In der Ankündigung wird darauf hingewiesen, dass Controller-Integrationen dieselben Aktionskonventionen und dieselbe Normalisierung wie beim Training verwenden müssen. In den ethischen Überlegungen der Modellkarte heißt es, dass Entwickler über die erforderlichen Rechte und Genehmigungen für die als Eingabe verwendeten Bilder und Videos verfügen müssen und dass generierte Videos weder Personen noch personenbezogene Gesundheitsinformationen unkenntlich machen, die in den Eingaben enthalten sind.

Genannte Einschränkungen und Forschungsrichtungen

NVIDIA erklärt, dass visuelle Realitätsnähe einen Ausgangspunkt für die Validierung darstellt, aber keinen Beleg für biomechanische Genauigkeit liefert. Ein plausibel wirkender Simulationsablauf, der Steuerungsbefehle ignoriert, kann demnach nicht als interaktive Umgebung dienen. Zu den in der Ankündigung genannten Forschungsrichtungen zählen die Modellierung des gesamten Cholezystektomie-Eingriffs mit klar definierten Aufgabenabgrenzungen und Erfolgskriterien, die Verbindung generativer und numerischer Simulation, die Bewertung durch Chirurgen, die Unterstützung weiterer Instrumente sowie die Entwicklung autonomer chirurgischer Steuerungsstrategien, die in einer geschlossenen Regelschleife mit dem Modell gekoppelt sind. NVIDIA stellt diese Punkte als Forschungsrichtungen und nicht als etablierte klinische Fähigkeiten dar und betont, dass Cosmos3-H-Dreams ein Forschungssimulator und kein für die Patientenversorgung validiertes System ist.