NVIDIAS chirurgisches Weltmodell läuft jetzt live auf einer GPU

NVIDIA (NVDA ) hat einen chirurgischen Simulator veröffentlicht, der das Operationsfeld in Echtzeit generiert, schnell genug für einen Chirurgen oder eine trainierte Roboterpolitik, um die Szene zu steuern, während sie produziert wird. Das Modell, Cosmos-H-Dreams, läuft mit etwa 160 Bildern pro Sekunde auf einer einzelnen RTX PRO 6000 GPU, gegenüber etwa 10 Bildern pro Sekunde für das Offline-Modell, aus dem es destilliert wurde, laut NVIDIAS eigenen Angaben. Gewichte und Serviercode wurden am 23. Juli 2026 veröffentlicht, und das Unternehmen veröffentlichte die technische Aufschlüsselung vier Tage später.

Es gibt keinen Physik-Engine unterhalb. Anstatt Gewebe, Naht und Instrumentenkontakt von Hand zu erstellen, lernt das Modell visuelle Dynamik aus gepaarten chirurgischen Videos und Roboterkinematik, und dann vorhersagt, was die Kamera als nächstes sehen wird. Es benötigt ein anfängliches Bild plus einen Live-Stream von Arm-Befehlen und generiert den folgenden Block von 12 Bildern, bevor es die nächste Charge von Aktionen verbraucht. Ein Browser-Client kann es von einer Tastatur aus steuern, ein Meta Quest-Headset kann die Bewegung des Controllers in Roboter-Aktionen umwandeln, und eine gelernte chirurgische Politik kann in die gleiche Schleife anstelle des Menschen eingesetzt werden. Die gleiche Klasse von Modellen hat in anderen Bereichen der Branche ernstes Geld eingebracht, einschließlich Odysseys 310-Millionen-Dollar-Serie-B für Weltmodelle.

Wie die Bildfrequenz erworben wurde

Cosmos-H-Dreams ist ein destillierter Schüler eines langsameren Modells. Der Lehrer, Cosmos-H-Chirurgischer-Simulator, basiert auf NVIDIAS 2-Milliarden-Parameter-Cosmos-Predict2.5-Video-Modell und produziert chirurgische Rollouts in einem Durchgang nach dem Fakten, was für die Bewertung einer aufgezeichneten Traektorie geeignet ist, aber nicht für die Steuerung. Der Schüler wurde trainiert, von seiner eigenen generierten Geschichte auszugehen, anstatt von sauberem Grundwahrheit, ein Verfahren, das die Modellkarte als Selbst-Forcing-Destillation bezeichnet, und es produziert jedes latente Bild in zwei bis vier Denoising-Schritten anstatt der vielen des Lehrers. FlashDreams, NVIDIAS Streaming-Inference-Bibliothek, deckt den Rest ab, indem es einen rollierenden Cache von vergangenen Bildern hält und die wiederholte GPU-Arbeit vorab erfassen, sodass die Hardware sie nicht auf jedem Schritt neu plant.

Der veröffentlichte Checkpoint erledigt eine Aufgabe: Tisch-Nähen auf dem da Vinci Research Kit, einer physischen Plattform, die akademische Labore verwenden, um chirurgische Politiken zu entwickeln und zu testen. Es läuft bei 288 x 512 Pixeln und akzeptiert Befehle mit einer effektiven Frequenz von 10 Hz. Dies ist eine Bankaufgabe, nicht ein Körper.

Die Trainingsmischung ist möglicherweise interessanter als die Bildfrequenz. Neben erfolgreichen Nähen und Knoten-Bindung-Demonstrationen von Johns Hopkins hat NVIDIA absichtlich Fehler und außerhalb der Verteilungsepisoden beibehalten: Nadel-Fehler, verpasste Würfe, Knoten, die nicht hielten. Der angegebene Grund ist, dass ein Simulator, der Politiken bewerten soll, die Konsequenzen schlechter Aktionen reproduzieren muss, nicht nur ideale Demonstrationen.

Versius wird verkabelt

NVIDIA sagt, es habe mit CMR Surgical und Cambridge Consultants, der Capgemini-eigenen Ingenieursfirma, zusammengearbeitet, um das Modell mit dem Chirurgen-Controller für CMR’s Versius-Plattform zu verbinden und es live laufen zu lassen. CMR hat die Einrichtung einem chirurgischen Publikum auf einer Roboter-Chirurgie-Konferenz in Florida Ende Juli 2026 präsentiert. Das Unternehmen hat einen Grund, frühzeitig in dieser Schleife zu sein: NVIDIA gibt an, dass es fast 500 Stunden anonymisierter Versius-Verfahrensdaten zum Open-H-Embodiment-Datensatz beigetragen hat, auf dem die Modellfamilie vorgebildet wurde, und CMR beschreibt sich selbst als größten Beitragenden zu diesem Datensatz.

CMR ist auch direkt darüber, was die Demonstration nicht ist. Ein Fußnoten-Hinweis auf ihrer Veröffentlichung besagt, dass die Simulation “nur für Forschungs- und Demonstrationszwecke” ist, nicht Teil des freigegebenen Versius-Plus-Systems ist und nicht für klinische Entscheidungen oder Patientenversorgung bestimmt ist. Versius Plus selbst ist in den USA nur für die Entfernung der Gallenblase bei Erwachsenen freigegeben, mit einer gynäkologischen Anwendung, die noch aussteht. Die regulatorische Freigabe für chirurgische Hardware bewegt sich immer noch von Verfahren zu Verfahren, wie Momentis’ Anovo-Roboter zeigte, als es die US-Freigabe für Multiport-Chirurgie erhielt. NVIDIA zieht die gleiche Linie in seinem eigenen Beitrag: Dies ist eine Forschungs- und Entwicklungsplattform, kein Diagnose-System und kein Controller für einen physischen chirurgischen Roboter.

Die Validierungsagenda

Das Modell ist die generative Hälfte des Medical Physics Simulation Frameworks, den NVIDIA am 22. Juli 2026 innerhalb seines Isaac for Healthcare-Stacks open source gemacht hat, wo konventionelle Solver Kontakt und Reibung behandeln und das gelernte Modell visuelle Szenen-Dynamik behandelt. Es ist die gleiche Position, die NVIDIA auf dem Fabrikboden eingenommen hat, indem es die Simulations-Schicht liefert, auf der andere Anbieter Produkte aufbauen.

NVIDIAS Beitrag sagt, der nächste Schritt sei, mehr als nur visuelle Qualität zu bewerten, und es schlägt eine Familie von geschlossenen Tests als Maßstab dafür vor, ob die schnelle Version genau genug ist, um vertrauenswürdig zu sein:

• Werkzeug-Spitzen- und Pose-Genauigkeit
• Gripper-Zyklus-Treue und Stabilität, wenn die Instrumente stillstehen
• Drift über lange Rollouts
• Übereinstimmung zwischen simulierten und realen Politik-Ergebnissen

Der nächste Transfer-Beweis kommt aus der früheren Linie: Ein 2025-Papier von NVIDIA- und Johns-Hopkins-Forschern berichtete über eine starke Korrelation zwischen Rollouts im Offline-Chirurgie-Modell und Politik-Ergebnissen auf einem physischen da Vinci-Forschungssystem für Suture-Pad-Aufgaben, plus vorläufige Ausrichtung auf ex-vivo-Porcine-Gallenblase-Arbeit. Das war das langsame bidirektionale Modell und nicht der zweistufige Schüler, und das Repository selbst vermerkt, dass der schnellere Zeitplan einige Treue kostet.

Es ist billig, es in die Hand zu bekommen, im Vergleich zu Frontier-Modellen. Die Gewichte tragen NVIDIAS offenes Modell-Lizenz und der Servier-Code ist Apache 2.0, mit dem Repository, das einen GPU mit 12 GB Speicher, einen aktuellen Treiber und Linux verlangt. Es gibt noch keinen technischen Bericht; der Link zum Repository zeigt auf eine Platzhalter-Datei. Video-konditionierte Roboter-Politiken bewegen sich bereits auf Produktionslinien, wie bei Mimic Robotics’ FLUX-mimic in einem Audi-Werk, aber Chirurgie hat einen härteren Akzeptanztest. Für die Labore, die chirurgische Politiken trainieren, ist die Frage, die zählt, ob ein Punktestand, der innerhalb dieses Simulators erzielt wird, vorhersagt, was der Arm auf einem echten Suture-Pad tut. NVIDIA hat diesen Benchmark benannt, und seine Ergebnisse sind das, worauf die nächste Runde von Beweisen basieren wird.