Η NVIDIA κυκλοφορεί το Cosmos3-H-Dreams, ένα μοντέλο χειρουργικού κόσμου σε πραγματικό χρόνο

Η NVIDIA κυκλοφόρησε το Cosmos3-H-Dreams στις 20 Οκτωβρίου 2026. Πρόκειται για ένα παραγωγικό μοντέλο κόσμου για ρομποτική χειρουργική, το οποίο λειτουργεί σε πραγματικό χρόνο, εξαρτάται από τις ενέργειες και έχει βελτιστοποιηθεί με κλινικές καταγραφές χολοκυστεκτομών από το σύστημα CMR Surgical Versius. Το σημείο ελέγχου του μοντέλου και ο συνοδευτικός κώδικας δημοσιεύτηκαν την ίδια ημέρα.

Σε ανακοίνωση που συνέταξε η NVIDIA στο Hugging Face, η εταιρεία δήλωσε ότι, απ’ όσο γνωρίζει, το Cosmos3-H-Dreams είναι ο πρώτος παραγωγικός χειρουργικός προσομοιωτής σε πραγματικό χρόνο, εκπαιδευμένος με κλινικές καταγραφές χολοκυστεκτομών, που υποστηρίζει ζωντανό κινηματικό έλεγχο. Σύμφωνα με την ανακοίνωση, το μοντέλο βασίζεται στο Cosmos 3 και επιταχύνεται με το FlashDreams, τη βιβλιοθήκη της NVIDIA για συμπερασματολογία ροής, ενώ λειτουργεί διαδραστικά σε μία μόνο GPU NVIDIA RTX PRO 6000.

Η κάρτα του μοντέλου αναφέρει ως ημερομηνία κυκλοφορίας την 20ή Οκτωβρίου 2026 τόσο στο GitHub όσο και στο Hugging Face και διευκρινίζει ότι το μοντέλο είναι έτοιμο για εμπορική ή μη εμπορική χρήση βάσει της Άδειας Ανοικτού Μοντέλου της NVIDIA. Ως προβλεπόμενες χρήσεις αναφέρει την αξιολόγηση πολιτικών ρομποτικής χειρουργικής σε προσομοίωση, τη διαδραστική εξερεύνηση μοντέλων κόσμου μέσω τηλεχειρισμού και τη δημιουργία συνθετικών δεδομένων για ρομποτική χολοκυστεκτομή. Απευθύνεται σε ερευνητές ρομποτικής χειρουργικής, προγραμματιστές τεχνητής νοημοσύνης στον τομέα της υγείας, ακαδημαϊκά ιδρύματα και εταιρείες ρομποτικής χειρουργικής.

Από τη συρραφή σε επιτραπέζιο περιβάλλον στις κλινικές σκηνές

Το Cosmos3-H-Dreams διαδέχεται το Cosmos-H-Dreams, ένα μοντέλο βασισμένο στο Cosmos-Predict2.5, το οποίο είχε σχεδιαστεί για συρραφή σε επιτραπέζιο περιβάλλον με το dVRK. Ως μοντέλο θεμελίωσης κόσμου, το προηγούμενο σύστημα μάθαινε την οπτική δυναμική απευθείας από συγχρονισμένο βίντεο και κινηματικά δεδομένα του ρομπότ, αντί να μοντελοποιεί ρητά τη γεωμετρία της σκηνής, την παραμόρφωση των ιστών και τις φυσικές αλληλεπιδράσεις. Η νέα έκδοση μεταφέρει αυτή την προσέγγιση σε κλινικές σκηνές, όπου οι ιστοί τεντώνονται υπό έλξη, οι αντανακλάσεις μεταβάλλονται, οι δομές αποκρύπτονται και ο καπνός αλλάζει την ορατότητα, ενώ μικρά σφάλματα παραγωγής μπορούν να συσσωρεύονται σε παρατεταμένες εκτελέσεις και να αλλοιώνουν σταδιακά τη γεωμετρία των εργαλείων ή την ανατομική δομή.

Αρχιτεκτονική και διαδικασία απόσταξης

Το μοντέλο βασίζεται στο Cosmos3-H-Embodied-Nano, ένα μοντέλο 16 δισεκατομμυρίων παραμέτρων που εκπαιδεύτηκε στο σύνολο δεδομένων Open-H-Embodiment, και εξειδικεύει ένα αμφίδρομο μοντέλο-εκπαιδευτή με επιμελημένα βίντεο και κινηματικά δεδομένα χολοκυστεκτομών. Το ίδιο το Cosmos3-H-Dreams έχει περίπου 15,17 δισεκατομμύρια παραμέτρους και χρησιμοποιεί αρχιτεκτονική μείγματος μετασχηματιστών, η οποία συνδυάζει έναν πύργο συλλογισμού Qwen3-VL-8B-Instruct με ένα ειδικευμένο μοντέλο παραγωγής λανθανουσών μεταβλητών μέσω διάχυσης. Λειτουργεί με λανθάνουσες αναπαραστάσεις Wan2.2 VAE και περιλαμβάνει επίπεδα ενσωμάτωσης ενεργειών για κινηματική καθοδήγηση.

Η διεπαφή ενεργειών χρησιμοποιεί 28 διαστάσεις ανά χρονικό βήμα, με 14 διαστάσεις για κάθε βραχίονα, οι οποίες καλύπτουν τη μετατόπιση ως προς το σημείο αναφοράς, περιστροφή 6D, θέση της σιαγόνας, ενεργοποίηση ηλεκτροχειρουργικής ενέργειας, ένα κουμπί μοχλού αντίχειρα και τους άξονες του μοχλού. Η διεπαφή επεκτάθηκε από τις 20 διαστάσεις που χρησιμοποιούνταν για την ενσάρκωση Versius, διατηρώντας τα προεκπαιδευμένα βάρη για τη στάση και τη σιαγόνα και αρχικοποιώντας με μηδενικές τιμές τις νέες εισόδους ελέγχου. Η εκπαίδευση χρησιμοποιεί βίντεο ανάλυσης 832 x 480, με τις ενέργειες ευθυγραμμισμένες στα 10 Hz· όπως επισημαίνει η ανακοίνωση, αυτός ο ρυθμός δειγματοληψίας διαφέρει από τη ρυθμαπόδοση παραγωγής κατά την εκτέλεση.

Το αμφίδρομο μοντέλο-εκπαιδευτής βελτιστοποιήθηκε πρώτα με 24 μελλοντικά καρέ για 2.000 επαναλήψεις και έπειτα με ορίζοντα 72 καρέ για 4.400 επαναλήψεις, που αντιστοιχούν σε 2,4 και 7,2 δευτερόλεπτα στα 10 Hz. Η απόσταξη μετέτρεψε το μοντέλο-εκπαιδευτή των 72 καρέ, το οποίο χρησιμοποιούσε 35 βήματα δειγματοληψίας, σε ένα μοντέλο-μαθητή με αιτιότητα κατά μπλοκ, μέσω αιτιακής καθοδήγησης του μοντέλου-εκπαιδευτή για 1.000 επαναλήψεις. Ακολούθησαν 300 επαναλήψεις Self-Forcing με απόσταξη αντιστοίχισης κατανομών έναντι του σταθερού μοντέλου-εκπαιδευτή. Το μοντέλο-μαθητής που κυκλοφόρησε παράγει βίντεο αυτοπαλινδρομικά, χρησιμοποιώντας κρυφή μνήμη κλειδιών/τιμών και τέσσερα βήματα αποθορυβοποίησης ανά λανθάνον καρέ. Κάθε λανθάνον καρέ καταναλώνει τέσσερα διανύσματα μελλοντικών ενεργειών (0,4 δευτερόλεπτα στα 10 Hz) και παράγει τέσσερα νέα καρέ βίντεο, επιτρέποντας τη συνεχή ροή της εκτέλεσης.

Ένα δεύτερο σημείο ελέγχου της κυκλοφορίας χρησιμοποιεί δύο βήματα αποθορυβοποίησης. Η NVIDIA δηλώνει ότι το μοντέλο των δύο βημάτων εκπαιδεύεται ξεχωριστά και δεν είναι το μοντέλο των τεσσάρων βημάτων που εκτελείται με λιγότερα βήματα δειγματοληψίας, καθώς και ότι τα λιγότερα βήματα αποθορυβοποίησης επιταχύνουν τη συμπερασματολογία εις βάρος της οπτικής ποιότητας. Η ροή εκτελείται μέσω του FlashDreams με μια προσαρμοσμένη μονάδα FadeMem, η οποία ενοποιεί την αυξανόμενη κρυφή μνήμη κλειδιών/τιμών κατά τις παρατεταμένες εκτελέσεις, συμπληρώνοντας τη διαχείριση του ιστορικού παραγόμενων δεδομένων από το Self-Forcing.

Δεδομένα εκπαίδευσης και αξιολόγηση σε δεδομένα που δεν χρησιμοποιήθηκαν στην εκπαίδευση

Για τη βελτιστοποίηση χρησιμοποιήθηκαν ιδιόκτητες κλινικές καταγραφές χολοκυστεκτομών από το CMR Surgical Versius, προερχόμενες από 4.792 επεμβάσεις και συνολικά περίπου 17 εκατομμύρια καρέ, με συχνότητα 60 Hz και ανάλυση 1080p, οι οποίες υποδειγματοληπτήθηκαν στα 10 Hz. Κατά τη διάρκεια των επεμβάσεων, οι χειρουργοί χειρίζονταν το ρομπότ εξ αποστάσεως. Οι ετικέτες ενεργειών εξήχθησαν αυτόματα από την τηλεμετρία του ρομπότ, ενώ η ορατότητα των εργαλείων επισημάνθηκε χειροκίνητα.

Η επιλογή δειγμάτων διατήρησε μόνο τα χρονικά παράθυρα στα οποία ακριβώς δύο εργαλεία ήταν ορατά και σε χρήση σε κάθε εγγενές καρέ 60 Hz κάθε παραθύρου ιστορικού και μέλλοντος. Ως τυπικό ζεύγος χρησιμοποιήθηκε αριστερά λαβίδα Cadiere και δεξιά μονοπολικό άγκιστρο, ενώ αποκλείστηκαν τα παράθυρα με ενεργές εντολές κάμερας πάνω από ένα σταθερό όριο. Το σύνολο εκπαίδευσης περιλάμβανε 64 καταγραφές και περίπου 526 μοναδικά λεπτά βίντεο, με 183.528 αρχές παραθύρου για τον ορίζοντα των 24 καρέ, καθώς και περίπου 436 λεπτά σε 106.820 αρχές παραθύρου για τον ορίζοντα των 72 καρέ που χρησιμοποιήθηκε στην απόσταξη. Οι καταγραφές χωρίστηκαν σε επίπεδο επέμβασης: περίπου το 98 τοις εκατό των μοναδικών λεπτών χρησιμοποιήθηκε για εκπαίδευση και περίπου το 2 τοις εκατό κρατήθηκε εκτός εκπαίδευσης.

Η επικύρωση σε δεδομένα που δεν χρησιμοποιήθηκαν στην εκπαίδευση καλύπτει περίπου 10,6 λεπτά από 10 καταγραφές, δηλαδή περίπου 6.400 καρέ στα 10 Hz. Κάθε σταθερό σύνολο αξιολόγησης που προέρχεται από αυτές τις καταγραφές περιλαμβάνει 48 περιπτώσεις αξιολόγησης ποιότητας και 12 περιπτώσεις ελέγχου ενεργειών, καθώς και δοκιμές περιστροφής με ουδέτερη θέση και περιστροφές εργαλείων ±5° και ±15°, όπως και συνεχείς αναπαραγωγές διάρκειας 30,4 δευτερολέπτων για οπτική εξέταση. Η κάρτα μοντέλου περιγράφει το περιεχόμενο ως ενδοκοιλιακό ενδοσκοπικό βίντεο και τηλεμετρία ρομπότ από κλινικές επεμβάσεις σε ανθρώπους, όπου εμφανίζονται ανατομικά στοιχεία και χειρουργικά εργαλεία, αλλά όχι πρόσωπα ή άλλες απεικονίσεις που θα μπορούσαν να αποκαλύψουν την ταυτότητα των ασθενών, και δεν υπάρχει ήχος ή κείμενο.

Απόδοση, άδειες χρήσης και κώδικας

Η κάρτα μοντέλου αναφέρει απόδοση 30,0 καρέ ανά δευτερόλεπτο σε ανάλυση 832 x 480 με τέσσερα βήματα διάχυσης και 43,2 FPS με δύο βήματα σε RTX PRO 6000 Blackwell Workstation Edition, 20,2 και 31,2 FPS στην έκδοση Max-Q και 16,9 FPS σε DGX Spark με μειωμένη ανάλυση 512 x 288. Η δυνατότητα διαδραστικής λειτουργίας σε πραγματικό χρόνο επικυρώθηκε σε ένα RTX PRO 6000 και σε DGX Spark, ενώ το μοντέλο λειτουργεί επίσης σε Hopper H100. Οι υποστηριζόμενες μικροαρχιτεκτονικές είναι οι NVIDIA Blackwell και Hopper, το υποστηριζόμενο λειτουργικό σύστημα είναι το Linux και για την εκπαίδευση και τη συμπερασματολογία χρησιμοποιήθηκε μικτή ακρίβεια BF16, ενώ τα βάρη εξήχθησαν ως FP32.

Το συνοδευτικό αποθετήριο GitHub διατίθεται με άδεια Apache-2.0 και υποστηρίζει τόσο την αναπαραγωγή καταγεγραμμένων ενεργειών με έξοδο MP4 όσο και τον ζωντανό έλεγχο μέσω ακουστικών συμβατών με WebXR, με δύο χειριστήρια που παρακολουθούνται στον χώρο. Στις απαιτήσεις συστήματος που παραθέτει το αποθετήριο περιλαμβάνονται Linux με GPU συμβατή με CUDA, Python 3.12, ο διαχειριστής πακέτων uv και περισσότερα από 32GB VRAM στην προεπιλεγμένη διαμόρφωση 480 x 832.

Η NVIDIA δημοσίευσε επίσης έναν αναλυτικό οδηγό βήμα προς βήμα για τη λεπτομερή προσαρμογή του μοντέλου-δασκάλου και την απόσταξη Self-Forcing, ώστε οι προγραμματιστές να μπορούν να προσαρμόσουν το σύστημα σε άλλα σύνολα δεδομένων και διαμορφώσεις ρομπότ, με συγχρονισμένο βίντεο και συμβατές αναπαραστάσεις ενεργειών· η ανακοίνωση επισημαίνει ότι οι ενσωματώσεις χειριστηρίων πρέπει να χρησιμοποιούν τις ίδιες συμβάσεις ενεργειών και την ίδια κανονικοποίηση με την εκπαίδευση. Στην ενότητα δεοντολογικών ζητημάτων της κάρτας μοντέλου αναφέρεται ότι οι προγραμματιστές πρέπει να διαθέτουν τα κατάλληλα δικαιώματα και τις άδειες για το περιεχόμενο εικόνων και βίντεο που εισάγουν, καθώς και ότι το παραγόμενο βίντεο δεν θα θολώνει ανθρώπους ή προσωπικές πληροφορίες υγείας που περιλαμβάνονται στις εισόδους.

Δηλωμένοι περιορισμοί και κατευθύνσεις έρευνας

Η NVIDIA δηλώνει ότι ο οπτικός ρεαλισμός αποτελεί αφετηρία για την επικύρωση και όχι απόδειξη βιομηχανικής ακρίβειας, και ότι μια αναπαραγωγή που μοιάζει εύλογη αλλά αγνοεί τις εντολές ελέγχου δεν μπορεί να λειτουργήσει ως διαδραστικό περιβάλλον. Η ανακοίνωση περιλαμβάνει στις κατευθύνσεις έρευνας τη μοντελοποίηση ολόκληρης της επέμβασης χολοκυστεκτομής με σαφή όρια εργασιών και κριτήρια επιτυχίας, τη σύνδεση της παραγωγικής και της αριθμητικής προσομοίωσης, την αξιολόγηση με χειρουργούς, την υποστήριξη περισσότερων εργαλείων και την ανάπτυξη αυτόνομων χειρουργικών πολιτικών που λειτουργούν σε κλειστό βρόχο σε συνδυασμό με το μοντέλο. Η NVIDIA παρουσιάζει τα παραπάνω ως κατευθύνσεις έρευνας και όχι ως καθιερωμένες κλινικές δυνατότητες, και δηλώνει ότι το Cosmos3-H-Dreams είναι ερευνητικός προσομοιωτής, όχι επικυρωμένο σύστημα για την περίθαλψη ασθενών.