Mô hình Thế giới Phẫu thuật của NVIDIA Bây giờ Chạy Trực tiếp trên Một GPU

NVIDIA (NVDA ) đã phát hành một trình mô phỏng phẫu thuật tạo ra lĩnh vực hoạt động trong thời gian thực, đủ nhanh cho một bác sĩ hoặc chính sách robot được đào tạo để điều khiển cảnh trong khi nó đang được sản xuất. Mô hình, Cosmos-H-Dreams, chạy ở khoảng 160 khung hình mỗi giây trên một GPU RTX PRO 6000 đơn, tăng từ khoảng 10 khung hình mỗi giây cho mô hình ngoại tuyến mà nó được phân chia từ, theo các số liệu của NVIDIA. Trọng lượng và mã phục vụ đã được đăng tải vào ngày 23 tháng 7 năm 2026, và công ty đã xuất bản bản phân tích kỹ thuật bốn ngày sau đó.

Không có động cơ vật lý nào ở dưới. Thay vì tạo mô hình mô phỏng mô, chỉ và dụng cụ tiếp xúc bằng tay, mô hình này học động lực học trực quan từ video phẫu thuật và động học robot, sau đó dự đoán những gì máy ảnh sẽ nhìn thấy tiếp theo. Nó lấy một khung hình ban đầu cộng với một luồng trực tiếp các lệnh cánh tay và tạo ra khối 12 khung hình tiếp theo trước khi tiêu thụ lô hành động tiếp theo. Một trình duyệt khách có thể điều khiển nó từ bàn phím, một bộ đeo Meta Quest có thể ánh xạ chuyển động điều khiển được theo dõi vào các hành động robot, và một chính sách phẫu thuật được học có thể được thả vào cùng một vòng lặp thay cho con người. Cùng một lớp mô hình đã thu hút một lượng tiền nghiêm túc khác trong ngành, bao gồm Odyssey’s $310 triệu Series B cho các mô hình thế giới.

Làm thế nào để tốc độ khung hình được mua

Cosmos-H-Dreams là một học sinh cô đặc của một mô hình chậm hơn. Giáo viên, Cosmos-H-Surgical-Simulator, được xây dựng trên mô hình video 2 tỷ tham số Cosmos-Predict2.5 của NVIDIA và tạo ra các cuộn phẫu thuật trong một lần sau khi thực tế, điều này phù hợp với việc ghi điểm một đường dẫn được ghi lại nhưng không điều khiển nó. Học sinh được đào tạo để tiếp tục từ lịch sử được tạo của chính nó chứ không phải từ sự thật cơ bản sạch, một thủ tục mà thẻ mô hình gọi là sự cô đặc tự buộc, và nó tạo ra mỗi khung hình tiềm ẩn trong hai đến bốn bước làm mờ thay vì nhiều bước của giáo viên. FlashDreams, thư viện suy luận trực tuyến của NVIDIA, bao gồm phần còn lại bằng cách giữ một bộ nhớ đệm cuộn của các khung hình trước và tiền ghi trước công việc GPU lặp lại để phần cứng không phải lập kế hoạch lại trên mỗi bước.

Điểm kiểm tra được phát hành thực hiện một công việc: khâu trên bàn trên da Vinci Research Kit, một nền tảng vật lý mà các phòng thí nghiệm học thuật sử dụng để phát triển và thử nghiệm các chính sách phẫu thuật. Nó chạy ở 288 x 512 pixel và chấp nhận lệnh ở tần suất hiệu quả 10 Hz. Đây là một nhiệm vụ trên bàn, không phải trên cơ thể.

Hỗn hợp đào tạo có thể được cho là thú vị hơn tốc độ khung hình. Cùng với các bản demo khâu và buộc chỉ thành công từ Johns Hopkins, NVIDIA đã cố ý giữ lại các tập và tập ngoài phạm vi phân phối: rơi kim, ném hỏng, nút không giữ. Lý do được nêu là một mô phỏng có nghĩa là để ghi điểm chính sách phải tái tạo các hậu quả của hành động kém, không chỉ các bản demo lý tưởng.

Versius được kết nối

NVIDIA cho biết họ đã làm việc với CMR Surgical và Cambridge Consultants, công ty kỹ thuật thuộc sở hữu của Capgemini, để kết nối mô hình với bộ điều khiển phẫu thuật cho nền tảng Versius của CMR và chạy nó trực tiếp. CMR đã trình diễn thiết lập cho khán giả phẫu thuật tại một hội nghị phẫu thuật robot ở Florida vào cuối tháng 7 năm 2026. Công ty có lý do để tham gia vào vòng này sớm: NVIDIA ghi nhận nó đã đóng góp gần 500 giờ dữ liệu thủ tục Versius ẩn danh cho tập dữ liệu Open-H Embodiment mà gia đình mô hình được đào tạo trước, và CMR mô tả mình là nhà đóng góp lớn nhất cho tập dữ liệu đó.

CMR cũng trực tiếp về những gì trình diễn này không phải. Một chú thích trên bản phát hành của họ nêu rằng mô phỏng “chỉ để nghiên cứu và trình diễn”, không phải là một phần của hệ thống Versius Plus đã được chấp thuận, và không được sử dụng cho việc ra quyết định lâm sàng hoặc chăm sóc bệnh nhân. Versius Plus bản thân nó chỉ được chấp thuận ở Mỹ cho việc loại bỏ túi mật ở người lớn, với một ứng dụng phụ sản đang chờ xử lý. Việc chấp thuận quy định cho phần cứng phẫu thuật vẫn di chuyển theo thủ tục, như Momentis’s Anovo robot đã chỉ ra khi nó giành được sự chấp thuận của FDA cho phẫu thuật đa cổng. NVIDIA vẽ cùng một dòng trong bài đăng của mình: đây là một nền tảng nghiên cứu và phát triển, không phải là một hệ thống chẩn đoán và không phải là bộ điều khiển cho robot phẫu thuật vật lý.

Chương trình xác thực

Mô hình là nửa tạo sinh của Khung mô phỏng Vật lý Y tế mà NVIDIA đã mã nguồn mở vào ngày 22 tháng 7 năm 2026 trong ngăn xếp Isaac cho Y tế, nơi các bộ giải quyết thông thường xử lý liên lạc và ma sát và mô hình được học xử lý động lực học cảnh trực quan. Nó là vị trí tương tự mà NVIDIA đã thực hiện trên sàn nhà máy, cung cấp lớp mô phỏng mà các nhà cung cấp khác xây dựng sản phẩm trên.

Bài đăng của NVIDIA cho biết bước tiếp theo ngay lập tức là đánh giá nhiều hơn chất lượng trực quan, và nó đề xuất một họ các thử nghiệm vòng kín như một thước đo để xem phiên bản nhanh có đủ chính xác để tin cậy hay không:

• độ chính xác của tư thế và vị trí của công cụ
• độ trung thực của chu kỳ gắp và sự ổn định khi các công cụ không hoạt động
• độ trôi trong các cuộn dài
• sự đồng ý giữa kết quả chính sách mô phỏng và thực

Bằng chứng chuyển gần nhất cho đến nay đến từ dòng dõi trước: một bài báo năm 2025 của các nhà nghiên cứu NVIDIA và Johns Hopkins đã báo cáo sự tương quan mạnh mẽ giữa các cuộn trong mô hình phẫu thuật ngoại tuyến và kết quả chính sách trên hệ thống nghiên cứu da Vinci vật lý cho các nhiệm vụ suture-pad, cộng với sự sắp xếp sơ bộ trên công việc gan lợn ngoài cơ thể. Đó là mô hình chậm hai chiều thay vì học sinh hai bước, và kho lưu trữ bản thân lưu ý rằng lịch trình nhanh hơn sẽ mất một số tính trung thực.

Để có được nó là rẻ so với tiêu chuẩn mô hình tiền phong. Trọng lượng mang giấy phép mô hình mở của NVIDIA và mã phục vụ là Apache 2.0, với kho lưu trữ yêu cầu một GPU có 12 GB bộ nhớ, một trình điều khiển hiện tại và Linux. Không có báo cáo kỹ thuật nào hiện tại; liên kết kho lưu trữ đến một điểm đến một tệp placeholder. Các chính sách robot điều kiện video đã di chuyển vào các dây chuyền sản xuất, như mimic robotics’ FLUX-mimic tại một nhà máy Audi, nhưng phẫu thuật có một bài kiểm tra chấp nhận khó khăn hơn. Đối với các phòng thí nghiệm đào tạo các chính sách phẫu thuật, câu hỏi quan trọng là liệu một điểm số kiếm được trong mô phỏng này dự đoán những gì cánh tay làm trên một tấm suture-pad thực. NVIDIA đã đặt tên cho điểm chuẩn này, và kết quả của nó là những gì vòng bằng chứng tiếp theo sẽ dựa vào.