NVIDIA ra mắt mô hình thế giới phẫu thuật thời gian thực Cosmos3-H-Dreams

Ngày 20 tháng 10 năm 2026, NVIDIA ra mắt Cosmos3-H-Dreams, một mô hình thế giới tạo sinh thời gian thực được điều kiện hóa bằng hành động dành cho phẫu thuật robot, tinh chỉnh trên các video ghi hình phẫu thuật cắt túi mật trong thực hành lâm sàng bằng hệ thống CMR Surgical Versius. Điểm kiểm tra mô hình và mã đi kèm được công bố cùng ngày.

Trong thông báo do NVIDIA đăng trên Hugging Face, công ty cho biết, theo hiểu biết của mình, Cosmos3-H-Dreams là trình mô phỏng phẫu thuật tạo sinh thời gian thực đầu tiên được huấn luyện trên các video ghi hình phẫu thuật cắt túi mật trong thực hành lâm sàng và hỗ trợ điều khiển động học trực tiếp. Theo thông báo, mô hình được vận hành bởi Cosmos 3 và tăng tốc bằng FlashDreams, thư viện suy luận trực tuyến của NVIDIA, có thể chạy tương tác trên một GPU NVIDIA RTX PRO 6000 duy nhất.

Thẻ mô hình ghi ngày phát hành là 20 tháng 10 năm 2026 trên cả GitHub và Hugging Face, đồng thời nêu rõ mô hình sẵn sàng cho mục đích sử dụng thương mại hoặc phi thương mại theo NVIDIA Open Model License. Các mục đích sử dụng dự kiến được nêu gồm đánh giá chính sách cho robot phẫu thuật trong mô phỏng, khám phá mô hình thế giới tương tác thông qua điều khiển từ xa và tạo dữ liệu tổng hợp cho phẫu thuật cắt túi mật bằng robot; đối tượng hướng đến là các nhà nghiên cứu robot phẫu thuật, nhà phát triển AI trong lĩnh vực chăm sóc sức khỏe, cơ sở học thuật và công ty robot phẫu thuật.

Từ khâu chỉ khâu trên bàn thí nghiệm đến bối cảnh lâm sàng

Cosmos3-H-Dreams kế nhiệm Cosmos-H-Dreams, một mô hình được xây dựng trên Cosmos-Predict2.5, hướng đến thao tác khâu trên bàn thí nghiệm bằng dVRK. Là một mô hình nền tảng thế giới, hệ thống trước đó học các động lực thị giác trực tiếp từ video đồng bộ và động học robot, thay vì mô hình hóa tường minh hình học cảnh, biến dạng mô và tương tác vật lý. Phiên bản mới đưa cách tiếp cận này vào bối cảnh lâm sàng, nơi mô bị kéo giãn dưới lực kéo, phản chiếu thay đổi, cấu trúc bị che khuất và khói làm thay đổi tầm nhìn; trong những bối cảnh này, các lỗi nhỏ khi tạo dữ liệu có thể tích lũy qua những lượt triển khai dài, dần làm thay đổi hình dạng dụng cụ hoặc cấu trúc giải phẫu.

Kiến trúc và quy trình chưng cất

Mô hình được xây dựng trên Cosmos3-H-Embodied-Nano, một mô hình 16 tỷ tham số được huấn luyện trên tập dữ liệu Open-H-Embodiment, rồi được chuyên biệt hóa bằng cách tinh chỉnh một mô hình giáo viên hai chiều trên video phẫu thuật cắt túi mật và dữ liệu động học đã tuyển chọn. Bản thân Cosmos3-H-Dreams có khoảng 15,17 tỷ tham số và sử dụng kiến trúc Mixture-of-Transformers, kết hợp một tháp suy luận Qwen3-VL-8B-Instruct với một chuyên gia tạo sinh khuếch tán tiềm ẩn; mô hình hoạt động trên các biểu diễn tiềm ẩn Wan2.2 VAE, cùng các lớp nhúng hành động để điều kiện hóa theo động học.

Giao diện hành động sử dụng 28 chiều cho mỗi bước thời gian, trong đó mỗi cánh tay có 14 chiều, bao gồm phép tịnh tiến tương đối so với điểm neo, phép quay 6D, vị trí hàm kẹp, kích hoạt năng lượng phẫu thuật điện, một nút cần điều khiển và các trục của cần điều khiển. Giao diện được mở rộng từ 20 chiều cho cấu hình Versius; các trọng số tư thế và hàm kẹp đã huấn luyện trước được giữ nguyên, còn các đầu vào điều khiển mới được khởi tạo bằng 0. Quá trình huấn luyện sử dụng video có độ phân giải 832 x 480, với hành động được đồng bộ ở tần số 10 Hz; thông báo lưu ý tần số lấy mẫu này khác với thông lượng tạo dữ liệu khi chạy mô hình.

Mô hình giáo viên hai chiều trước tiên được tinh chỉnh trên 24 khung hình tương lai qua 2.000 vòng lặp, sau đó trên cửa sổ dự đoán 72 khung hình qua 4.400 vòng lặp, tương ứng lần lượt với 2,4 và 7,2 giây ở tần số 10 Hz. Quá trình chưng cất chuyển mô hình giáo viên 72 khung hình, vốn sử dụng 35 bước lấy mẫu, thành một mô hình học sinh nhân quả theo khối thông qua kỹ thuật teacher forcing nhân quả trong 1.000 vòng lặp; tiếp theo là 300 vòng lặp Self-Forcing với chưng cất khớp phân phối dựa trên mô hình giáo viên cố định. Mô hình học sinh được phát hành tạo video tự hồi quy bằng bộ nhớ đệm khóa/giá trị và thực hiện bốn bước khử nhiễu cho mỗi khung hình tiềm ẩn; mỗi khung hình tiềm ẩn sử dụng bốn vectơ hành động tương lai (0,4 giây ở tần số 10 Hz) và tạo ra bốn khung hình video mới, cho phép triển khai luồng liên tục.

Một điểm kiểm tra mô hình thứ hai được phát hành sử dụng hai bước khử nhiễu. NVIDIA cho biết mô hình hai bước được huấn luyện riêng, chứ không phải mô hình bốn bước chạy với ít bước lấy mẫu hơn; đồng thời, số bước khử nhiễu ít hơn giúp suy luận nhanh hơn nhưng làm giảm chất lượng hình ảnh. Quá trình tạo luồng liên tục sử dụng FlashDreams cùng mô-đun FadeMem được điều chỉnh để hợp nhất bộ nhớ đệm khóa/giá trị ngày càng lớn trong các lượt triển khai dài, bổ trợ cho khả năng xử lý lịch sử nội dung đã tạo của Self-Forcing.

Dữ liệu huấn luyện và đánh giá trên tập dữ liệu giữ lại

Quá trình tinh chỉnh sử dụng các video ghi hình phẫu thuật cắt túi mật trong thực hành lâm sàng của CMR Surgical Versius thuộc quyền sở hữu riêng, lấy từ 4.792 ca, tổng cộng khoảng 17 triệu khung hình ở tần số 60 Hz và độ phân giải 1080p, sau đó được lấy mẫu xuống 10 Hz. Bác sĩ phẫu thuật điều khiển robot từ xa trong các ca phẫu thuật; nhãn hành động được tự động tạo từ dữ liệu đo từ xa của robot, còn khả năng quan sát thấy dụng cụ được gán nhãn thủ công.

Quá trình chọn mẫu chỉ giữ lại những cửa sổ mà trong từng hàng dữ liệu gốc 60 Hz của mỗi cửa sổ lịch sử và tương lai, chính xác hai dụng cụ đều hiện rõ và đang thao tác; cặp dụng cụ chuẩn gồm một kẹp Cadiere bên trái và một móc đơn cực bên phải. Các cửa sổ có lệnh điều khiển camera đang hoạt động vượt ngưỡng cố định bị loại bỏ. Tập huấn luyện gồm 64 video ghi hình và khoảng 526 phút video riêng biệt, với 183.528 điểm bắt đầu cửa sổ cho cửa sổ dự đoán 24 khung hình; cửa sổ dự đoán 72 khung hình dùng trong quá trình chưng cất gồm khoảng 436 phút video qua 106.820 điểm bắt đầu cửa sổ. Video được chia theo từng ca phẫu thuật, trong đó khoảng 98 phần trăm số phút video riêng biệt được dùng để huấn luyện và khoảng 2 phần trăm được giữ lại.

Quá trình xác thực trên dữ liệu giữ lại bao gồm khoảng 10,6 phút từ 10 bản ghi, tương đương khoảng 6.400 khung hình ở tốc độ 10 Hz. Mỗi bộ đánh giá cố định được lấy từ các bản ghi này gồm 48 trường hợp đánh giá chất lượng và 12 trường hợp kiểm soát hành động, đồng thời có thêm các phép thử xoay dụng cụ ở mức trung tính, ±5° và ±15°, cùng các lượt chạy liên tục kéo dài 30,4 giây để đánh giá bằng mắt. Thẻ mô hình mô tả nội dung là video nội soi trong ổ bụng và dữ liệu đo từ xa của robot, thu thập trong các thủ thuật lâm sàng trên bệnh nhân là người, thể hiện giải phẫu và dụng cụ phẫu thuật chứ không có khuôn mặt hay hình ảnh nhận dạng khác, đồng thời không có âm thanh hoặc văn bản.

Hiệu năng, giấy phép và mã nguồn

Thẻ mô hình báo cáo tốc độ 30,0 khung hình/giây ở độ phân giải 832 x 480 với bốn bước khuếch tán và 43,2 FPS với hai bước trên RTX PRO 6000 Blackwell Workstation Edition; lần lượt là 20,2 và 31,2 FPS trên phiên bản Max-Q; và 16,9 FPS trên DGX Spark ở độ phân giải giảm xuống còn 512 x 288. Khả năng cung cấp dịch vụ tương tác thời gian thực đã được xác thực trên một GPU RTX PRO 6000 đơn lẻ và trên DGX Spark; mô hình cũng chạy được trên Hopper H100. Các kiến trúc vi mô được hỗ trợ là NVIDIA Blackwell và Hopper; hệ điều hành được hỗ trợ là Linux; độ chính xác hỗn hợp BF16 được sử dụng trong quá trình huấn luyện và suy luận trực tiếp, còn trọng số được xuất dưới dạng FP32.

Kho lưu trữ GitHub đi kèm được cấp phép theo Apache-2.0 và hỗ trợ phát lại các hành động đã ghi để xuất ra MP4, cũng như điều khiển trực tiếp bằng tai nghe tương thích với WebXR có hai bộ điều khiển được theo dõi. Kho lưu trữ nêu các yêu cầu hệ thống, bao gồm Linux với GPU hỗ trợ CUDA, Python 3.12, trình quản lý gói uv và hơn 32GB VRAM ở cấu hình mặc định 480 x 832.

NVIDIA cũng công bố hướng dẫn từng bước về tinh chỉnh mô hình bằng dữ liệu của giáo viên và chưng cất Self-Forcing, giúp nhà phát triển điều chỉnh hệ thống cho các bộ dữ liệu và dạng hiện thân khác có video được đồng bộ cùng các biểu diễn hành động tương thích; thông báo lưu ý rằng các tích hợp bộ điều khiển phải sử dụng cùng quy ước hành động và cách chuẩn hóa như trong quá trình huấn luyện. Phần cân nhắc về đạo đức trong thẻ mô hình nêu rõ nhà phát triển phải có đầy đủ quyền và sự cho phép đối với nội dung hình ảnh và video đầu vào, đồng thời video được tạo ra sẽ không làm mờ người hoặc thông tin sức khỏe cá nhân có trong dữ liệu đầu vào.

Các hạn chế được nêu và hướng nghiên cứu

NVIDIA cho biết tính chân thực về mặt hình ảnh chỉ là điểm khởi đầu cho quá trình xác thực, chứ không chứng minh độ chính xác về cơ sinh học; đồng thời, một lượt mô phỏng có vẻ hợp lý nhưng bỏ qua các lệnh điều khiển thì không thể làm môi trường tương tác. Thông báo liệt kê các hướng nghiên cứu, bao gồm mô hình hóa toàn bộ quy trình cắt túi mật với ranh giới nhiệm vụ và tiêu chí thành công rõ ràng, kết nối mô phỏng tạo sinh với mô phỏng số, đánh giá cùng các bác sĩ phẫu thuật, hỗ trợ thêm nhiều dụng cụ và phát triển các chính sách phẫu thuật tự động kết hợp với mô hình trong một vòng lặp kín. NVIDIA xác định đây là các hướng nghiên cứu, không phải những năng lực lâm sàng đã được thiết lập, đồng thời khẳng định Cosmos3-H-Dreams là một trình mô phỏng phục vụ nghiên cứu, không phải hệ thống đã được xác thực để chăm sóc bệnh nhân.