NVIDIA giới thiệu GR00T 2, giúp robot học từ video do con người ghi lại

NVIDIA giới thiệu GR00T 2 vào ngày 9 tháng 11 năm 2026 tại Hội nghị về Học tập Robot (CoRL) ở Austin, đồng thời báo cáo tỷ lệ thành công zero-shot là 40% trên 50 nhiệm vụ không có trong dữ liệu huấn luyện của robot mục tiêu, với một mô hình được huấn luyện một phần bằng video do con người ghi lại.

GR00T 2 sử dụng mô hình transformer có 2 tỷ tham số, được xây dựng trên Cosmos-Predict2.5-2B. Mô hình kết hợp các hình ảnh camera gần nhất, trạng thái robot và một chỉ dẫn bằng văn bản để tạo ra những hình ảnh dự kiến trong tương lai cùng chuỗi hành động tiếp theo. Một checkpoint được huấn luyện trước có thể dùng cho cánh tay robot với kẹp song song, bàn tay khéo léo và robot hình người. Dù NVIDIA giới thiệu mô hình này là mô hình mở, trang nghiên cứu của hãng cho biết mã nguồn sẽ được cung cấp vào tháng 12.

Quá trình huấn luyện trước kết hợp 402.730 giờ video góc nhìn thứ nhất do con người ghi lại, 10.184 giờ thao tác minh họa bằng kẹp cầm tay trên 2.897 nhiệm vụ và 23.500 giờ điều khiển robot từ xa. Bản phát hành Human-1M-100K cung cấp 100.000 giờ dữ liệu con người trong số đó, bao gồm video, chú thích ngôn ngữ và dữ liệu chuyển động đầu cùng bàn tay, theo giấy phép CC BY 4.0 cho phép sử dụng thương mại và phi thương mại.

Các thử nghiệm trên nhiều dạng cơ thể cho thấy kỹ năng được chuyển giao giữa các hình thái cơ thể như thế nào và có thể thích ứng ra sao khi dữ liệu robot còn hạn chế. NVIDIA báo cáo tỷ lệ thành công 65% trong việc sắp đặt giấy lọc, được học từ các thao tác minh họa của con người mà không cần điều khiển từ xa riêng cho nhiệm vụ; tỷ lệ này là 60% đối với nhiệm vụ lắp ráp xe ben đồ chơi, với kỹ năng được chuyển giao từ kẹp cầm tay sang cánh tay YAM. Trong đợt đánh giá Dexter, GR00T 2 hoàn thành ít nhất một lượt thử nghiệm ở 40 nhiệm vụ. Tỷ lệ thành công trung bình đạt 71% với một lần thao tác minh họa cho mỗi nhiệm vụ và 95% với năm lần; năm lần này cung cấp chưa đến ba phút dữ liệu robot cho mỗi nhiệm vụ, sau đó là khoảng 30 phút tinh chỉnh bộ thích ứng trên một RTX 5090.

Sách trắng kỹ thuật nêu rõ giới hạn của kết quả với năm lần thao tác minh họa: các nhiệm vụ được đánh giá là những nhiệm vụ được chọn trong số các nhiệm vụ mà mô hình có thể học với năm lượt và đạt tỷ lệ thành công ít nhất 80%, vì vậy tỷ lệ trung bình cao một phần là do cách lựa chọn này.

Huấn luyện mô phỏng hướng đến độ chính xác

Nền tảng mô phỏng là Isaac Lab 3.0, được cung cấp rộng rãi từ ngày 20 tháng 10 năm 2026. Nền tảng này cung cấp một API tác vụ dùng chung cho các bộ máy vật lý, kết xuất và trực quan hóa; Newton hỗ trợ vật thể cứng, vật thể biến dạng và hạt, đồng thời nhiều quy trình có thể chạy mà không cần cài đặt đầy đủ Isaac Sim. Trong một bài đánh giá chuẩn về thao tác khéo léo dựa trên thị giác, NVIDIA báo cáo rằng khi Isaac Lab 3.0 chạy với Newton, thông lượng huấn luyện cao gấp tới 2,5 lần so với Isaac Lab 2.3 chạy với PhysX.

AlphaNIST áp dụng phương pháp luyện tập mô phỏng trên quy mô lớn cho 20 nhiệm vụ thuộc NIST Assembly Task Board, trong đó có những nhiệm vụ sử dụng các bộ phận nhỏ chỉ 4 milimét. Một chính sách dùng chung được huấn luyện chỉ bằng phần thưởng thành công có hai mức: có hoặc không. NVIDIA báo cáo chính sách này đạt tỷ lệ thành công 98,2% trong huấn luyện, so với 81,4% của các chính sách riêng cho từng nhiệm vụ, đồng thời sử dụng ít hơn khoảng 39 lần thời gian GPU; đây là các kết quả huấn luyện mô phỏng.

Đằng sau AlphaNIST là Phương pháp lấy mẫu dựa trên thành công, do University of Washington và NVIDIA phát triển. Phương pháp này hướng quá trình luyện tập đến những cấu hình nằm gần giới hạn năng lực của chính sách, đặc biệt là những cấu hình mà chính sách giải quyết thành công khoảng một nửa số lần. Các tác giả báo cáo phương pháp này có thể mở rộng hiệu quả vượt quá một triệu môi trường mô phỏng và chuyển giao zero-shot các chính sách lắp ráp dựa trên RGB sang phần cứng UR5e thực tế.

Các bài đánh giá chuẩn xem xét sự biến thiên trong công nghiệp

Isaac Lab-Arena cung cấp lớp đánh giá. Khung mã nguồn mở này xây dựng các bài đánh giá có thể lặp lại từ những thành phần mô-đun và chạy chúng trên các môi trường mô phỏng được tăng tốc bằng GPU; phân tích lỗi cho biết cần huấn luyện lại trong những điều kiện nào. NVIDIA cho biết bản xem trước dành cho nhà phát triển 0.4 sẽ ra mắt tại CoRL.

DexBench v1.0, do RLWRLD phát triển cùng NVIDIA, gồm 15 nhiệm vụ trong các bối cảnh bán lẻ, hậu cần, dây chuyền lắp ráp và dịch vụ ăn uống tại khách sạn. VABAR, do UC Berkeley và NVIDIA phát triển, bao gồm các nhiệm vụ phân loại và treo dụng cụ, ăn khớp bánh răng, đóng gói ống tiêm, luồn và đi dây cáp, với thư viện gồm 33 kỹ năng hỗ trợ. Trang dự án VABAR cho biết hai cấp độ khó hiện tại tạo thành tập xác thực, còn tập kiểm tra khó hơn vẫn đang được phát triển.

Các tác tử bổ sung khả năng phục hồi và xử lý những ràng buộc mới

Khung Đồ thị làm chính sách của UC Berkeley sử dụng nhiều tác tử để kết hợp thành đồ thị có hướng, dễ diễn giải về các kỹ năng của robot, diễn tập đồ thị trong mô phỏng và điều chỉnh cấu trúc cùng các tham số sau khi xảy ra lỗi. Dự án báo cáo rằng 10 vòng diễn tập đã nâng kết quả Make Popcorn từ 33% ban đầu lên 94% trong mô phỏng và 90%—tương đương 18 trong 20 lượt chạy—trên robot thực. Các bài đánh giá chuẩn hiện tại tập trung vào thao tác gần tĩnh; xử lý vật thể biến dạng, động lực học và mục tiêu chuyển động vẫn là hướng nghiên cứu trong tương lai.

GR00T 2 sử dụng một tác tử suy luận để sắp xếp trình tự kỹ năng, theo dõi tiến độ và gọi các quy trình khôi phục khi linh kiện rơi hoặc công việc bị đình trệ, trong khi mô hình đảm nhiệm thao tác có nhiều tương tác tiếp xúc. Với dữ liệu hiệu chỉnh và tác tử đó, NVIDIA báo cáo đã lắp ráp thành công 98 máy bay đồ chơi, 97 máy kéo đồ chơi và 97 xe Hot Wheels trong 100 lượt thử nghiệm cho mỗi loại đồ chơi; mỗi lượt đều bắt đầu với các bộ phận được đổ ngẫu nhiên. Chỉ tinh chỉnh có giám sát đạt lần lượt 69, 51 và 23 lượt lắp ráp thành công.

Sách trắng cũng báo cáo riêng tỷ lệ thành công trung bình khoảng 70% trong các bài đánh giá chuẩn hậu huấn luyện có chuỗi hành động dài. Khi phân loại rác bằng cách điều khiển theo hình ảnh, robot phải chờ tác tử trong trung vị 38% thời lượng mỗi lượt, cho thấy chi phí về độ trễ của việc giám sát bằng tác tử.

NVIDIA cho biết Nexuni đang thử nghiệm GR00T 2 trong công việc xử lý đồ giặt, Foxconn đang ứng dụng công nghệ này vào tự động hóa sản xuất máy chủ, còn Siemens đang đánh giá các trường hợp sử dụng trong công nghiệp. Những hoạt động được công bố chỉ dừng ở mức thử nghiệm và đánh giá; chưa có thông báo nào về việc triển khai trong sản xuất.

Kết luận của sách trắng cho rằng độ tin cậy đến từ ba yếu tố: tiền huấn luyện tạo độ bao quát, các minh họa sửa lỗi và học tăng cường nâng cao độ chính xác, còn các tác nhân đảm nhiệm việc ghi nhớ, xác minh và khôi phục. Vì vậy, với người dùng công nghiệp, thước đo hữu ích là toàn bộ quy trình làm việc xoay quanh GR00T 2 cùng mức độ giám sát cần thiết cho mỗi tác vụ. Thách thức còn bỏ ngỏ khi triển khai là duy trì độ tin cậy đã được báo cáo, đồng thời giảm thời gian điều chỉnh cho từng tác vụ và thời gian chờ tác nhân được ghi nhận trong chính các kết quả của NVIDIA.