NVIDIA Memperkenalkan GR00T 2 agar Robot Dapat Belajar dari Video Manusia

NVIDIA memperkenalkan GR00T 2 pada 9 November 2026 di Conference on Robot Learning (CoRL) di Austin, dan melaporkan tingkat keberhasilan tanpa pelatihan khusus sebesar 40% pada 50 tugas yang tidak tercakup dalam data pelatihan robot sasaran. Model ini dilatih, sebagian, menggunakan video manusia.

GR00T 2 menggunakan transformer dengan 2 miliar parameter yang dibangun di atas Cosmos-Predict2.5-2B. Model ini menggabungkan tampilan kamera terkini, keadaan robot, dan instruksi tertulis untuk menghasilkan perkiraan tampilan mendatang serta rangkaian tindakan berikutnya. Satu checkpoint pralatih mencakup lengan dengan pencengkeram paralel, tangan cekatan, dan robot humanoid. Meski NVIDIA memperkenalkan model ini sebagai model terbuka, halaman penelitiannya menyebutkan bahwa kodenya akan tersedia pada Desember.

Prapelatihan menggabungkan 402.730 jam video manusia dari sudut pandang orang pertama, 10.184 jam demonstrasi pencengkeram genggam untuk 2.897 tugas, dan 23.500 jam teleoperasi robot. Rilis Human-1M-100K menyediakan akses ke 100.000 jam data manusia tersebut, termasuk video, anotasi bahasa, serta data gerakan kepala dan tangan, di bawah lisensi CC BY 4.0 yang mengizinkan penggunaan komersial maupun nonkomersial.

Pengujian lintas perwujudan menunjukkan bagaimana keterampilan dapat berpindah antarrobot dan beradaptasi dengan data robot yang terbatas. NVIDIA melaporkan tingkat keberhasilan 65% untuk menyiapkan kertas saring berdasarkan demonstrasi manusia tanpa teleoperasi khusus tugas, serta 60% untuk merakit truk jungkit mainan setelah keterampilan dipindahkan dari pencengkeram genggam ke lengan YAM. Dalam evaluasi Dexter, GR00T 2 menyelesaikan setidaknya satu percobaan pada 40 tugas. Tingkat keberhasilan rata-rata mencapai 71% dengan satu demonstrasi per tugas dan 95% dengan lima demonstrasi; lima demonstrasi itu menyediakan data robot kurang dari tiga menit per tugas, lalu diikuti penyempurnaan adapter selama sekitar 30 menit menggunakan satu RTX 5090.

Makalah teknis tersebut memberikan batasan pada hasil dengan lima demonstrasi: tugas yang dievaluasi dipilih dari tugas-tugas yang dapat dipelajari model dengan lima episode dan tingkat keberhasilan setidaknya 80%. Karena itu, rata-rata tersebut sebagian memang tinggi berkat cara pemilihan tugas.

Pelatihan Simulasi Beralih ke Presisi

Fondasi simulasinya adalah Isaac Lab 3.0, yang tersedia secara umum sejak 20 Oktober 2026. Perangkat ini menyediakan satu API tugas untuk berbagai backend fisika, perenderan, dan visualisasi; Newton mendukung benda tegar, benda yang dapat berubah bentuk, dan partikel, sementara banyak alur kerja dapat dijalankan tanpa memasang Isaac Sim secara lengkap. Dalam tolok ukur manipulasi cekatan berbasis penglihatan, NVIDIA melaporkan bahwa throughput pelatihan Isaac Lab 3.0 dengan Newton mencapai hingga 2,5 kali throughput Isaac Lab 2.3 dengan PhysX.

AlphaNIST menerapkan latihan simulasi berskala besar pada 20 tugas NIST Assembly Task Board, termasuk tugas dengan komponen sekecil 4 milimeter. Satu kebijakan bersama dilatih hanya dengan imbalan keberhasilan berupa jawaban ya atau tidak. NVIDIA melaporkan tingkat keberhasilan pelatihan 98,2% untuk kebijakan tersebut, dibandingkan dengan 81,4% untuk kebijakan terpisah pada setiap tugas, dengan penggunaan waktu GPU sekitar 39 kali lebih sedikit; hasil ini berasal dari pelatihan simulasi.

Di balik AlphaNIST terdapat Pengambilan Sampel Berpanduan Keberhasilan, yang dikembangkan oleh University of Washington dan NVIDIA. Metode ini mengarahkan latihan ke konfigurasi yang mendekati batas kemampuan kebijakan, khususnya konfigurasi yang berhasil diselesaikannya sekitar separuh waktu. Para penulis metode tersebut melaporkan bahwa metode ini dapat diskalakan secara efektif hingga lebih dari satu juta lingkungan simulasi dan memungkinkan transfer tanpa pelatihan kebijakan perakitan berbasis RGB ke perangkat keras UR5e nyata.

Tolok Ukur Menangani Variasi Industri

Isaac Lab-Arena menyediakan lapisan evaluasi. Kerangka kerja sumber terbuka ini menyusun evaluasi berulang dari komponen modular dan menjalankannya di berbagai lingkungan simulasi yang dipercepat GPU. Analisis kegagalan menunjukkan kondisi mana yang memerlukan pelatihan ulang. NVIDIA menyebutkan bahwa pratinjau pengembang versi 0.4 akan hadir di CoRL.

DexBench v1.0, yang dikembangkan oleh RLWRLD bersama NVIDIA, mencakup 15 tugas dalam skenario ritel, logistik, jalur perakitan, serta makanan dan minuman di hotel. VABAR, dari UC Berkeley dan NVIDIA, mencakup penyortiran dan penggantungan alat, penyambungan roda gigi, pengemasan jarum suntik, serta penyisipan dan perutean kabel, dengan dukungan pustaka berisi 33 keterampilan. Halaman proyek VABAR menyebutkan bahwa dua tingkat kesulitan yang tersedia saat ini menjadi set validasi, sementara set pengujian yang lebih sulit masih akan dirilis.

Agen Menambahkan Pemulihan dan Batasan Baru

Kerangka kerja Graph-as-Policy dari UC Berkeley menggunakan beberapa agen untuk menyusun graf berarah yang dapat ditafsirkan dari keterampilan robot, melatihnya dalam simulasi, lalu merevisi struktur dan parameternya setelah terjadi kegagalan. Proyek tersebut melaporkan bahwa sepuluh iterasi latihan meningkatkan hasil Make Popcorn dari 33% pada awalnya menjadi 94% dalam simulasi dan 90%—atau 18 dari 20 percobaan—pada robot nyata. Tolok ukur saat ini berfokus pada manipulasi kuasi-statis; objek yang dapat berubah bentuk, dinamika, dan target bergerak masih menjadi pekerjaan mendatang.

GR00T 2 menggunakan agen penalaran untuk menyusun urutan keterampilan, memantau kemajuan, dan menjalankan prosedur pemulihan saat komponen terjatuh atau pekerjaan terhenti, sementara model menangani manipulasi yang melibatkan banyak kontak. Dengan data koreksi dan agen tersebut, NVIDIA melaporkan keberhasilan merakit 98 pesawat mainan, 97 traktor mainan, dan 97 mainan Hot Wheels dalam 100 percobaan untuk setiap jenis mainan, yang masing-masing dimulai dengan komponen yang diacak. Penyetelan halus terawasi saja menghasilkan 69, 51, dan 23 rakitan, secara berurutan.

Makalah teknis tersebut secara terpisah melaporkan tingkat keberhasilan rata-rata sekitar 70% pada tolok ukur pascapelatihan berdurasi panjang. Dalam penyortiran sampah yang diarahkan secara visual, robot menunggu agen selama median 38% dari satu episode, yang menunjukkan biaya latensi dari pengawasan agen.

NVIDIA menyatakan bahwa Nexuni sedang menguji GR00T 2 untuk menangani cucian, Foxconn menerapkannya pada otomatisasi manufaktur server, dan Siemens sedang mengevaluasi kasus penggunaan industri. Pekerjaan yang diungkapkan masih berupa pengujian dan evaluasi; belum ada peluncuran untuk produksi yang diumumkan.

Kesimpulan makalah teknis tersebut membagi peran dalam menjaga keandalan: prapelatihan untuk keluasan, demonstrasi korektif dan pembelajaran penguatan untuk presisi, serta agen untuk memori, verifikasi, dan pemulihan. Karena itu, bagi pengguna industri, ukuran yang berguna adalah keseluruhan alur kerja seputar GR00T 2 dan besarnya pengawasan yang diperlukan untuk setiap tugas. Tantangan penerapan yang belum teratasi adalah mempertahankan keandalan yang dilaporkan sekaligus mengurangi adaptasi untuk tiap tugas dan waktu tunggu agen yang dicatat dalam hasil NVIDIA sendiri.