Ai2 Merilis ToyBlocks untuk Menguji Cara Robot Belajar dan Gagal

Ai2 merilis ToyBlocks pada 6 November 2026 sebagai lingkungan pertama dalam kerangka FoundationWorlds, yang memadukan simulasi robot terbuka dengan demonstrasi yang dihasilkan, dua model terlatih, dan perangkat evaluasi. Kerangka ini dirancang agar eksperimen pembelajaran robot dapat diulang dan kegagalan lebih mudah ditelusuri.

Lingkungan ini menempatkan lengan robot simulasi dan balok berlabel di atas meja. Tugas mendorong, membalik, dan menumpuk dilengkapi dengan tugas mencari, memilah, dan menyusun: huruf atau gambar yang diperlukan pada sebuah balok bisa tersembunyi, sehingga robot harus memutarnya sebelum menentukan letak yang tepat. Perubahan ukuran balok, tinggi meja, dan sifat lainnya di antara berbagai skenario menguji apakah kebijakan robot mampu beradaptasi dengan geometri yang berubah.

Ranah yang terbatas ini memungkinkan Ai2 mengupayakan empat hal sekaligus: fisika dan visual yang meyakinkan, pembuatan tugas dan demonstrasi dalam skala besar, masalah yang menuntut penalaran sekaligus ketangkasan, serta cakupan tugas yang dapat didukung oleh ranah tersebut.

Demonstrasi Otomatis dan Model Terbuka

Pembelajaran penguatan dan perencanaan gerak menghasilkan keterampilan untuk tugas-tugas singkat di Isaac Lab milik Nvidia. Pembuatan keterampilan dapat memanfaatkan keadaan simulator dengan informasi istimewa, termasuk posisi dan orientasi balok yang tepat, alih-alih perkiraan dari kamera. Dengan demikian, perilaku yang jika tidak demikian memerlukan teleoperasi pada robot fisik dapat diotomatisasi. Perencana tugas dan gerak kemudian memilih dan menyusun urutan keterampilan untuk menghasilkan demonstrasi berlabel. Ai2 menyatakan bahwa ratusan rencana dapat dijalankan secara bersamaan pada satu GPU dengan kecepatan hingga 24 kali waktu nyata.

Peneliti dapat mengatur bobot campuran data pelatihan agar lebih menitikberatkan keterampilan tertentu, lalu mengevaluasi kebijakan pada tugas yang tidak disertakan dalam pelatihan. Dengan begitu, pembuat data berfungsi sebagai alat kendali eksperimen, bukan sekadar sumber kumpulan data yang lebih besar.

Tujuan ditulis sebagai spesifikasi perencanaan PDDL di repositori ToyBlocks, sehingga sistem evaluasi dapat menilai penyelesaian tugas dan kemajuan antara tanpa metrik khusus untuk setiap tugas. Demonstrasi disimpan dalam format LeRobot. Kebijakan hierarkis dapat mengganti salah satu tingkatnya dengan oracle yang menyediakan rencana atau tindakan yang benar, sehingga keputusan yang buruk dapat dibedakan dari pelaksanaan gerak motor yang keliru. Keadaan gagal juga dapat dikembalikan ke proses pembuatan data untuk menghasilkan demonstrasi dan upaya pemulihan baru.

Ai2 melaporkan bahwa rilis awal mencakup 85,336 demonstrasi berdurasi panjang. Bergantung pada kumpulan datanya, setiap demonstrasi terdiri atas sekitar 6–12 demonstrasi keterampilan, dengan total hampir 1,600 jam pelaksanaan robot dan 144 juta bingkai. Kumpulan data publik ini menggunakan data LeRobot berformat Parquet dengan lisensi ODC-BY, serta mencakup subset mudah, menengah, dan sulit. Kode utama berlisensi Apache-2.0; submodul yang ditentukan dan aset yang diunduh memiliki lisensi masing-masing.

Kartu model Ai2 membagi kebijakan yang dirilis menjadi dua tingkat: Molmo2-4B-tb, model dengan sekitar 4.5 miliar parameter, membaca gambar dari kamera depan dan tujuan dalam bentuk teks untuk menghasilkan rencana singkat, tindakan berikutnya, dan titik sasaran; ManiFlow-tb, dengan 322.5 juta parameter, menggunakan gambar dari kamera depan dan kamera penjepit, keadaan robot, informasi tugas, serta peta panas sasaran untuk menghasilkan rangkaian tindakan.

Eksperimen Generalisasi dan Agen

Eksperimen spasial mencakup tugas menumpuk, membongkar tumpukan, membalik, dan memutar. Eksperimen ini membedakan interpolasi dalam rentang pelatihan dari ekstrapolasi di luarnya. Contohnya meliputi pelatihan menggunakan balok di satu area ruang kerja, lalu pengujian di area lain, atau tidak menyertakan ketinggian tumpukan tertentu saat pelatihan. Ai2 melaporkan bahwa kemampuan generalisasi awal ManiFlow, π0.5, dan MolmoAct 2 buruk meskipun telah menjalani prapelatihan berskala besar. Ai2 menyimpulkan bahwa generalisasi model tindakan masih jauh dari tuntas.

Pengujian berbasis agen memperlihatkan kelemahan yang berbeda. Ai2 menyatakan bahwa sistemnya yang berbasis Claude Opus 5.5 menyelesaikan seluruh 30 tugas klasik menyusun balok berdasarkan deskripsi teks, dan juga seluruh 30 tugas saat memilih tindakan secara berulang dalam lingkar tertutup berdasarkan gambar kamera. Dalam skenario mencari dan mengeja yang memuat hingga delapan balok, 50% skenario tidak memiliki huruf yang diperlukan sehingga harus dikenali sebagai tugas yang mustahil. Agen berhasil menyelesaikan tugas atau mengidentifikasi dengan tepat bahwa tugas itu mustahil dalam 63% kasus; kebingungan akibat huruf yang tampak serupa terjadi pada 13% kasus, sedangkan orientasi huruf yang keliru terjadi pada 15% kasus.

Dalam eksperimen agen ketiga, sistem diizinkan menguji perilaku keterampilan yang tidak terduga dan menulis deskripsi keterampilan baru berdasarkan hasilnya. Ai2 melaporkan bahwa deskripsi yang dipelajari ini meningkatkan tingkat keberhasilan dari 24% dengan deskripsi bawaan menjadi 63%, melampaui 36% yang dicapai dengan deskripsi buatan pakar manusia.

Pengujian Robot Fisik dan Batasannya

Untuk evaluasi fisik, model yang dilatih sepenuhnya menggunakan data simulasi ToyBlocks dijalankan tanpa contoh pelatihan dari dunia nyata pada lengan Franka FR3 dengan penjepit Robotiq. Ke-30 konfigurasi skenario tersebut memuat 4–10 balok yang telah terlihat selama pelatihan. Sebuah episode hanya dihitung berhasil jika balok yang relevan mencapai pose sasarannya tanpa terjadi tabrakan; intervensi operator untuk mencegah gerakan yang tidak aman dihitung sebagai kegagalan.

Untuk memperkecil kesenjangan antara simulasi dan kenyataan, Ai2 menyesuaikan gesekan sambungan dan inersia lengan dalam simulasi berdasarkan lintasan nyata. Pembuatan data mengacak ukuran objek, gesekan, dan tinggi meja, serta pencahayaan, latar belakang, material, dan parameter kamera.

Ai2 melaporkan tingkat keberhasilan keterampilan atomik ManiFlow sebesar 80,0% dalam simulasi dan 81,1% pada lengan robot fisik. Sistem hierarkis Molmo 2–ManiFlow berhasil dalam 55,5% episode simulasi (111 dari 200) dan 50,0% episode fisik (15 dari 30).

Ai2 memberi dua catatan penting terkait hasil tersebut. Evaluasi hierarki fisik menggunakan konfigurasi simulasi yang paling mudah, dengan karakter pada balok terlihat dan tegak, dan diperlukan uji coba lebih lanjut untuk memastikan keyakinan statistik di berbagai tugas. Kartu ManiFlow-nya juga mencatat tingkat keberhasilan antara 54% hingga 59% dalam empat kali pelaksanaan dari 128 episode simulasi yang sama, karena simulasi dan inferensi berkelompok tidak deterministik secara bit demi bit.

Ai2 berencana merilis versi kedua dengan kumpulan data yang lebih besar, lebih banyak keterampilan, dan tolok ukur yang lebih luas, serta pelatihan pembelajaran penguatan yang terintegrasi sepenuhnya—fitur yang tidak tersedia dalam paket saat ini. Pengembangan jangka panjang mencakup manipulasi dengan dua lengan, tangan cekatan yang dilengkapi sensor gaya dan sentuhan, serta interaksi dengan tumpukan balok yang tidak tertata.

Karena itu, kontribusi langsung ToyBlocks terletak pada kendali eksperimental: peneliti dapat mengubah komposisi data pelatihan, memisahkan perencanaan dari pelaksanaan, dan mengalirkan kegagalan kembali ke proses pembuatan data. Hasil awalnya juga menunjukkan batas kemampuan sistem ini. Generalisasi yang lemah dalam simulasi dan evaluasi fisik yang terbatas menjadi alasan untuk tidak menarik kesimpulan berlebihan tentang pembelajaran robot di luar dunia balok berdasarkan tingkat keberhasilan transfer tahap awal ini.