Mengajar Robot Tentang Alat Dengan Neural Radiance Fields (NeRF)

Penelitian baru dari Universitas Michigan menawarkan cara bagi robot untuk memahami mekanisme alat dan objek yang diartikulasikan di dunia nyata, dengan membuat Neural Radiance Fields (NeRF) objek yang menunjukkan bagaimana objek-objek tersebut bergerak, sehingga memungkinkan robot untuk berinteraksi dengan mereka dan menggunakannya tanpa konfigurasi pra-dedikasi yang membosankan.

Dengan menggunakan referensi sumber yang diketahui untuk motilitas internal alat (atau objek dengan referensi yang sesuai), NARF22 dapat mensintesis aproksimasi fotorealistik dari alat dan rentang gerak serta jenis operasinya. Sumber: https://progress.eecs.umich.edu/projects/narf/

Robot yang harus melakukan lebih dari sekedar menghindari pejalan kaki atau melakukan rutinitas yang telah diprogram sebelumnya (untuk yang dataset non-reusable telah dilabeli dan dilatih dengan biaya tertentu) memerlukan kapasitas adaptif seperti ini jika mereka ingin bekerja dengan bahan dan objek yang sama yang harus kita hadapi.

Sampai saat ini, ada beberapa hambatan untuk memberikan sistem robotik dengan kemampuan seperti ini. Ini termasuk kelangkaan dataset yang dapat diterapkan, banyak di antaranya hanya memiliki jumlah objek yang terbatas; biaya yang besar untuk menghasilkan model 3D fotorealistik yang dapat membantu robot mempelajari instrumentasi dalam konteks dunia nyata; dan kualitas non-fotorealistik dari dataset yang sebenarnya cocok untuk tantangan ini, menyebabkan objek terlihat terpisah dari apa yang dirasakan robot di sekitarnya, dan melatihnya untuk mencari objek yang seperti kartun yang tidak akan pernah muncul dalam kenyataan.

Untuk mengatasi hal ini, peneliti dari Michigan, yang makalah mereka berjudul NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering, telah mengembangkan pipa dua tahap untuk menghasilkan objek yang diartikulasikan berbasis NeRF yang memiliki penampilan ‘dunia nyata’, dan yang menggabungkan gerakan dan keterbatasan dari objek yang diartikulasikan.

Meskipun tampak lebih kompleks, dua tahap pipa NARF22 melibatkan rendering bagian statis dari alat yang dapat digerakkan, dan kemudian menggabungkan elemen-elemen ini menjadi dataset kedua yang diberitahu tentang parameter gerakan yang dimiliki bagian-bagian ini, relatif terhadap satu sama lain. Sumber: https://arxiv.org/pdf/2210.01166.pdf

Sistem ini disebut Neural Articulated Radiance Field – atau NARF22, untuk membedakannya dari proyek lain yang memiliki nama serupa.

NARF22

Menentukan apakah objek yang tidak diketahui secara potensial diartikulasikan memerlukan sejumlah besar pengetahuan sebelumnya seperti manusia. Misalnya, jika Anda belum pernah melihat lemari tertutup sebelumnya, mungkin tampak seperti panel dekoratif lainnya – sampai Anda benar-benar membukanya, Anda menginternalisasi ‘lemari’ sebagai objek yang diartikulasikan dengan satu sumbu gerakan (maju dan mundur).

Oleh karena itu, NARF22 tidak dimaksudkan sebagai sistem eksplorasi untuk mengambil benda dan melihat apakah mereka memiliki bagian yang dapat digerakkan – hampir seperti perilaku simian yang akan melibatkan sejumlah skenario bencana yang potensial. Sebaliknya, kerangka kerja ini didasarkan pada pengetahuan yang tersedia dalam Universal Robot Description Format (URDF) – format XML berbasis sumber terbuka yang luas dan sesuai untuk tugas ini. File URDF akan berisi parameter gerakan yang dapat digunakan dari objek, serta deskripsi dan label lain dari bagian-bagian objek.

Dalam pipa konvensional, perlu untuk menjelaskan kemampuan artikulasi dari objek, dan untuk melabeli nilai-nilai sendi yang relevan. Ini bukan tugas yang murah atau mudah diperluas. Sebaliknya, alur kerja NaRF22 merender komponen-komponen individu dari objek sebelum ‘menggabungkan’ setiap komponen statis menjadi representasi NeRF yang diartikulasikan, dengan pengetahuan tentang parameter gerakan yang disediakan oleh URDF.

Pada tahap kedua proses, renderer baru sepenuhnya dibuat yang menggabungkan semua bagian. Meskipun mungkin lebih mudah untuk hanya menggabungkan bagian-bagian individu pada tahap sebelumnya dan melewati langkah selanjutnya, peneliti mengamati bahwa model akhir – yang dilatih pada NVIDIA RTX 3080 GPU di bawah AMD 5600X CPU – memiliki tuntutan komputasi yang lebih rendah selama backpropagation daripada penggabungan yang tiba-tiba dan prematur seperti itu.

Selain itu, model tahap kedua berjalan dua kali lebih cepat dari penggabungan yang diikat dan ‘dipaksa’, dan aplikasi sekunder yang mungkin perlu menggunakan informasi tentang bagian statis dari model tidak perlu memiliki akses mereka sendiri ke informasi URDF, karena ini telah digabungkan ke dalam renderer tahap akhir.

Data dan Eksperimen

Peneliti melakukan sejumlah eksperimen untuk menguji NARF22: satu untuk mengevaluasi rendering kualitatif untuk setiap konfigurasi dan pose objek; tes kuantitatif untuk membandingkan hasil rendering dengan sudut pandang serupa yang dilihat oleh robot dunia nyata; dan demonstrasi estimasi konfigurasi dan tantangan penghalusan 6 DOF (kedalaman bidang) yang menggunakan NARF22 untuk melakukan optimasi berbasis gradien.

Data pelatihan diambil dari Progress Tools dataset dari makalah sebelumnya oleh beberapa penulis yang sama. Progress Tools berisi sekitar enam ribu gambar RGB-D (yaitu, termasuk informasi kedalaman, penting untuk visi robotik) pada resolusi 640×480. Adegan yang digunakan termasuk delapan alat tangan, dibagi menjadi bagian-bagian mereka, lengkap dengan model mesh dan informasi tentang sifat kinematik objek (yaitu, cara mereka dirancang untuk bergerak, dan parameter gerakan tersebut).

Dataset Progress Tools menampilkan empat alat yang diartikulasikan. Gambar di atas adalah rendering berbasis NeRF dari NARF22.

Untuk eksperimen ini, model konfigurasi akhir dilatih menggunakan hanya tang penjepit, penjepit hidung panjang, dan penjepit (lihat gambar di atas). Data pelatihan berisi satu konfigurasi penjepit, dan satu untuk setiap penjepit.

Implementasi NARF22 didasarkan pada FastNeRF, dengan parameter input yang dimodifikasi untuk fokus pada pose yang diikat dan dienkripsi secara spasial. FastNeRF menggunakan multilayer perceptron yang difaktorkan dengan mekanisme sampling voxel (voxel pada dasarnya adalah piksel, tetapi dengan koordinat 3D penuh, sehingga dapat beroperasi dalam ruang tiga dimensi).

Untuk tes kualitatif, peneliti mengamati bahwa ada beberapa bagian yang tersembunyi dari penjepit (yaitu, tulang belakang tengah, yang tidak dapat diketahui atau ditebak dengan mengamati objek, tetapi hanya dengan berinteraksi dengannya, dan bahwa sistem memiliki kesulitan membuat geometri ‘tidak diketahui’ ini.

Rendering kualitatif alat.

Sebaliknya, penjepit dapat menggeneralisasi dengan baik ke konfigurasi baru (yaitu, ekstensi dan gerakan bagian-bagian yang dalam parameter URDF, tetapi yang tidak secara eksplisit ditangani dalam materi pelatihan untuk model.

Peneliti mengamati, bagaimanapun, bahwa kesalahan pelabelan untuk penjepit menyebabkan penurunan kualitas rendering untuk ujung-ujung alat yang sangat rinci, secara negatif mempengaruhi rendering – masalah yang terkait dengan kekhawatiran yang lebih luas sekitar logistik pelabelan, anggaran, dan akurasi dalam sektor penelitian visi komputer, daripada kekurangan prosedural dalam pipa NARF22.

Hasil dari tes akurasi rendering.

Untuk tes estimasi konfigurasi, peneliti melakukan penyempurnaan pose dan estimasi konfigurasi dari pose ‘kaku’ awal, menghindari caching atau workaround akseleratif yang digunakan oleh FastNeRF itu sendiri.

Mereka kemudian melatih 17 adegan yang teratur dari set tes Progress Tools (yang telah disisihkan selama pelatihan), menjalankan 150 iterasi optimasi gradien di bawah pengoptimal Adam. Prosedur ini memulihkan estimasi konfigurasi ‘sangat baik’, menurut peneliti.

Hasil dari tes estimasi konfigurasi.

Dipublikasikan pertama kali pada 5 Oktober 2022.