Mengajar Robot tentang Alat dengan Neural Radiance Fields (NeRF)

Penelitian baru dari Universitas Michigan menawarkan cara bagi robot untuk memahami mekanisme alat dan objek terartikulasi dunia nyata lainnya dengan membuat objek Neural Radiance Fields (NeRF) yang menunjukkan cara objek tersebut bergerak, sehingga memungkinkan robot untuk berinteraksi dengan mereka dan menggunakannya tanpa konfigurasi pra-dedikasi yang membosankan.

Dengan menggunakan referensi sumber yang diketahui untuk motilitas internal alat (atau objek lain dengan referensi yang sesuai), NARF22 dapat mensintesis aproksimasi fotorealistik dari alat dan rentang gerak serta jenis operasinya. Sumber: https://progress.eecs.umich.edu/projects/narf/

Robot yang diminta untuk melakukan lebih dari menghindari pejalan kaki atau melakukan rutinitas yang telah diprogram dengan elaboratif (untuk yang dataset non-reusable telah dilabeli dan dilatih dengan biaya tertentu) memerlukan kapasitas adaptif seperti ini jika mereka ingin bekerja dengan bahan dan objek yang sama dengan yang kita hadapi.

Sampai saat ini, telah ada beberapa hambatan untuk memberikan sistem robotik dengan jenis kelenturan seperti ini. Ini termasuk kelangkaan dataset yang dapat diterapkan, banyak di antaranya hanya menampilkan sejumlah kecil objek; biaya besar yang terlibat dalam menghasilkan model 3D fotorealistik yang dapat membantu robot untuk belajar instrumentasi dalam konteks dunia nyata; dan kualitas non-fotorealistik dari dataset tersebut, menyebabkan objek tampak terputus dari apa yang robot persepsikan di dunia sekitarnya, dan melatihnya untuk mencari objek seperti kartun yang tidak akan pernah muncul dalam kenyataan.

Untuk mengatasi ini, peneliti Michigan, yang makalahnya berjudul NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering, telah mengembangkan pipa dua tahap untuk menghasilkan objek terartikulasi berbasis NeRF yang memiliki penampilan “dunia nyata” dan yang menggabungkan gerakan dan keterbatasan objek terartikulasi tertentu.

Meskipun tampak lebih kompleks, dua tahap pipa NARF22 secara esensial melibatkan rendering bagian statis dari alat yang dapat digerakkan, dan kemudian menggabungkan elemen-elemen ini menjadi dataset kedua yang diberitahu tentang parameter gerakan yang dimiliki bagian-bagian tersebut, relatif terhadap satu sama lain. Sumber: https://arxiv.org/pdf/2210.01166.pdf

Sistem ini disebut Neural Articulated Radiance Field – atau NARF22, untuk membedakannya dari proyek dengan nama serupa.

NARF22

Menentukan apakah objek yang tidak diketahui berpotensi terartikulasi memerlukan sejumlah besar pengetahuan sebelumnya seperti manusia. Misalnya, jika Anda belum pernah melihat lemari tertutup sebelumnya, itu mungkin tampak seperti panel dekoratif lainnya – itu tidak sampai Anda benar-benar membukanya bahwa Anda memahami ‘lemari’ sebagai objek terartikulasi dengan satu sumbu gerakan (maju dan mundur).

Oleh karena itu, NARF22 tidak dimaksudkan sebagai sistem eksplorasi untuk mengambil benda dan melihat apakah mereka memiliki bagian yang dapat digerakkan – hampir perilaku seperti simian yang akan melibatkan sejumlah skenario bencana potensial. Sebaliknya, kerangka ini didasarkan pada pengetahuan yang tersedia dalam Universal Robot Description Format (URDF) – format berbasis XML yang terbuka dan banyak digunakan yang sesuai untuk tugas ini. File URDF akan berisi parameter gerakan yang dapat digunakan dari objek, serta deskripsi dan aspek lain yang dilabeli dari bagian objek.

Dalam pipa konvensional, perlu untuk menjelaskan kemampuan artikulasi objek, dan untuk melabeli nilai sendi yang relevan. Ini bukan tugas yang murah atau mudah diskalakan. Sebaliknya, alur kerja NaRF22 merender komponen individu objek sebelum ‘menggabungkan’ setiap komponen statis menjadi representasi NeRF berbasis terartikulasi, dengan pengetahuan tentang parameter gerakan yang disediakan oleh URDF.

Pada tahap kedua proses, renderer baru sepenuhnya dibuat yang menggabungkan semua bagian. Meskipun mungkin lebih mudah untuk hanya menggabungkan bagian individu pada tahap yang lebih awal dan melewati langkah selanjutnya, para peneliti mengamati bahwa model akhir – yang dilatih pada NVIDIA RTX 3080 GPU di bawah CPU AMD 5600X – memiliki tuntutan komputasi yang lebih rendah selama backpropagation daripada penggabungan yang tiba-tiba dan prematur.

Selain itu, model tahap kedua berjalan pada kecepatan dua kali lipat dari penggabungan yang dikonkatkan, dan aplikasi sekunder yang mungkin perlu menggunakan informasi tentang bagian statis model tidak perlu akses mereka sendiri ke informasi URDF, karena ini telah digabungkan ke dalam renderer tahap akhir.

Data dan Eksperimen