Kemajuan dalam “Spatial-AI” Memungkinkan Robot untuk Mengenali Lingkungan Fisik seperti Manusia

Insinyur di MIT sedang bekerja untuk memberi robot kemampuan untuk mengikuti perintah tingkat tinggi, seperti pergi ke ruangan lain untuk mengambil sesuatu untuk seseorang. Agar ini memungkinkan, robot perlu memiliki kemampuan untuk mengenali lingkungan fisik mereka secara serupa dengan cara manusia melakukannya.

Luca Carlone adalah asisten profesor aeronautika dan astronautika di MIT.

“Untuk membuat keputusan apa pun di dunia, Anda perlu memiliki model mental dari lingkungan sekitar Anda,” kata Carlone. “Ini adalah sesuatu yang sangat mudah bagi manusia. Tapi bagi robot, ini adalah masalah yang sangat sulit, di mana itu tentang mengubah nilai piksel yang mereka lihat melalui kamera, menjadi pemahaman tentang dunia.”

Untuk mengatasi tantangan ini, peneliti membuat model representasi persepsi spasial untuk robot berdasarkan pada bagaimana manusia mengenali dan menavigasi lingkungan fisik mereka.

Grafik Adegan Dinamis 3D

Model baru ini disebut Grafik Adegan Dinamis 3D, dan memungkinkan robot untuk menghasilkan peta 3D dari lingkungan sekitarnya, termasuk objek dan label semantik mereka. Robot juga dapat memetakan orang, ruangan, dinding, dan struktur lainnya di lingkungan.

Model ini kemudian memungkinkan robot untuk mengekstrak informasi dari peta 3D, informasi yang dapat digunakan untuk menemukan objek, ruangan, dan pergerakan orang.

“Representasi lingkungan yang terkompresi ini berguna karena memungkinkan robot kita untuk membuat keputusan dan merencanakan jalur dengan cepat,” kata Carlone. “Ini tidak terlalu jauh dari apa yang kita lakukan sebagai manusia. Jika Anda perlu merencanakan jalur dari rumah Anda ke MIT, Anda tidak merencanakan setiap posisi yang perlu Anda ambil. Anda hanya berpikir pada tingkat jalan dan landmark, yang membantu Anda merencanakan rute Anda lebih cepat.”

Menurut Carlone, robot yang mengandalkan model ini akan dapat melakukan lebih dari sekadar tugas domestik. Mereka juga dapat digunakan untuk keterampilan tingkat tinggi dan bekerja bersama orang di pabrik, atau membantu menemukan korban di tempat bencana.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Metode Saat Ini vs Model Baru

Metode saat ini untuk visi robotik dan navigasi terutama fokus pada pemetaan 3D yang memungkinkan robot untuk merekonstruksi lingkungan mereka dalam tiga dimensi secara real-time, atau segmentasi semantik, yang terjadi ketika robot mengklasifikasikan fitur lingkungan sebagai objek semantik, seperti mobil versus sepeda. Segmentasi semantik sering dilakukan pada gambar 2D.

Model persepsi spasial yang baru dikembangkan adalah yang pertama dari jenisnya untuk menghasilkan peta 3D lingkungan secara real-time dan melabeli objek, orang, dan struktur dalam peta 3D secara bersamaan.

Untuk mencapai model baru ini, peneliti mengandalkan Kimera, sebuah perpustakaan sumber terbuka. Kimera sebelumnya dikembangkan oleh tim yang sama untuk membangun model geometris 3D lingkungan, sambil mengkodekan apa yang mungkin merupakan objek, seperti kursi versus meja.

“Seperti makhluk mitos yang merupakan campuran dari hewan yang berbeda, kami ingin Kimera menjadi campuran dari pemetaan dan pemahaman semantik dalam 3D,” kata Carlone.

Kimera menggunakan gambar dari kamera robot dan pengukuran inersia dari sensor onboard untuk merekonstruksi adegan sebagai mesh 3D secara real-time. Untuk melakukan ini, Kimera menggunakan jaringan saraf yang telah dilatih pada jutaan gambar dunia nyata. Kemudian dapat memprediksi label setiap piksel dan menggunakan ray-casting untuk memproyeksikan mereka dalam 3D.

Dengan menggunakan teknik ini, lingkungan robot dapat dipetakan dalam mesh 3D di mana setiap wajah diwarnai, mengidentifikasinya sebagai bagian dari objek, struktur, atau orang dalam lingkungan.

Mesh 3D ke Grafik Adegan Dinamis 3D

Karena model mesh semantik 3D memerlukan banyak daya komputasi dan memakan waktu, peneliti menggunakan Kimera untuk mengembangkan algoritma yang menghasilkan grafik adegan dinamis 3D.

Mesh semantik 3D dipecah menjadi lapisan semantik yang berbeda, dan robot kemudian dapat melihat adegan melalui lapisan. Lapisan-lapisan ini mulai dari objek dan orang, ke ruang terbuka dan struktur, ke ruangan, koridor, aula, dan bangunan utuh.

Metode pelapisan ini memungkinkan robot untuk mempersempit fokusnya daripada harus menganalisis miliaran poin dan wajah. Metode pelapisan ini juga memungkinkan algoritma untuk melacak manusia dan pergerakan mereka dalam lingkungan secara real-time.

Model baru ini diuji dalam simulator foto-realistik yang mensimulasikan robot yang menavigasi lingkungan kantor dengan orang yang bergerak.

“Kami pada dasarnya memungkinkan robot untuk memiliki model mental yang serupa dengan yang digunakan manusia,” kata Carlone. “Ini dapat mempengaruhi banyak aplikasi, termasuk mobil self-driving, pencarian dan penyelamatan, manufaktur kolaboratif, dan robotika domestik.

Carlone bergabung dengan penulis utama dan mahasiswa pascasarjana MIT Antoni Rosinol.

“Pendekatan kami baru saja dimungkinkan berkat kemajuan baru-baru ini dalam pembelajaran dalam dan dekade penelitian tentang lokalisisasi dan pemetaan simultan,” kata Rosinol. “Dengan pekerjaan ini, kami membuat lompatan menuju era baru persepsi robotik yang disebut spatial-AI, yang masih dalam masa bayi tetapi memiliki potensi besar dalam robotika dan realitas virtual serta augmented yang besar.”

Penelitian ini dipresentasikan pada konferensi virtual Robotika: Sains dan Sistem.