Mengendalikan Drone Melalui Visi Langsung

Peneliti dari Cina telah mengembangkan algoritma baru yang dapat memungkinkan pengendalian penerbangan drone dengan menafsirkan langsung visi pengguna. Secara efektif, operator manusia “menjadi” drone dan memandu jalur penerbangannya berdasarkan arah pandangan pengguna.

Sudut pandang pengguna terlihat di bagian kiri bawah, dengan jalur penerbangan drone yang ditangkap secara eksternal oleh perangkat bayangan. Lihat video di akhir artikel untuk cuplikan gerak penuh. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Makalah ini disebut GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, dan berasal dari peneliti di Institute of Cyber-Systems and Control di Zhejiang University, dan School of Automation di Nanjing Institute of Technology. Peneliti juga telah merilis video hari ini yang menunjukkan kemampuan sistem (lihat akhir artikel).

Mengendalikan Drone Tanpa Abstraksi

Peneliti berusaha untuk menghilangkan lapisan abstraksi untuk pengendalian drone, dengan alasan bahwa unit kontrol sekunder memerlukan pelatihan dan hanya merupakan abstraksi kasar dari niat pengguna, yang mengarah pada manuver yang tidak terduga dan salah tafsir gerakan pengendalian.

Makalah sebelumnya di tahun ini, dari peneliti yang sama, menekankan pentingnya visibilitas garis pandang dalam navigasi drone, dan karya saat ini merupakan pengembangan dari temuan penelitian tersebut.

Di atas, komposit dari jalur penerbangan lab ‘assault course’ drone (lihat video di akhir untuk tes eksternal di lingkungan terbuka). Di bawah, operator mengenakan pelacak mata yang memberikan pandangan langsung kamera depan drone quadrotor (bagian kanan bawah). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritma

GPA menggunakan optimizer back-end yang memperhalus pandangan pengguna menjadi jalur optimal yang paling aman, yang setara dengan ‘auto aim’ dalam permainan video, dengan latensi yang hampir nol (dengan alasan yang jelas).

Modul subsystem UAV dipasang langsung ke dalam drone, termasuk fasilitas untuk estimasi keadaan, perencanaan, pemetaan, dan modul kontrol. Sistem lokal menerima data arah pandangan mata dari unit satu-mata yang dipasang di harnes yang dikenakan oleh pengguna, yang memberikan jalur topologi awal, yang harus dibersihkan oleh sistem secara langsung.

Untuk menciptakan pengalaman yang konsisten bagi pengendali jarak jauh, tampilan monokrom yang diterima pengguna secara otomatis dipusatkan oleh sistem drone on-board, tidak hanya karena tanpa ini akan sulit untuk menafsirkan deviasi rute yang dimaksud (sebagaimana ditunjukkan oleh perubahan arah pandangan).

Sistem pertama kali memparse koordinat vektor yang diestimasi dari aliran gambar. Karena input video sistem peneliti saat ini monokular, batas persepsi kedalaman kamera digunakan untuk mendapatkan vektor kedua (kedalaman) yang diterapkan pada vektor 2-D yang dihasilkan dari gambar. Secara teori, iterasi selanjutnya dapat menggunakan kamera stereo untuk memperbaiki pipeline ini, meskipun masih harus dilihat apakah overhead pemrosesan tambahan akan meninggalkan manfaat persepsi 3D berbasis perangkat keras yang utuh.

Bagaimanapun, dengan nilai 3D yang diperoleh, perhitungan digunakan sebagai asal untuk Breadth First Search (BFS). Piksel yang akan dihilangkan oleh BFS (yaitu piksel yang diidentifikasi sebagai sudah dalam batas) digunakan sebagai titik jangkar untuk DBSCAN clustering (jika belum dikluster), dan rutin kembali ke evaluasi BFS dari titik patah terakhir.

Arsitektur GPA.

Proses ini diulangi sampai objek diidentifikasi dan diberi label dalam parameter margin yang sesuai dengan bidang pandang (FOV – yang, dalam kasus ini, harus sangat jelas untuk menghindari tabrakan).

Akhirnya, perhitungan vektor digunakan untuk menghasilkan jalur yang jelas, atau untuk memvalidasi bahwa arah pandangan pengguna sudah merupakan jalur yang aman melalui atau melewati hambatan.

Tes di mana sistem mengabaikan visibilitas (kiri) dan di mana trajektori diperhitungkan ulang untuk mempertimbangkan visibilitas sebagai kritis untuk jalur penerbangan (kanan).

Pengujian

Untuk menguji sistem kontrol drone berbasis pandangan, peneliti Cina menggunakan serangkaian sukarelawan dengan pengetahuan nol tentang sistem, dan tanpa pengalaman dalam mengendalikan penerbangan drone. Subjek diminta untuk menavigasi jalur hambatan di lingkungan tertutup dan terbuka dengan hanya tiga rutinitas orientasi singkat untuk memperkenalkan mereka dengan operasi dasar sistem.

Selain itu, setelah memberi tahu sukarelawan tentang topologi dasar hambatan, peneliti menambahkan ‘hambatan kejutan’ yang tidak termasuk dalam briefing.

Di atas, trajektori drone quadrotor online, berwarna sesuai dengan ketinggian. Di bawah, hambatan yang dapat dinavigasi, dimulai dengan kotak dan berlanjut ke cincin.

Praktis, sistem dapat secara efektif memperbaiki data pandangan sehingga drone yang digunakan dapat melewati (atau melalui) hambatan berbentuk kotak dan cincin tanpa tabrakan, dan peneliti telah menyimpulkan bahwa sistem mereka intuitif dan aman, dengan margin keamanan yang tinggi dalam operasi.

Peneliti juga membandingkan kinerja pendekatan mereka dengan arsitektur FocusTrack di sistem Mavic Air 2, menyimpulkan bahwa sistem mereka lebih unggul dengan dapat mengukur dan bertindak berdasarkan niat pengguna yang presisi.

Teknologi pelacakan mata telah banyak diteliti dalam bidang seperti pengumpulan data kendaraan otonom untuk sistem SDV berbasis mesin pembelajaran, dan dalam penelitian tentang pola perhatian pilot, di antara sektor lain. Pada bulan Juli tahun ini, tim peneliti dari Bulgaria menerbitkan temuan dari pengamatan pilot Unmanned Aerial Vehicle (UAV) yang menetapkan tahap pendaratan penerbangan sebagai yang paling menantang bagi pembelajar pemula.

Lihat video resmi peneliti untuk GPA, di bawah.