Mengontrol Drone Melalui Visi Langsung

Peneliti dari Tiongkok telah mengembangkan algoritma baru yang dapat memungkinkan kontrol penerbangan drone dengan menafsirkan langsung visi pengguna. Secara efektif, operator manusia ‘menjadi’ drone, dan memandu jalurnya berdasarkan arah pandangan pengguna.

POV pengguna terlihat di bagian kiri bawah, dengan jalur penerbangan drone yang ditangkap secara eksternal oleh perangkat bayangan. Lihat video di akhir artikel untuk cuplikan gerak penuh. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Makalah paper ini berjudul GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, dan berasal dari peneliti di Institute of Cyber-Systems and Control di Zhejiang University, dan School of Automation di Nanjing Institute of Technology. Peneliti juga merilis video hari ini yang menunjukkan kemampuan sistem (lihat akhir artikel).

Di Luar Kontrol Abstrak

Peneliti berusaha untuk menghilangkan lapisan abstraksi untuk kontrol drone, dengan alasan bahwa unit kontrol sekunder memerlukan pelatihan dan hanya merupakan abstraksi kasar dari niat pengguna, yang mengarah pada manuver yang tidak terduga dan salah tafsir gerakan panduan.

Makalah sebelumnya di tahun ini, dari peneliti yang sama, menekankan pentingnya visibilitas garis pandang dalam navigasi drone, dan pekerjaan saat ini merupakan pengembangan dari temuan penelitian tersebut.

Di atas, komposit dari jalur penerbangan lab ‘assault course’ drone (lihat video akhir untuk tes eksternal di lingkungan terbuka alami). Bawah, operator mengenakan pelacak mata yang memberikan tampilan langsung kamera depan drone quadrotor (bawah kanan). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritma

GPA menggunakan pengoptimal back-end yang memperhalus arah pandangan pengguna menjadi jalur optimal yang paling aman, yang setara dengan ‘auto aim’ di game video, dengan latency yang hampir nol (karena alasan yang jelas).

Modul subsystem UAV dipasang langsung ke dalam drone, termasuk fasilitas untuk estimasi keadaan, perencanaan, pemetaan, dan modul kontrol. Sistem lokal menerima data arah pandangan dari unit mata tunggal yang dipasang di harness yang dikenakan di kepala pengguna, yang memberikan jalur topologi awal, yang harus dibersihkan secara langsung oleh sistem.

Untuk menciptakan pengalaman yang konsisten untuk pengontrol jarak jauh, tampilan monokrom yang diterima pengguna secara otomatis dipusatkan oleh sistem drone, tidak hanya karena tanpa ini akan sulit untuk menafsirkan deviasi jalur yang dimaksud (sebagaimana ditunjukkan oleh perubahan arah pandangan).

Sistem pertama kali memparse koordinat vektor yang diperkirakan dari aliran gambar. Karena input video sistem peneliti saat ini monokular, batas persepsi kedalaman kamera digunakan untuk mendapatkan vektor kedua (kedalaman) yang diterapkan pada vektor 2-D yang diperoleh dari gambar. Secara teori, iterasi selanjutnya dapat menggunakan kamera stereo untuk meningkatkan pipeline ini, meskipun masih harus dilihat apakah overhead pemrosesan tambahan akan meninggalkan manfaat persepsi 3D berbasis perangkat keras.

Dalam hal apapun, dengan nilai 3D yang diperoleh, perhitungan digunakan sebagai asal untuk Breadth First Search (BFS). Piksel yang akan dihilangkan oleh BFS (yaitu piksel yang diidentifikasi sebagai sudah dalam batas) digunakan sebagai titik jangkar untuk DBSCAN clustering (jika belum dikluster), dan rutinitas kembali ke evaluasi BFS dari titik putus terakhir.

Arsitektur GPA.

Proses ini berulang sampai objek diidentifikasi dan diberi label dalam parameter margin yang sesuai dengan bidang pandangan (FOV – yang, dalam hal ini, harus benar-benar jelas untuk menghindari tabrakan).

Akhirnya, perhitungan vektor digunakan untuk menghasilkan jalur yang jelas, atau untuk memvalidasi bahwa arah pandangan pengguna sudah merupakan jalur yang aman melalui atau melewati hambatan.

Tes di mana sistem mengabaikan visibilitas (kiri) dan di mana jalur diperhitungkan untuk mempertimbangkan visibilitas sebagai kritis untuk jalur penerbangan (kanan).

Pengujian

Untuk menguji sistem kontrol drone berbasis pandangan, peneliti Tiongkok menggunakan serangkaian sukarelawan dengan pengetahuan nol tentang sistem, dan tanpa pengalaman dalam mengontrol penerbangan drone. Subjek diminta untuk menavigasi jalur hambatan di lingkungan tertutup dan terbuka dengan hanya tiga rutinitas orientasi singkat untuk memfamiliarisasi diri dengan operasi dasar sistem.

Selain itu, setelah memberi tahu sukarelawan tentang topologi dasar hambatan, peneliti menambahkan ‘hambatan kejutan’ yang tidak termasuk dalam briefing.

Di atas, trajeksi drone quadrotor online, diwarnai oleh ketinggian. Bawah, hambatan yang dapat dinavigasi, dimulai dengan kotak dan bergerak ke cincin.

Dalam prakteknya, sistem dapat secara efektif memperbaiki data pandangan sehingga drone yang digunakan dapat melewati (atau melalui) hambatan berbentuk cincin dan kotak tanpa tabrakan, dan peneliti telah menyimpulkan bahwa sistem mereka adalah intuitif dan aman, dengan margin keamanan yang tinggi dalam operasi.

Peneliti juga membandingkan kinerja pendekatan mereka dengan arsitektur FocusTrack di sistem Mavic Air 2, menyimpulkan bahwa itu outperforms yang terakhir dengan dapat mengukur dan bertindak pada niat pengguna yang tepat.

Teknologi pelacakan mata telah secara luas diteliti di bidang seperti pengumpulan data kendaraan otonom untuk sistem SDV berbasis pembelajaran mesin, dan dalam penelitian tentang pola perhatian pilot, di antara sektor lain. Pada bulan Juli tahun ini, tim peneliti dari Bulgaria menerbitkan temuan dari observasi pilot UAV yang menetapkan tahap pendaratan sebagai tahap yang paling menantang untuk pemula.

Lihat video resmi peneliti untuk GPA, di bawah.

https://www.youtube.com/watch?v=WYujLePQwB8