Ngadalikeun Drones Ngaliwatan Visi Langsung

Panaliti ti Cina parantos ngembangkeun algoritma énggal anu tiasa ngaktifkeun kontrol penerbangan drone ku langsung napsirkeun visi pangguna. Éféktif, operator manusa 'janten' drone, sareng nungtun lintasanna dumasar kana arah paningal pangguna.

POV pangguna katingal di kénca handap, kalayan jalur penerbangan drone direbut sacara éksternal ku alat bayangan. Tingali pidéo dina tungtung tulisan pikeun ngalegaan gambar gerak pinuh. Sumber: https://www.youtube.com/watch?v=WYujLePQwB8

nu keretas disebut GPA-Teleoperation: Gaze Enhanced Persépsi-sadar Aman Asistive Aerial Teleoperation, sarta asalna tina peneliti di Institute of Cyber-Systems and Control di Zhejiang University, jeung School of Automation di Nanjing Institute of Technology. Panaliti ogé parantos ngaluarkeun pidéo dinten ayeuna anu nunjukkeun kamampuan sistem (tingali tungtung tulisan).

Saluareun Kontrol Abstrak

Panaliti narékahan pikeun ngaleungitkeun lapisan abstraksi pikeun kontrol drone, nyatakeun yén unit kontrol sekundér butuh latihan sareng ngan ukur abstraksi kasar tina maksud pangguna, ngarah kana maneuver anu teu diprediksi sareng salah tafsir ngeunaan gerakan pituduh.

Hiji makalah awal taun, ti peneliti anu sami, negeskeun pentingna visibilitas line-of-sight dina navigasi drone, sareng padamelan ayeuna mangrupikeun pamekaran panemuan ti éta panilitian.

Di luhur, komposit lintasan laboratorium uji drone 'kursus serangan' (tingali pidéo tungtung pikeun tés luar dina lingkungan hawa kabuka alami). Handapeun, operator maké tracker panon nu eupan ngaliwatan pintonan langsung tina kaméra maju quadrotor drone urang (katuhu handap). Sumber: https://arxiv.org/pdf/2109.04907.pdf

algoritma

GPA ngagunakeun optimizer back-end anu nyaring pandangan pangguna kana jalur optimal anu paling aman, tiasa disaruakeun sareng 'tujuan otomatis' dina vidéo kaulinan, sacara praktis nol latency (kusabab écés).

Modul subsistem UAV dipasang langsung kana drone, kalebet fasilitas pikeun estimasi kaayaan, perencanaan, pemetaan sareng modul kontrol. Sistem lokal narima data panon-panon ti unit tunggal-panon dipasang dina abah sirah-dipaké ku pamaké tungtung, nu nyadiakeun jalur topological awal, nu sistem kudu sanitize on-the-fly.

Pikeun nyiptakeun pangalaman anu koheren pikeun pangendali jarak jauh, pandangan monochrome anu ditampi ku pangguna dipuseurkeun sacara otomatis ku sistem drone on-board, paling henteu sabab tanpa ieu bakal hésé napsirkeun panyimpangan anu ditujukeun anyar tina rute (sakumaha anu dituduhkeun ku a robahan arah panon).

Sistem mimiti nga-parses perkiraan koordinat vektor tina aliran gambar. Kusabab input video tina sistem panalungtik ayeuna monocular, wates jero-of-persépsi kaméra dipaké pikeun ménta véktor kadua (jero) nu bakal ditumpukeun kana véktor 2-D diturunkeun tina gambar. Sacara téori, iterasi engké tiasa nganggo kaméra stereo pikeun ningkatkeun jalur pipa ieu, sanaos tetep katingali naha overhead pamrosésan tambahan bakal ngantepkeun kauntungan tina persépsi 3D dumasar-hardware.

Dina sagala hal, kalawan nilai 3D diala, itungan dipaké salaku asal pikeun a Milarian Mimiti Milarian (BFS). Piksel anu disebutkeun bakal dileungitkeun ku BFS (nyaéta piksel anu diidentifikasi parantos aya dina wates) dianggo salaku titik jangkar pikeun DBSCAN clustering (lamun teu acan clustered), sarta reverts rutin ka evaluasi BFS ti panungtungan putus-titik.

Arsitéktur GPA.

Prosésna iterates nepi ka hiji obyék diidentifikasi jeung dilabélan dina parameter margin koresponden jeung widang of view (FOV - nu, dina hal ieu, kudu jelas pisan pikeun nyegah tabrakan).

Tungtungna, itungan véktor dipaké pikeun ngahasilkeun jalur anu jelas, atanapi anu sanés pikeun ngonfirmasi yén arah pandangan pangguna parantos janten jalan anu aman ngalangkungan atanapi ngalangkungan halangan.

Tés dimana sistem teu malire pisibilitas (kénca) sareng dimana lintasan diitung ulang pikeun nganggap pisibilitas penting pikeun jalur hiber (katuhu).

tés

Pikeun nguji sistem kontrol drone basis gaze, peneliti Cina ngagunakeun runtuyan sukarelawan jeung nol pangaweruh sistem, sarta tanpa pangalaman dina ngadalikeun hiber drone. Subjék diwajibkeun pikeun nganapigasi kursus halangan dina lingkungan katutup sareng luar kalayan ngan ukur tilu rutin orientasi ringkes anu tiasa familiarize diri sareng operasi dasar sistem.

Sajaba ti, sanggeus briefing ka sukarelawan ngeunaan topologi dasar tina halangan, panalungtik ditambahkeun 'halangan reuwas' teu kaasup dina pengarahan.

Di luhur, lintasan drone quadrotor online, diwarnaan ku jangkungna. Di handap, halangan navigable, dimimitian ku buleud tur pindah ka rings.

Dina prakték, sistem éta bisa éféktif ngabenerkeun data gaze jadi drones spasi-kritis dipaké éta bisa ngaliwatan (atawa ngaliwatan) cingcin jeung halangan ngawangun kotak tanpa tabrakan, sarta peneliti geus menyimpulkan yén sistem maranéhanana nyaéta duanana. intuitif sareng aman, kalayan margin kaamanan anu luhur dina operasi.

Para panalungtik ogé ngabandingkeun kinerja pendekatan maranéhna pikeun arsitéktur FocusTrack dina Udara Mavic 2 sistem, concluding yén éta outperforms dimungkinkeun ku bisa gauge sarta meta dina niat pamaké tepat.

Téknologi nyukcruk panon parantos ditaliti sacara éksténsif dina widang sapertos ngumpulkeun data kendaraan otonom pikeun sistem SDV basis learning mesin, sareng dina panalungtikan kana pola perhatian pilot, diantara séktor séjén. Dina Juli taun ieu, tim peneliti ti Bulgaria diterbitkeun papanggihan tina observasi tina Unmanned Aerial Vehicle (UAV) pilots nu ngadegkeun tahap badarat hiber salaku paling nangtang pikeun peserta didik novice.

Parios pidéo resmi peneliti pikeun GPA, di handap ieu.