Controlul dronelor prin vedere directă

Cercetătorii din China au dezvoltat un algoritm nou care poate permite controlul zborului dronelor prin interpretarea directă a viziunii utilizatorului. În esență, operatorul uman “devine” drona și îi ghidează traiectoria pe baza direcției privirii utilizatorului.

Perspectiva utilizatorului este vizibilă în partea stângă inferioară, cu traseul zborului dronelor capturat extern de un dispozitiv de umbră. Vezi videoul de la sfârșitul articolului pentru filmarea completă. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Articolul științific se numește GPA-Teleoperare: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperare și provine de la cercetători de la Institutul de Sisteme și Control Cybernetic de la Universitatea Zhejiang și Școala de Automatizare de la Institutul de Tehnologie Nanjing. Cercetătorii au lansat, de asemenea, un videoclip care demonstrează capacitățile sistemului (vezi sfârșitul articolului).

Dincolo de controlul abstract

Cercetătorii încearcă să elimine stratul de abstractizare pentru controlul dronelor, argumentând că unitățile de control secundare necesită instruire și sunt doar o aproximare grosieră a intenției utilizatorului, ceea ce duce la manevre imprevizibile și interpretări greșite ale mișcărilor de ghidare.

Un articol publicat mai devreme în acest an, de la aceiași cercetători, a subliniat importanța vizibilității liniei de vedere în navigarea dronelor, iar lucrarea actuală este o dezvoltare a rezultatelor din această cercetare.

Mai sus, o compunere a traseului laboratorului de testare a dronelor ‘cursă de obstacole’ (vezi videoclipul de la sfârșit pentru teste externe într-un mediu deschis natural). Mai jos, operatorul poartă un dispozitiv de urmărire a ochilor care transmite direct imaginea camerei frontale a dronelor cu patru rotoare (dreapta jos). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritm

GPA folosește un optimizator de fundal care rafinează privirea utilizatorului în cel mai sigur traseu optim, echivalent cu “auto-țintă” în jocurile video, la o latență practic zero (din motive evidente).

Modulele subsistemului UAV sunt instalate direct în dronă, incluzând facilități pentru estimarea stării, planificare, hartare și module de control. Sistemul local primește date de urmărire a ochilor de la o unitate cu ochi unic montată într-un dispozitiv purtat de cap de către utilizator, care furnizează o cale topologică inițială, pe care sistemul trebuie să o sanitizeze în timp real.

Pentru a crea o experiență coerentă pentru controlorul de la distanță, imaginea monocromă pe care o primește utilizatorul este autocentrată de sistemul de bord al dronelor, nu în ultimul rând pentru că, fără aceasta, ar fi greu de interpretat noi deviații intenționate ale traseului (după cum este indicat de o schimbare a direcției privirii).

Sistemul parsează mai întâi coordonatele vectoriale estimate din fluxul de imagini. Deoarece intrarea video a sistemului cercetătorilor este în prezent monoculă, limita de percepție a adâncimii camerei este utilizată pentru a obține un al doilea vector (adâncime) care este impus peste vectorul 2D derivat din imagine. În teorie, iterațiile ulterioare ar putea utiliza camere stereo pentru a îmbunătăți acest flux de lucru, deși rămâne de văzut dacă suplimentarul de procesare ar lăsa beneficiul percepției 3D bazate pe hardware intact.

În orice caz, cu valorile 3D obținute, calculul este utilizat ca origine pentru o căutare în lățime (BFS). Pixelii care ar fi altfel evitați de BFS (adică pixelii identificați ca fiind deja în limite) sunt utilizați ca punct de ancoră pentru clustering DBSCAN (dacă nu sunt deja grupați), iar rutina se reia din punctul de întrerupere anterior.

Arhitectura GPA.

Procesul se repetă până când un obiect este identificat și etichetat în parametrii corespunzători unui câmp de vedere (FOV – care, în acest caz, trebuie să fie absolut clar pentru a evita coliziunile).

În final, calculele vectoriale sunt utilizate pentru a genera căi clare, sau pentru a valida faptul că direcția privirii utilizatorului este deja o cale sigură prin sau peste un obstacol.

Teste în care sistemul ignoră vizibilitatea (stânga) și în care traseul este recalculat pentru a considera vizibilitatea ca critică pentru un traseu de zbor (dreapta).

Testare

Pentru a testa sistemul de control al dronelor bazat pe privire, cercetătorii chinezi au utilizat o serie de voluntari fără cunoștințe despre sistem și fără experiență în controlul zborului dronelor. Subiecții au fost obligați să navigheze curse de obstacole în medii închise și exterioare, cu doar trei proceduri de orientare scurte pentru a se familiariza cu funcționarea de bază a sistemului.

În plus, după ce li s-a prezentat voluntarilor topologia de bază a obstacolelor, cercetătorii au adăugat “obstacole surpriză” care nu au fost incluse în prezentare.

Mai sus, traseele dronelor cu patru rotoare online, colorate pe înălțime. Mai jos, obstacolele navigabile, începând cu cutii și mergând mai departe la inele.

În practică, sistemul a fost capabil să corecteze eficient datele de privire, astfel încât dronele utilizate să poată trece pe lângă (sau prin) obstacolele în formă de inel și cutie fără coliziuni, iar cercetătorii au concluzionat că sistemul lor este atât intuitiv, cât și sigur, cu o marjă mare de siguranță în funcționare.

Cercetătorii au comparat, de asemenea, performanța abordării lor cu arhitectura FocusTrack din sistemul Mavic Air 2, concluzionând că o depășește prin capacitatea de a evalua și de a acționa asupra intenției precise a utilizatorului.

Tehnologia de urmărire a ochilor a fost extensiv cercetată în domenii precum colectarea de date pentru sisteme autonome de vehicule, și în cercetarea modelelor de atenție ale piloților, printre alte sectoare. În luna iulie a acestui an, o echipă de cercetători din Bulgaria a publicat rezultate din observațiile piloților de vehicule aeriene fără pilot, care au stabilit etapa de aterizare a zborului ca fiind cea mai dificilă pentru învățăceii debutanți.

Vezi videoclipul oficial al cercetătorilor pentru GPA, mai jos.