Controlul dronelor prin vedere directă

Cercetători din China au dezvoltat un nou algoritm care poate permite controlul zborului dronelor prin interpretarea directă a viziunii utilizatorului. În esență, operatorul uman “devine” drona și îi ghidează traiectoria pe baza direcției privirii utilizatorului.

Punctul de vedere al utilizatorului este vizibil în partea stângă inferioară, cu traiectoria zborului dronelor capturată extern de un dispozitiv de umbră. Vezi videoclipul de la sfârșitul articolului pentru filmarea completă. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Articolul paper se numește GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation și provine de la cercetători de la Institutul de Sisteme Cibernetice și Control de la Universitatea Zhejiang și Școala de Automatizare de la Institutul de Tehnologie din Nanjing. Cercetătorii au lansat, de asemenea, un videoclip care demonstrează capacitățile sistemului (vezi sfârșitul articolului).

Dincolo de controlul abstract

Cercetătorii încearcă să elimine stratul de abstractizare pentru controlul dronelor, argumentând că unitățile de control secundare necesită instruire și sunt doar o aproximare grosieră a intenției utilizatorului, ceea ce duce la manevre imprevizibile și interpretări greșite ale mișcărilor de ghidare.

Un articol publicat mai devreme în acest an, de la aceiași cercetători, a subliniat importanța vizibilității pe linia de vedere în navigarea dronelor, iar lucrarea actuală este o dezvoltare a rezultatelor din cercetarea respectivă.

Mai sus, o compozită a traiectoriei laboratorului de testare a dronelor ‘cursă de obstacole’ (vezi videoclipul de la sfârșit pentru teste externe într-un mediu deschis natural). Mai jos, operatorul poartă un dispozitiv de urmărire a ochilor care transmite direct vedere a camerei dronei cu rotor quad (dreapta jos). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritm

GPA utilizează un optimizator de fundal care rafinează privirea utilizatorului în cel mai sigur traseu optim, echivalent în mod evident cu ‘auto țintă’ în jocuri video, la o latență practic zero (din motive evidente).

Modulele subsistemului UAV sunt instalate direct în dronă, incluzând facilități pentru estimarea stării, planificare, cartografiere și module de control. Sistemul local primește date de la un dispozitiv de urmărire a ochilor montat într-un dispozitiv purtat pe cap de către utilizator, care furnizează o cale topologică inițială, pe care sistemul trebuie să o sanitizeze în timp real.

Pentru a crea o experiență coerentă pentru controlorul de la distanță, vedere în monocrom pe care o primește utilizatorul este auto-centrată de sistemul de bord al dronelor, nu în ultimul rând pentru că, fără aceasta, ar fi greu de interpretat noi abateri de la traseu (așa cum este indicat de o schimbare a direcției privirii).

Sistemul parsează mai întâi coordonatele vectoriale estimate din fluxul de imagini. Deoarece intrarea video a sistemului cercetătorilor este în prezent monocromatică, limita de percepție a adâncimii camerei se utilizează pentru a obține un al doilea vector (adâncime) care se suprapune peste vectorul 2D derivat din imagine. În teorie, iterațiile ulterioare ar putea utiliza camere stereo pentru a îmbunătăți acest flux de lucru, deși rămâne de văzut dacă sarcina suplimentară de procesare ar lăsa beneficiul percepției 3D bazate pe hardware intact.

În orice caz, cu valorile 3D obținute, calculul se utilizează ca origine pentru o căutare în lățime (BFS). Pixelii care ar fi altfel evitați de BFS (adică pixelii identificați ca fiind deja în limitele) se utilizează ca punct de ancoră pentru clustering DBSCAN (dacă nu sunt deja grupați), iar rutina se reia la evaluarea BFS de la ultimul punct de întrerupere.

Arhitectura GPA.

Procesul se repetă până când un obiect este identificat și etichetat în parametrii marginați corespunzători unui câmp de vedere (FOV – care, în acest caz, trebuie să fie absolut clar pentru a evita coliziunile).

În final, calculele vectoriale se utilizează pentru a genera căi clare sau pentru a valida faptul că direcția privirii utilizatorului este deja o cale sigură prin sau pe lângă un obstacol.

Teste în care sistemul ignoră vizibilitatea (stânga) și în care traiectoria este recalculată pentru a considera vizibilitatea ca fiind critică pentru un traseu de zbor (dreapta).

Testare

Pentru a testa sistemul de control al dronelor bazat pe privire, cercetătorii chinezi au utilizat o serie de voluntari fără cunoștințe despre sistem și fără experiență în controlul zborului dronelor. Subiecții au fost obligați să navigheze prin cursuri de obstacole în medii închise și exterioare, cu doar trei rutine de orientare scurte pentru a se familiariza cu funcționarea de bază a sistemului.

În plus, după ce li s-a prezentat voluntarilor topologia de bază a obstacolelor, cercetătorii au adăugat ‘obstacole surpriză’ care nu au fost incluse în prezentarea inițială.

Mai sus, traiectoriile dronelor quadrotor online, colorate după înălțime. Mai jos, obstacolele navigabile, începând cu cutii și mergând mai departe la inele.

În practică, sistemul a fost capabil să corecteze eficient datele de privire, astfel încât dronele utilizate au putut trece pe lângă (sau prin) obstacolele în formă de inel și cutie fără coliziuni, iar cercetătorii au concluzionat că sistemul lor este atât intuitiv, cât și sigur, cu o marjă ridicată de siguranță în funcționare.

Cercetătorii au comparat, de asemenea, performanța abordării lor cu arhitectura FocusTrack din sistemul Mavic Air 2, concluzionând că o depășește prin capacitatea de a evalua și de a acționa asupra intenției precise a utilizatorului.

Tehnologia de urmărire a ochilor a fost extensiv cercetată în domenii precum colectarea de date pentru sisteme autonome de vehicule bazate pe învățare automată și în cercetarea modelelor de atenție ale piloților, printre alte sectoare. În luna iulie a acestui an, o echipă de cercetare din Bulgaria a publicat rezultatele observațiilor asupra piloților de UAV, care au stabilit faza de aterizare a zborului ca fiind cea mai dificilă pentru începători.

Vezi videoclipul oficial al cercetătorilor pentru GPA, mai jos.

https://www.youtube.com/watch?v=WYujLePQwB8