Controllare i droni attraverso la visione diretta

I ricercatori cinesi hanno sviluppato un nuovo algoritmo che può abilitare il controllo del volo del drone interpretando direttamente la visione dell’utente. In pratica, l’operatore umano “diventa” il drone e guida la sua traiettoria in base alla direzione dello sguardo dell’utente.

La visuale dell’utente è visibile in basso a sinistra, con il percorso di volo del drone catturato esternamente da un dispositivo ombra. Vedi il video alla fine dell’articolo per la riproduzione completa. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Il documento si intitola GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation e proviene da ricercatori dell’Istituto di sistemi e controllo cibernetico dell’Università di Zhejiang e della Scuola di automazione dell’Istituto tecnologico di Nanchino. I ricercatori hanno anche rilasciato un video che dimostra le capacità del sistema (vedi fine dell’articolo).

Oltre il controllo astratto

I ricercatori stanno cercando di rimuovere il livello di astrazione per il controllo del drone, sostenendo che le unità di controllo secondarie richiedono addestramento e sono solo un’astrazione approssimativa dell’intento dell’utente, portando a manovre imprevedibili e a una cattiva interpretazione dei movimenti di guida.

Un documento pubblicato all’inizio dell’anno, dagli stessi ricercatori, ha sottolineato l’importanza della visibilità della linea di vista nella navigazione del drone, e il lavoro attuale è uno sviluppo dei risultati di quella ricerca.

In alto, un composito del percorso del laboratorio di test del drone ‘corso di assalto’ (vedi video alla fine per test esterni in un ambiente aperto naturale). In basso, l’operatore indossa un dispositivo di tracciamento degli occhi che fornisce la visuale diretta della camera anteriore del drone quadrotore (in basso a destra). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritmo

GPA utilizza un ottimizzatore back-end che raffina lo sguardo dell’utente nel percorso ottimale più sicuro, equivalente a ‘auto-aim’ nei videogiochi, con un ritardo praticamente nullo (per ovvi motivi).

I moduli sottosistema UAV sono installati direttamente nel drone, comprese le strutture per la stima dello stato, la pianificazione, la mappatura e i moduli di controllo. Il sistema locale riceve i dati dello sguardo dell’utente da un’unità a singolo occhio montata in un dispositivo indossabile dall’utente, che fornisce un percorso topologico iniziale, che il sistema deve sanificare in tempo reale.

Per creare un’esperienza coerente per il controllore remoto, la visuale monocromatica che l’utente riceve è autocentrata dal sistema a bordo del drone, non meno perché senza ciò sarebbe difficile interpretare le nuove deviazioni di percorso (come indicato da un cambio di direzione dello sguardo).

Il sistema analizza prima le coordinate vettoriali stimate dal flusso di immagini. Poiché il video di input del sistema dei ricercatori è attualmente monocular, il limite di profondità della percezione della camera viene utilizzato per ottenere un secondo vettore (di profondità) che viene impostato sul vettore 2D derivato dall’immagine. In teoria, le iterazioni successive potrebbero utilizzare camere stereo per migliorare questo flusso di lavoro, anche se rimane da vedere se il sovraccarico di elaborazione aggiuntivo lascerebbe intatto il beneficio della percezione 3D basata su hardware.

In ogni caso, con i valori 3D ottenuti, il calcolo viene utilizzato come origine per una Ricerca a larghezza prima (BFS). I pixel che altrimenti sarebbero esclusi dalla BFS (ad esempio i pixel identificati come già all’interno dei limiti) vengono utilizzati come punto di ancoraggio per il clustering DBSCAN (se non già clusterizzati), e la routine torna alla valutazione BFS dall’ultimo punto di interruzione.

L’architettura di GPA.

Il processo si ripete fino a quando un oggetto non viene identificato e etichettato all’interno dei parametri di margine corrispondenti a un campo di vista (FOV – che, in questo caso, deve essere assolutamente chiaro per evitare collisioni).

Infine, i calcoli vettoriali vengono utilizzati per generare percorsi chiari, o per convalidare che la direzione dello sguardo dell’utente è già un percorso sicuro attraverso o oltre un ostacolo.

Test in cui il sistema ignora la visibilità (a sinistra) e in cui la traiettoria viene ricalcolata per considerare la visibilità come critica per un percorso di volo (a destra).

Test

Per testare il sistema di controllo del drone basato sullo sguardo, i ricercatori cinesi hanno utilizzato una serie di volontari con zero conoscenza del sistema e senza esperienza nel controllo del volo del drone. I soggetti sono stati richiesti di navigare corsi di ostacoli in ambienti chiusi ed esterni con solo tre brevi routine di orientamento con cui familiarizzare con il funzionamento di base del sistema.

Inoltre, dopo aver informato i volontari sulla topologia di base degli ostacoli, i ricercatori hanno aggiunto ‘ostacoli a sorpresa’ non inclusi nella breve introduzione.

In alto, le traiettorie del drone quadrotore online, colorate per altezza. In basso, gli ostacoli navigabili, iniziando con scatole e proseguendo con anelli.

Nella pratica, il sistema è stato in grado di correggere efficacemente i dati dello sguardo in modo che i droni utilizzati, critici per lo spazio, potessero passare accanto (o attraverso) gli ostacoli a forma di anello e scatola senza collisioni, e i ricercatori hanno concluso che il loro sistema è sia intuitivo che sicuro, con un margine di sicurezza elevato durante l’operazione.

I ricercatori hanno anche confrontato le prestazioni del loro approccio con l’architettura FocusTrack nel sistema Mavic Air 2, concludendo che supera quest’ultimo nella capacità di valutare e agire sull’intento preciso dell’utente.

La tecnologia di tracciamento degli occhi è stata ampiamente studiata in settori come la raccolta di dati per sistemi di guida autonoma basati su machine learning e nella ricerca sui modelli di attenzione dei piloti, tra gli altri. A luglio di quest’anno, un team di ricercatori bulgari ha pubblicato i risultati delle osservazioni dei piloti di veicoli aerei senza pilota (UAV) che hanno stabilito la fase di atterraggio di un volo come la più impegnativa per gli apprendisti principianti.

Guarda il video ufficiale dei ricercatori per GPA, qui sotto.