Kontroll av droner gjennom direkte visjon

Forskere fra Kina har utviklet en ny algoritme som kan aktivere kontroll av droneflyging ved å tolke brukerens visjon direkte. Effektivt blir den menneskelige operatøren “dronen” og styre dens trajektori basert på brukerens blikkretning.

Brukerens POV sees på venstre side, med droneflygingens bane fanget eksternt av en skyggeenhet. Se videoen på slutten av artikkelen for full-bevegelse. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Den artikkelen heter GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, og kommer fra forskere ved Institute of Cyber-Systems and Control ved Zhejiang University, og School of Automation ved Nanjing Institute of Technology. Forskerne har også sluppet en video som demonstrerer systemets muligheter (se slutten av artikkelen).

Bortenfor abstrakt kontroll

Forskerne søker å fjerne laget av abstraksjon for dronekontroll, og argumenterer for at sekundære kontrollenheter krever trening og bare er en omtrentlig abstraksjon av brukerens intensjon, noe som fører til uforutsigbar manøvrering og misforståelse av styrebevegelser.

En artikkel tidligere i år, fra samme forskere, betonet viktigheten av synlig synlighet i drone-navigasjon, og det nåværende arbeidet er en utvikling av funnene fra den forskningen.

Ovenfor, en kompositt av banen til drone-testlaben ‘angrepskurs’ (se slutten av videoer for eksterne tester i en naturlig åpen luftmiljø). Nedenfor, operatøren bærer en øye-sporet som sender gjennom den direkte visningen av quadrotor-droneens fremover-kamera (nedenfor til høyre). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritme

GPA bruker en bak-end-optimizer som finjusterer brukerens blikk inn i den sikreste optimale banen, omtrentlig ekvivalent til ‘auto-aim’ i videospill, med praktisk talt null forsinkelse (av åpenbare årsaker).

UAV-undermodulene er installert direkte i dronen, inkludert fasiliteter for tilstands-estimering, planlegging, kartlegging og kontroll-moduler. Den lokale systemet mottar øye-blikk-data fra en enkelt-øye-enhet montert i en hode-bærende harness av slutt-brukeren, som sender en initial topologisk bane, som systemet må rense på-fly.

For å skape en samlet opplevelse for den fjerntkontrollerende, er den monokrome visningen som brukeren mottar auto-sentrert av drone-systemet, ikke minst fordi uten dette ville det være vanskelig å tolke nye avvik fra ruten (som indikeres av en endring av blikk-retning).

Systemet først parser estimerer vektor-koordinater fra bilde-strømmen. Siden video-inngangen til forskernes system for øyeblikket er monokulær, brukes kameraets dybde-persepsjon-grense til å få en annen (dybde) vektor som påføres 2-D-vektoren avledet fra bildet. I teorien kunne senere iterasjoner bruke stereo-kameraer til å forbedre denne pipeline, selv om det fortsatt må sees om den ekstra prosesserings-overhodet ville laten den fordelen av hardware-basert 3D-persepsjon intakt.

Uansett, med de 3D-verdiene oppnådd, brukes beregningen som en opphav for en Breadth First Search (BFS). Piksler som ellers ville bli avvist av BFS (dvs. piksler identifisert som allerede innenfor grenser) brukes som anker-punkt for DBSCAN-klynging (hvis ikke allerede klyngt), og rutinen returnerer til BFS-evaluering fra siste pause-punkt.

Arkitekturen til GPA.

Prosessen itererer til et objekt er identifisert og merket innenfor margin-parametere korresponderende til et synsfelt (FOV – som i dette tilfelle må være absolutt klart for å unngå kollisjoner).

Til slutt brukes vektor-beregningene til å generere klare baner, eller å validere at brukerens blikk-retning allerede er en sikker bane gjennom eller forbi et hinder.

Tester hvor systemet ignorerer synlighet (venstre) og hvor banen er omregnet for å vurdere synlighet som kritisk for en fly-bane (høyre).

Testing

For å teste blikk-basert dronekontroll-system, brukte de kinesiske forskerne en rekke frivillige med null kunnskap om systemet, og uten erfaring i å kontrollere drone-flyging. Forsøkspersonene ble bedt om å navigere hindringsbaner i lukkede og ytre miljøer med bare tre korte orienterings-rutiner for å bli kjent med systemets grunnleggende drift.

I tillegg til å ha briefet frivillige om den grunnleggende topologien til hindringene, la forskerne til ‘overraskende hindringer’ som ikke var inkludert i briefingene.

Ovenfor, banene til den online quadrotor-dronen, fargede etter høyde. Nedenfor, de navigerbare hindringene, startende med bokser og gående over til ringer.

I praksis var systemet i stand til å korrigere blikk-dataene så effektivt at de rom-kritiske dronene som ble brukt kunne passere (eller gjennom) ring- og boks-formede hindringer uten kollisjon, og forskerne har konkludert med at deres system er både intuitivt og trygt, med en høy margin av sikkerhet i drift.

Forskerne sammenlignet også ytelsen til deres tilnærming med FocusTrack-arkitekturen i Mavic Air 2-systemet, og konkluderte med at det overgår sistnevnte ved å kunne måle og handle på presis bruker-intensjon.

Øye-sporingsteknologi har vært omfattende forsket i felt som autonom kjøretøy-data-innsamling for maskinlæring-basert SDV-systemer, og i forskning om oppmerksomhetsmønster hos piloter, blant andre sektorer. I juli i år publiserte en forskergruppe fra Bulgaria funn fra observasjoner av Ubemannede Aerial Vehicle (UAV)-piloter som fastslo at landing-stadiet av en flyging var det mest utfordrende for nybegynnere.

Se forskernes offisielle video for GPA, nedenfor.