Kontrol af droner via direkte syn

Forskere fra Kina har udviklet en ny algoritme, der kan aktivere kontrol af droneflyvning ved at fortolke brugerens syn direkte. Effektivt “bliver” den menneskelige operatør til dronen og guider dens trajektori baseret på brugerens blikretning.

Brugerens synsvinkel ses nederst til venstre, med dronens flyvebane fanget eksternt af en skyggeenhed. Se videoen ved slutningen af artiklen for udvidet fuld bevægelsesfootage. Kilde: https://www.youtube.com/watch?v=WYujLePQwB8

Den artikel hedder GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation og kommer fra forskere ved Institute of Cyber-Systems and Control på Zhejiang University og School of Automation på Nanjing Institute of Technology. Forskerne har også udgivet en video i dag, der demonstrerer systemets funktioner (se slutningen af artiklen).

Beyond Abstract Control

Forskerne søger at fjerne laget af abstraktion for dronekontrol, idet de mener, at sekundære kontrolenheder kræver træning og kun er en omtrentlig abstraktion af brugerens intention, hvilket fører til uforudsigelig manøvrering og misfortolkning af vejledningsbevægelser.

En artikel tidligere på året, fra samme forskere, understregede vigtigheden af synsvinkel i drone-navigering, og den nuværende artikel er en udvikling af resultaterne fra denne forskning.

Ovenfor, en komposition af dronens testlaboratoriums ‘angrebsbane’ (se slutvideo for ydre tests i en naturlig åben luftmiljø). Nederst, operatøren bærer en øjne-tracker, der sender gennem den direkte synsvinkel af quadrotor-dronens forreste kamera (nederst til højre). Kilde: https://arxiv.org/pdf/2109.04907.pdf

Algorithm

GPA bruger en bag-end optimizer, der forfiner brugerens blik til den sikreste optimale vej, som kan sammenlignes med ‘auto-aim’ i videospil, med praktisk talt nul forsinkelse (af åbenlyse årsager).

UAV-undermodulerne er installeret direkte i dronen, herunder faciliteter for tilstands-estimering, planlægning, kortlægning og kontrolmoduler. Det lokale system modtager øjne-blik-data fra en enkelt-øje-enhed monteret i en hovedbåret harness af slutbrugeren, som leverer en initial topologisk vej, som systemet må rense på-fly.

For at skabe en samlet oplevelse for den fjerntstående controller, er den monokrome synsvinkel, som brugeren modtager, automatisk centreret af det ombord-dron-system, ikke mindst fordi det ellers ville være svært at fortolke nye intentioner omkring ruteændringer (som indikeres af en ændring af blikretning).

Systemet parser først estimerede vektor-koordinater fra billedstrømmen. Da videoindgangen til forskernes system i øjeblikket er monokulær, bruges kameraets dybde-perception-grænse til at opnå en anden (dybde)-vektor, der påføres den 2-D-vektor, der er afledt fra billedet. I teorien kunne senere iterationer bruge stereo-kameraer til at forbedre denne pipeline, selvom det endnu ikke er set, om den ekstra proces-overhead ville lade fordelene ved hardware-baseret 3D-perception intakt.

Under alle omstændigheder, med de 3D-værdier opnået, bruges beregningen som en oprindelse for en Breadth First Search (BFS). Pixels, der ellers ville være elimineret af BFS (dvs. pixels, der er identificeret som allerede inden for grænser), bruges som ankerpunkt for DBSCAN-klyngning (hvis ikke allerede klyngede), og rutinen returnerer til BFS-evalueringspunktet fra det sidste afbrydelsespunkt.

GPA’s arkitektur.

Processen itererer, indtil et objekt er identificeret og mærket inden for grænseparametre, der svarer til et synsfelt (FOV – som i dette tilfælde absolut skal være klart for at undgå kollisioner).

Til sidst bruges vektor-beregningerne til at generere klare veje eller til at validere, at brugerens blikretning allerede er en sikker vej gennem eller forbi et hindring.

Tests, hvor systemet ignorerer synlighed (venstre) og hvor trajektorien er omregnet for at tage synlighed som kritisk for en flyvebane (højre).

Testing

For at teste det blik-baserede dronekontrolsystem, brugte de kinesiske forskere en række frivillige med ingen viden om systemet og ingen erfaring med at kontrollere droneflyvning. Emnerne blev bedt om at navigere hindringsbaner i lukkede og ydre miljøer med kun tre korte orienteringsrundgange, hvormed de skulle familiarisere sig med systemets grundlæggende drift.

Dertil havde forskerne briefet frivillige om den grundlæggende topologi af hindringerne og tilføjede ‘overraskelseshindringer’, der ikke var inkluderet i briefingen.

Ovenfor, dronens online-traektorier, farvet efter højde. Nederst, de navigerbare hindringer, der starter med kasser og fortsætter med ringe.

I praksis kunne systemet effektivt korrigere blik-data, så dronen kunne passere (eller gennem) ring- og kasse-formede hindringer uden kollision, og forskerne har konkluderet, at deres system er både intuitivt og sikkert, med en høj sikkerhedsmargin i drift.

Forskerne sammenlignede også deres tilgangs performance med FocusTrack-arkitekturen i Mavic Air 2-systemet og konkluderede, at det overgår sidstnævnte ved at kunne måle og handle på præcis bruger-intention.

Øjne-sporingsteknologi er omfattende forsknet i felter som autonom køretøj-dataindsamling til maskinlæringsbaserede SDV-systemer og i forskning i opmærksomheds-mønstre hos piloter, blandt andre sektorer. I juli i år offentliggjorde en forskergruppe fra Bulgarien resultater fra observationer af Ubemandede Aerial Vehicle (UAV)-piloter, der fastslog, at landingstadiet af en flyvning var det mest udfordrende for nye lærende.

Se forskernes officielle video for GPA nedenfor.