Kontrol af drones gennem direkte vision

Forskere fra Kina har udviklet en ny algoritme, der kan aktivere kontrol af dronen ved direkte fortolkning af brugerens syn. Effektivt “bliver” den menneskelige operatør dronen og guider dens trajektori baseret på brugerens blikretning.

Brugerens synsvinkel ses nederst til venstre, med dronens flyverute fanget eksternt af en skyggeenhed. Se videoen i slutningen af artiklen for udvidet fuld bevægelsesfootage. Kilde: https://www.youtube.com/watch?v=WYujLePQwB8

Den artikel hedder GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation og kommer fra forskere ved Institute of Cyber-Systems and Control på Zhejiang University og School of Automation på Nanjing Institute of Technology. Forskerne har også udgivet en video i dag, der demonstrerer systemets evner (se slutningen af artiklen).

Beyond Abstract Control

Forskerne søger at fjerne laget af abstraktion for dronekontrol, idet de mener, at sekundære kontrolenheder kræver træning og kun er en omtrentlig abstraktion af brugerens intention, hvilket fører til uforudsigelige manøvrer og misfortolkning af vejledningsbevægelser.

En artikel tidligere på året fra samme forskere understregede vigtigheden af synsvinkel i drone-navigering, og det nuværende arbejde er en udvikling af resultaterne fra denne forskning.

Ovenfor, en komposition af dronens testlaboratorium ‘angrebskursus’ (se slutvideo for eksterne tests i en naturlig åben luftmiljø). Nederst, operatøren bærer en øjne-tracker, der sender gennem den direkte udsigt af quadrotor-dronens forreste kamera (nederst til højre). Kilde: https://arxiv.org/pdf/2109.04907.pdf

Algoritme

GPA bruger en back-end-optimizer, der forfiner brugerens blik til den sikreste optimale rute, som kan sammenlignes med ‘auto-aim’ i videospil, med praktisk talt nul forsinkelse (af åbenlyse årsager).

UAV-undermodulerne er installeret direkte i dronen, herunder faciliteter for tilstands-estimering, planlægning, kortlægning og kontrolmoduler. Det lokale system modtager øjne-blik-data fra en enkelt-øje-enhed monteret i en hovedbåret harness af slutbrugeren, som leverer en initial topologisk rute, som systemet må sanere på-the-fly.

For at skabe en samlet oplevelse for den fjerntstående controller, er den monokrome udsigt, som brugeren modtager, automatisk centreret af drone-systemet, ikke mindst fordi det ellers ville være svært at fortolke nye intentioner om ruteafvigelser (som indikeres af en ændring af blikretning).

Systemet parser først estimerede vektor-koordinater fra billedstrømmen. Da videoindgangen til forskernes system i øjeblikket er monokulær, bruges kameraets dybde-perception-grænse til at få en anden (dybde) vektor, der påføres den 2-D-vektor, der er afledt fra billedet. I teorien kunne senere iterationer bruge stereo-kameraer til at forbedre denne pipeline, selvom det endnu ikke er set, om den ekstra proces-overhead ville lade fordelene ved hardware-baseret 3D-perception intakt.

I alle tilfælde, med de 3D-værdier, der er opnået, bruges beregningen som en oprindelse for en Breadth First Search (BFS). Pixel, der ellers ville være udeladt af BFS (dvs. pixel, der er identificeret som allerede inden for grænser), bruges som ankerpunkt for DBSCAN-klyngning (hvis ikke allerede klyngning), og rutinen returnerer til BFS-evalueringspunktet fra det sidste brudpunkt.

GPA-arkitekturen.

Processen itererer, indtil et objekt er identificeret og mærket inden for margenparametre, der svarer til et synsfelt (FOV – som i dette tilfælde absolut skal være klart for at undgå kollisioner).

Til sidst bruges vektor-beregningerne til at generere klare ruter eller til at validere, at brugerens blikretning allerede er en sikker rute gennem eller forbi et hinder.

Tests, hvor systemet ignorerer synlighed (venstre) og hvor trajektorien er omregnet for at tage synlighed i betragtning som kritisk for en flyverute (højre).

Test

For at teste gaze-baseret dronekontrol-system, brugte de kinesiske forskere en række frivillige med nul kendskab til systemet og uden erfaring i at kontrollere drone-flyvning. Emnerne skulle navigere i hindringsbaner i lukkede og eksterne miljøer med kun tre korte orienteringsrutiner, hvormed de skulle familiarisere sig med den grundlæggende drift af systemet.

Derudover, efter at have briefet frivillige om den grundlæggende topologi af hindringerne, tilføjede forskerne ‘overraskelseshindringer’, der ikke var inkluderet i briefing.

Ovenfor, quadrotor-dronens trajektorier, farvet efter højde. Nederst, de navigerbare hindringer, der starter med kasser og går videre til ringe.

I praksis kunne systemet effektivt korrigere blik-data, så de brugte rum-kritiske drones kunne passere (eller gennem) ring- og kasseformede hindringer uden kollision, og forskerne har konkluderet, at deres system er både intuitivt og sikkert, med en høj sikkerhedsmargin i drift.

Forskerne sammenlignede også performance af deres tilgang med FocusTrack-arkitekturen i Mavic Air 2-systemet og konkluderede, at det overgår sidstnævnte ved at kunne måle og handle på præcis bruger-intention.

Øjne-sporingsteknologi er blevet omfattende forsket i felter som autonom køretøj-dataindsamling til maskinlæringsbaserede SDV-systemer og i forskning i opmærksomheds-mønstre hos piloter, blandt andre sektorer. I juli i år offentliggjorde en forskergruppe fra Bulgarien fund fra observationer af Ubemandede Luftfartøjer (UAV)-piloter, der fastslog, at landingstadiet af en flyvning var det mest udfordrende for nybegyndere.

Se forskernes officielle video for GPA nedenfor.