Kontrollere droner gjennom direkte syn

Forskere fra Kina har utviklet en ny algoritme som kan muliggjøre kontroll av droneflyging ved å tolke brukersyn direkte. Den menneskelige operatøren 'blir' effektivt dronen, og styrer banen basert på brukerens blikkretning.

Brukerens POV ses nederst til venstre, med dronens flybane fanget eksternt av en skyggeenhet. Se video på slutten av artikkelen for utvidet full-motion-opptak. Kilde: https://www.youtube.com/watch?v=WYujLePQwB8

De papir er kalt GPA-teleoperasjon: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, og kommer fra forskere ved Institute of Cyber-Systems and Control ved Zhejiang University, og School of Automation ved Nanjing Institute of Technology. Forskerne har også gitt ut en video i dag som viser systemets funksjoner (se slutten av artikkelen).

Beyond Abstrakt kontroll

Forskerne søker å fjerne abstraksjonslaget for dronekontroll, og argumenterer for at sekundære kontrollenheter krever opplæring og bare er en grov abstraksjon av brukerens hensikt, noe som fører til uforutsigbar manøvrering og feiltolkning av veiledningsbevegelser.

En artikkel tidligere på året, fra de samme forskerne, understreket viktigheten av siktlinjesynlighet i drone-navigasjon, og det nåværende arbeidet er en utvikling av funnene fra den forskningen.

Over, en sammensetning av banen til dronetestlaboratoriets "angrepskurs" (se sluttvideo for eksteriørtester i et naturlig friluftsmiljø). Nederst har operatøren på seg en eyetracker som går gjennom den direkte visningen av quadrotordronens foroverkamera (nederst til høyre). Kilde: https://arxiv.org/pdf/2109.04907.pdf

Algoritme

GPA bruker en back-end optimizer som foredler brukerens blikk til den sikreste optimale banen, uten tvil tilsvarer "auto sikte" i videospill, med praktisk talt null ventetid (av åpenbare grunner).

UAV-delsystemmodulene er installert direkte i dronen, inkludert fasiliteter for statlig estimering, planlegging, kartlegging og kontrollmoduler. Det lokale systemet mottar øyeblikkdata fra en enkeltøyeenhet montert i en hodebåret sele av sluttbrukeren, som leverer en innledende topologisk bane, som systemet må desinfisere på-the-fly.

For å skape en sammenhengende opplevelse for fjernkontrollen, blir den monokrome visningen som brukeren mottar autosentrert av dronesystemet ombord, ikke minst fordi uten dette ville det være vanskelig å tolke nye tiltenkte ruteavvik (som indikert av en endring av blikkretning).

Systemet analyserer først estimerte vektorkoordinater fra bildestrømmen. Siden videoinngangen til forskernes system for øyeblikket er monokulær, brukes kameraets dybde-av-persepsjonsgrense for å oppnå en andre (dybde) vektor som er pålagt 2-D-vektoren som er avledet fra bildet. I teorien kan senere iterasjoner bruke stereokameraer for å forbedre denne rørledningen, selv om det gjenstår å se om den ekstra prosesseringskostnaden vil la fordelen med maskinvarebasert 3D-oppfatning være intakt.

I alle fall, med de oppnådde 3D-verdiene, brukes beregningen som en opprinnelse for en Bredde første søk (BFS). Piksler som ellers ville blitt unngått av BFS (dvs. piksler identifisert som allerede innenfor grensene) brukes som ankerpunkt for DBSCAN-klynger (hvis den ikke allerede er gruppert), og rutinen går tilbake til BFS-evaluering fra siste bruddpunkt.

Arkitekturen til GPA.

Prosessen itererer til et objekt er identifisert og merket innenfor marginparametere som svarer til et synsfelt (FOV – som i dette tilfellet må være helt klart for å unngå kollisjoner).

Til slutt brukes vektorberegningene til å generere klare stier, eller for å validere at brukerens blikkretning allerede er en sikker vei gjennom eller forbi en hindring.

Tester der systemet ignorerer sikt (venstre) og hvor banen beregnes på nytt for å vurdere sikt som kritisk for en flyvei (høyre).

Testing

For å teste det blikkbaserte dronekontrollsystemet brukte de kinesiske forskerne en serie frivillige med null kunnskap om systemet, og uten erfaring med å kontrollere droneflyging. Forsøkspersonene ble pålagt å navigere i hinderløyper i lukkede og utvendige miljøer med kun tre korte orienteringsrutiner som de skulle gjøre seg kjent med den grunnleggende driften av systemet.

I tillegg, etter å ha orientert de frivillige om den grunnleggende topologien til hindringene, la forskerne til "overraskelseshindringer" som ikke er inkludert i orienteringen.

Over, banene til online quadrotor-dronen, farget etter høyde. Nedenfor de navigerbare hindringene, som begynner med bokser og går videre til ringene.

I praksis var systemet i stand til effektivt å korrigere blikkdataene slik at de romkritiske dronene som ble brukt klarte å passere (eller gjennom) de ring- og boksformede hindringene uten kollisjon, og forskerne har konkludert med at deres system er både intuitiv og sikker, med høy sikkerhetsmargin i drift.

Forskerne sammenlignet også ytelsen til deres tilnærming til FocusTrack-arkitekturen i mavic air 2 systemet, og konkluderte med at det overgår sistnevnte ved å kunne måle og handle på nøyaktig brukerintensjon.

Øyesporingsteknologi har blitt grundig forsket på områder som innsamling av autonome kjøretøydata for maskinlæringsbaserte SDV-systemer, og i forskning på oppmerksomhetsmønstre til piloter, blant andre sektorer. I juli i år kom et forskerteam fra Bulgaria publisert funn fra observasjoner av UAV-piloter (Ubemanned Aerial Vehicle) som etablerte landingsstadiet for en flytur som den mest utfordrende for nybegynnere.

Sjekk ut forskernes offisielle video for GPA, nedenfor.