Kontroll av drönare genom direkt syn

Forskare från Kina har utvecklat en ny algoritm som kan möjliggöra kontroll av drönarflygning genom att direkt tolka användarens syn. Effektivt “blir” den mänskliga operatören drönaren och styr dess bana baserat på användarens blickriktning.

Användarens synvinkel ses nedan till vänster, med drönarens flygbana som fångats externt av en skuggenhet. Se video i slutet av artikeln för utökad full rörelse. Källa: https://www.youtube.com/watch?v=WYujLePQwB8

Artikeln heter GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation och kommer från forskare vid Institute of Cyber-Systems and Control vid Zhejiang University och School of Automation vid Nanjing Institute of Technology. Forskarna har också släppt en video som demonstrerar systemets förmågor (se slutet av artikeln).

Bortom abstrakt kontroll

Forskarna försöker ta bort abstraktionslagret för drönarkontroll, med argumentet att sekundära kontrollenheter kräver utbildning och är bara en ungefärlig abstraktion av användarens avsikt, vilket leder till oförutsägbar manövrering och missförstånd av vägledningsrörelser.

En artikel tidigare i år, från samma forskare, betonade vikten av synlighet i drönarnavigering, och den aktuella studien är en utveckling av resultaten från den forskningen.

Ovan, en sammansättning av drönarens bana i testlaboratoriet ‘anfallskurs’ (se slutvideo för yttre tester i en naturlig öppen miljö). Nederst, operatören bär en ögonspårare som matar genom den direkta synen av drönarens främre kamera (nederst till höger). Källa: https://arxiv.org/pdf/2109.04907.pdf

Algoritm

GPA använder en bakre optimerare som förfinar användarens syn i den säkraste optimala banan, vilket kan liknas vid “auto-aim” i videospel, med praktiskt taget noll fördröjning (av uppenbara skäl).

UAV-undermodulerna installeras direkt i drönaren, inklusive anläggningar för tillståndsuppskattning, planering, kartläggning och kontrollmoduler. Det lokala systemet tar emot ögonspårningsdata från en enögd enhet monterad i en huvudburna hållare av slutanvändaren, som tillhandahåller en initial topologisk bana, som systemet måste rensa på flyget.

För att skapa en sammanhängande upplevelse för den avlägsna kontrollen, är den monokroma vy som användaren får auto-centrerad av drönarens ombordssystem, inte minst för att det annars skulle vara svårt att tolka nya avsedda avvikelser från banan (som indikeras av en ändring av blickriktning).

Systemet parsar först uppskattade vektorkoordinater från bildströmmen. Eftersom videoinmatningen av forskarnas system för närvarande är monokulär, används kamerans djupperceptionsgräns för att få en andra (djup) vektor som påförs den 2-D-vektor som härrör från bilden. I teorin kunde senare iterationer använda stereokameror för att förbättra denna pipeline, även om det återstår att se om den extra bearbetningsbelastningen skulle lämna fördelen med hårdvarubaserad 3D-perception intakt.

I vilket fall som helst, med de 3D-värden som erhållits, används beräkningen som en ursprung för en Breadth First Search (BFS). Pixlar som annars skulle utelämnas av BFS (dvs pixlar som identifierats som redan inom gränser) används som ankarpunkten för DBSCAN-klastring (om den inte redan är klustrad), och rutinen återgår till BFS-utvärdering från den senaste brytpunkten.

GPA:s arkitektur.

Processen itererar tills ett objekt identifieras och märks inom marginalparametrar som motsvarar ett synfält (FOV – som i detta fall måste vara absolut klart för att undvika kollisioner).

Till slut används vektorkalkylerna för att generera tydliga banor, eller för att validera att användarens blickriktning redan är en säker bana genom eller förbi ett hinder.

Tester där systemet ignorerar synlighet (vänster) och där banan omberäknas för att ta hänsyn till synlighet som avgörande för en flygning (höger).

Testning

För att testa drönarkontrollsystemet baserat på blick, använde de kinesiska forskarna en serie frivilliga med noll kunskap om systemet och utan erfarenhet av drönarflygning. Försökspersonerna skulle navigera hinderbanor i slutna och yttre miljöer med endast tre korta orienteringsrutiner för att bekanta sig med systemets grundläggande drift.

Dessutom, efter att ha informerat frivilliga om hinderbanans grundläggande topologi, lade forskarna till “överraskningshinder” som inte ingick i orienteringen.

Ovan, drönarens bana, färgad efter höjd. Nederst, de framkomliga hindren, börjande med lådor och fortsättande med ringar.

I praktiken kunde systemet effektivt korrigera blickdata så att de rymdkritiska drönare som användes kunde passera (eller genom) ring- och lådformade hinder utan kollision, och forskarna har dragit slutsatsen att deras system är både intuitivt och säkert, med en hög säkerhetsmarginal i drift.

Forskarna jämförde också prestandan för deras tillvägagångssätt med FocusTrack-arkitekturen i Mavic Air 2-systemet, och drog slutsatsen att det överträffar den senare genom att kunna mäta och agera på exakt användaravsikt.

Ögonspårningsteknik har utforskats i områden som autonoma fordon, datainsamling för maskinlärningsbaserade SDV-system och forskning om piloters uppmärksamhetsmönster, bland andra sektorer. I juli i år publicerade en forskargrupp från Bulgarien fynd från observationer av obemannade luftfarkoster (UAV) som etablerade landningsstadiet av en flygning som den mest utmanande för nybörjare.

Se forskarnas officiella video för GPA, nedan.