Besturing van drones via directe visie

Onderzoekers uit China hebben een nieuwe algoritme ontwikkeld dat het mogelijk maakt om dronevluchten te besturen door direct de visie van de gebruiker te interpreteren. Effectief wordt de menselijke operator het drone en leidt hij zijn traject op basis van de richting van de gebruikersblik.

Het zicht van de gebruiker wordt links onderaan weergegeven, met de vluchtpad van de drone vastgelegd door een schaduwapparaat. Zie de video aan het einde van het artikel voor uitgebreide bewegingsbeelden. Bron: https://www.youtube.com/watch?v=WYujLePQwB8

Het artikel heet GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation en komt van onderzoekers aan het Institute of Cyber-Systems and Control van de Zhejiang University en de School of Automation van de Nanjing Institute of Technology. De onderzoekers hebben ook een video vrijgegeven die de mogelijkheden van het systeem demonstreert (zie einde van het artikel).

Verder dan abstracte besturing

De onderzoekers proberen de laag van abstractie voor dronebesturing te verwijderen, omdat secundaire besturingsunits training vereisen en alleen een ruwe abstractie van de bedoeling van de gebruiker zijn, waardoor onvoorspelbaar manoeuvreren en misinterpretatie van besturingsbewegingen ontstaat.

Een eerder artikel, van dezelfde onderzoekers, benadrukte het belang van zichtbaarheid in drone-navigatie, en het huidige onderzoek is een verdere ontwikkeling van de resultaten van dat onderzoek.

Boven, een compositie van de traject van de drone-testlab ‘aanvalscursus’ (zie eindvideo voor buitentests in een natuurlijke openluchtomgeving). Onder, de operator draagt een oogtracker die de directe weergave van de voorwaartse camera van de quadrotor-drone doorgeeft (onderaan rechts). Bron: https://arxiv.org/pdf/2109.04907.pdf

Algoritme

GPA gebruikt een back-end optimizer die de blik van de gebruiker verfijnt tot de veiligste optimale pad, wat vergelijkbaar is met ‘auto-aim’ in videospellen, bijna zonder vertraging (om voor de hand liggende redenen).

De UAV-subsystemen zijn rechtstreeks in de drone geïnstalleerd, inclusief faciliteiten voor toestandschatting, planning, mapping en besturingsmodules. Het lokale systeem ontvangt oog-blikgegevens van een enkele oog-eenheid die in een hoofdgedragen harnas door de eindgebruiker wordt gedragen, die een initiële topologische pad levert, die het systeem moet zuiveren tijdens de vlucht.

Om een coherente ervaring voor de afstandsbediening te creëren, wordt de monochrome weergave die de gebruiker ontvangt automatisch gecentreerd door het onboard-drone-systeem, niet in de laatste plaats omdat het zonder dit moeilijk zou zijn om nieuwe bedoelde afwijkingen van de route te interpreteren (zoals aangegeven door een verandering in blikrichting).

Het systeem parseert eerst geschatte vectorcoördinaten uit de beeldstroom. Aangezien de video-input van het systeem van de onderzoekers momenteel monochroom is, wordt de diepte-perceptiegrens van de camera gebruikt om een tweede (diepte)vector te verkrijgen die op de 2D-vector die uit het beeld is afgeleid, wordt opgelegd. In theorie zouden latere iteraties stereo-camera’s kunnen gebruiken om deze pijplijn te verbeteren, hoewel het nog moet worden gezien of de extra verwerkingsoverhead de voordelen van hardware-gebaseerde 3D-perceptie intact zou laten.

In elk geval, met de 3D-waarden verkregen, wordt de berekening gebruikt als oorsprong voor een Breadth First Search (BFS). Pixels die anders zouden worden genegeerd door BFS (d.w.z. pixels die als reeds binnen de grenzen worden geïdentificeerd) worden gebruikt als ankerpunt voor DBSCAN clustering (als deze nog niet zijn gegroepeerd), en de routine keert terug naar BFS-evaluatie vanaf het laatste break-point.

De architectuur van GPA.

Het proces herhaalt zich totdat een object is geïdentificeerd en gelabeld binnen margeparameters die overeenkomen met een gezichtsveld (FOV – die in dit geval absoluut duidelijk moet zijn om botsingen te voorkomen).

Tenslotte worden de vectorberekeningen gebruikt om duidelijke paden te genereren, of om te valideren dat de blikrichting van de gebruiker al een veilig pad is door of langs een obstakel.

Tests waarbij het systeem zichtbaarheid negeert (links) en waarbij de traject wordt herberekend om zichtbaarheid als kritiek voor een vluchtpad te beschouwen (rechts).

Testen

Om het blik-gebaseerde dronesysteem te testen, gebruikten de Chinese onderzoekers een reeks vrijwilligers met geen kennis van het systeem en zonder ervaring in het besturen van dronevluchten. De deelnemers moesten obstakelbanen in gesloten en buitengebieden navigeren met slechts drie korte oriëntatie-routines om zich vertrouwd te maken met de basiswerking van het systeem.

Bovendien, nadat de vrijwilligers waren geïnformeerd over de basis-topologie van de obstakels, voegden de onderzoekers ‘verrassingsobstakels’ toe die niet in de briefing waren opgenomen.

Boven, de trajecten van de online quadrotor-drone, gekleurd door hoogte. Onder, de navigeerbare obstakels, beginnend met dozen en verdergaand met ringen.

In de praktijk was het systeem in staat om de blikgegevens effectief te corrigeren, zodat de ruimte-kritische drones die werden gebruikt, konden passeren (of door) de ring- en doosvormige obstakels zonder botsing, en de onderzoekers hebben geconcludeerd dat hun systeem zowel intuïtief als veilig is, met een hoge veiligheidsmarge bij de werking.

De onderzoekers vergeleken ook de prestaties van hun benadering met de FocusTrack-architectuur in het Mavic Air 2-systeem, en concludeerden dat het de laatste overtreft door in staat te zijn om precieze gebruikersintentie te meten en te acteren.

Oogtrackertechnologie is uitgebreid onderzocht in gebieden zoals autonome voertuiggegevensverzameling voor machine learning-gebaseerde SDV-systemen en in onderzoek naar de aandachtpatronen van piloten, onder andere sectoren. In juli van dit jaar publiceerde een onderzoeks-team uit Bulgarije resultaten van observaties van onbemande luchtvaartuigpiloten die aantoonden dat de landingfase van een vlucht de meest uitdagende is voor beginners.

Bekijk de officiële video van de onderzoekers voor GPA, hieronder.