Controle van drones via directe visie

Onderzoekers uit China hebben een nieuwe algoritme ontwikkeld dat het mogelijk maakt om dronevluchten te besturen door direct de visie van de gebruiker te interpreteren. Effectief wordt de menselijke operator het drone en leidt hij de baan op basis van de kijkrichting van de gebruiker.

Het gezichtspunt van de gebruiker is te zien in de linkeronderhoek, met de vluchtpad van de drone vastgelegd door een schaduwapparaat. Zie de video aan het einde van het artikel voor volledige beweging. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Het artikel heet GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation en komt van onderzoekers aan het Institute of Cyber-Systems and Control van de Zhejiang University en de School of Automation van de Nanjing Institute of Technology. De onderzoekers hebben ook een video vrijgegeven die de mogelijkheden van het systeem demonstreert (zie einde van het artikel).

Verder dan abstracte controle

De onderzoekers proberen de laag van abstractie voor dronebesturing te verwijderen, waarbij ze betogen dat secundaire besturingsunits training vereisen en alleen een ruwe weergave zijn van de bedoeling van de gebruiker, wat leidt tot onvoorspelbaar manoeuvreren en misinterpretatie van bewegingsinstructies.

Een eerder artikel, van dezelfde onderzoekers, benadrukte het belang van zichtbaarheid in drone-navigatie, en het huidige onderzoek is een ontwikkeling van de resultaten van dat onderzoek.

Boven, een compositie van de traject van de drone-testlab ‘assault course’ (zie einde video voor buitentests in een natuurlijke openluchtomgeving). Onder, de operator draagt een oogtracker die doorgeeft via de directe weergave van de voorwaartse camera van de quadrotor-drone (onder rechts). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritme

GPA gebruikt een back-end optimizer die de blik van de gebruiker verfijnt tot de veiligste optimale pad, wat equivalent is aan ‘auto-aim’ in videospellen, bijna zonder vertraging (om voor de hand liggende redenen).

De UAV-subsystemen zijn rechtstreeks in de drone geïnstalleerd, inclusief faciliteiten voor staatsschatting, planning, mapping en besturingsmodules. Het lokale systeem ontvangt oog-blikgegevens van een enkeloogeenheid gemonteerd in een hoofdgedragen harnas door de eindgebruiker, die een initiële topologische pad levert, die het systeem moet zuiveren tijdens de vlucht.

Om een coherente ervaring te creëren voor de afstandsbediening, wordt de monochrome weergave die de gebruiker ontvangt automatisch gecentreerd door het onboard-drone-systeem, niet in de laatste plaats omdat het zonder dit moeilijk zou zijn om nieuwe bedoelde afwijkingen van de route te interpreteren (zoals aangegeven door een verandering in blikrichting).

Het systeem parseert eerst geschatte vectorcoördinaten uit de beeldstroom. Aangezien de video-input van het systeem van de onderzoekers momenteel monochroom is, wordt de diepte-perceptiegrens van de camera gebruikt om een tweede (diepte)vector te verkrijgen die wordt opgelegd op de 2D-vector die is afgeleid van het beeld. In theorie zouden latere iteraties stereo-camera’s kunnen gebruiken om deze pipeline te verbeteren, hoewel het nog moet worden gezien of de extra verwerkingslast het voordeel van hardware-gebaseerde 3D-perceptie intact laat.

In elk geval, met de 3D-waarden verkregen, wordt de berekening gebruikt als oorsprong voor een Breadth First Search (BFS). Pixels die anders zouden worden genegeerd door BFS (d.w.z. pixels geïdentificeerd als reeds binnen de grenzen) worden gebruikt als ankerpunt voor DBSCAN clustering (indien nog niet gegroepeerd), en de routine keert terug naar BFS-evaluatie vanaf het laatste break-point.

De architectuur van GPA.

Het proces herhaalt zich totdat een object is geïdentificeerd en gelabeld binnen margeparameters overeenkomstig met een gezichtsveld (FOV – die in dit geval absoluut duidelijk moet zijn om botsingen te voorkomen).

Ten slotte worden de vectorberekeningen gebruikt om duidelijke paden te genereren, of om te valideren dat de blikrichting van de gebruiker al een veilig pad is door of langs een obstakel.

Tests waarbij het systeem zichtbaarheid negeert (links) en waarbij de traject wordt herberekend om zichtbaarheid als kritiek te beschouwen voor een vluchtpad (rechts).

Testen

Om het blik-gebaseerde dronebesturingsysteem te testen, gebruikten de Chinese onderzoekers een reeks vrijwilligers met nul kennis van het systeem en zonder ervaring in het besturen van drone-vluchten. De onderwerpen moesten obstakelbanen navigeren in gesloten en buitengebieden met slechts drie korte oriëntatieroutines om zich te vertrouwd te maken met de basiswerking van het systeem.

Bovendien, nadat de vrijwilligers waren geïnformeerd over de basis-topologie van de obstakels, voegden de onderzoekers ‘verrassingsobstakels’ toe die niet waren opgenomen in de briefing.

Boven, de trajecten van de online quadrotor-drone, gekleurd door hoogte. Onder, de navigeerbare obstakels, beginnend met dozen en verdergaand met ringen.

In de praktijk was het systeem in staat om de blikgegevens effectief te corrigeren zodat de ruimte-kritische drones die werden gebruikt konden passeren (of door) de ring- en doosvormige obstakels zonder botsing, en de onderzoekers hebben geconcludeerd dat hun systeem zowel intuïtief als veilig is, met een hoge veiligheidsmarge in bedrijf.

De onderzoekers hebben ook de prestaties van hun benadering vergeleken met de FocusTrack-architectuur in het Mavic Air 2-systeem, en concludeerden dat het de laatste overtreft door in staat te zijn om precieze gebruikersintentie te meten en te handelen.

Oogtrackertechnologie is uitgebreid onderzocht in domeinen zoals autonome voertuiggegevensverzameling voor machine learning-gebaseerde SDV-systemen en in onderzoek naar de aandachtpatronen van piloten, onder andere sectoren. In juli van dit jaar publiceerde een onderzoeksteam uit Bulgarije bevindingen van observaties van onbemande luchtvaartuigen (UAV) piloten die de landingfase van een vlucht als de meest uitdagende voor beginners leerlingen vaststelden.

Bekijk de officiële video van de onderzoekers voor GPA, hieronder.

https://www.youtube.com/watch?v=WYujLePQwB8