Řízení dronů prostřednictvím přímého vidění

Výzkumníci z Číny vyvinuli nový algoritmus, který umožňuje ovládat let dronu přímo interpretací vidění uživatele. Efektivně se lidský operátor “stává” dronem a řídí jeho trajektorii na základě směru pohledu uživatele.

Uživatelský pohled je vidět vlevo dole, s letovou dráhou dronu zachycenou externě pomocí stínového zařízení. Viz video na konci článku pro plnou pohyblivou záběr. Zdroj: https://www.youtube.com/watch?v=WYujLePQwB8

Článek se jmenuje GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation a pochází z výzkumníků na Institutu kybernetických systémů a řízení na Zhejiang University a na Škole automatizace na Nanjing Institute of Technology. Výzkumníci také vydali video, které demonstruje schopnosti systému (viz konec článku).

Mimo abstraktní kontrolu

Výzkumníci se snaží odstranit vrstvu abstrakce pro kontrolu dronu, argumentujíce, že sekundární kontrolní jednotky vyžadují školení a jsou pouze hrubou abstrakcí záměru uživatele, což vede k nepředvídatelnému manévrování a nesprávné interpretaci pohybů.

Článek z počátku roku, od stejného výzkumníků, zdůraznil důležitost viditelnosti v linii pohledu pro navigaci dronu a aktuální práce je rozvíjením výsledků z této studie.

Nahoře, kompozice trajektorie testovací laboratoře ‘assault course’ (viz konec videa pro vnější testy v přirozeném otevřeném prostředí). Dole, operátor nosí oční tracker, který přenáší přímý pohled kamery dronu (dole vpravo). Zdroj: https://arxiv.org/pdf/2109.04907.pdf

Algoritmus

GPA používá back-end optimalizátor, který rafinuje pohled uživatele na nejbezpečnější optimální cestu, což je srovnatelné s “auto aim” ve videohrách, prakticky s nulovou latencí (zřejmých důvodů).

Moduly UAV subsystému jsou instalovány přímo do dronu, včetně zařízení pro odhad stavu, plánování, mapování a kontrolní moduly. Místní systém přijímá data o směru pohledu od jednoduchého očního trackeru umístěného v hlavovém harnessu uživatele, který poskytuje počáteční topologickou cestu, kterou systém musí sanitovat na letu.

Pro vytvoření koherentní zkušenosti pro vzdáleného ovladače je monochromatický pohled, který uživatel obdrží, automaticky vycentrován systémem dronu, nejméně proto, že bez toho by bylo obtížné interpretovat nové zamýšlené odchylky trasy (jak je indikováno změnou směru pohledu).

Systém nejprve analyzuje odhadované vektorové souřadnice z obrazového toku. Jelikož je video vstup systému目前 monokulární, je použita hranice hloubky vnímání kamery k získání druhého (hloubkového) vektoru, který je uložen do 2D vektoru odvozeného z obrazu. Teoreticky by pozdější iterace mohly použít stereo kamery pro zlepšení tohoto procesu, i když je třeba ještě ověřit, zda by dodatečné zpracování nepřekročilo výhody hardwarového 3D vnímání.

V každém případě, s získanými 3D hodnotami, je výpočet použit jako původ pro Breadth First Search (BFS). Pixely, které by jinak byly vynechány BFS (tj. pixely identifikované jako již v mezích), jsou použity jako kotva pro DBSCAN clustering (pokud nejsou již seskupeny), a rutina se vrací k BFS hodnocení z poslední přestávky.

Architektura GPA.

Proces se opakuje, dokud není objekt identifikován a označen v rámci parametrů odpovídajících zornému úhlu (FOV – který v tomto případě musí být absolutně jasný, aby se zabránilo kolizím).

Nakonec jsou vektorové výpočty použity k vytvoření jasných cest, nebo k ověření, zda směr pohledu uživatele je již bezpečná cesta přes nebo kolem překážky.

Testy, kde systém ignoruje viditelnost (vlevo) a kde je trajektorie přepočítána s ohledem na viditelnost jako kritickou pro letovou cestu (vpravo).

Testování

Pro testování systému ovládání dronu na základě pohledu, čínští výzkumníci použili sérii dobrovolníků bez znalosti systému a bez zkušeností s ovládáním letu dronu. Subjekty byly povinny navigovat překážkové dráhy v uzavřených a vnějších prostředích s pouze třemi krátkými úvodními rutinami, kterými se seznámily se základním provozem systému.

Dále, po seznámení dobrovolníků se základními topologiemi překážek, výzkumníci přidali “překvapivé překážky”, které nebyly součástí briefingu.

Nahoře, trajektorie online dronu, barevně odlišené podle výšky. Dole, překážky, začínající krabicemi a končící kruhy.

V praxi byl systém schopen účinně korigovat data o pohledu, takže prostorově kritické drony používané mohly projet (nebo přes) kruhové a krabicové překážky bez kolize, a výzkumníci dospěli k závěru, že jejich systém je intuitivní a bezpečný, s vysokou rezervou bezpečnosti při provozu.

Výzkumníci také srovnali výkon svého přístupu s architekturou FocusTrack v Mavic Air 2 systému, dospěli k závěru, že jejich systém jej překonává tím, že je schopen odhadnout a reagovat na přesný záměr uživatele.

Technologie sledování očí byla rozsáhle prozkoumána v oblastech, jako je autonomní vozidla, sběr dat pro systémy strojového učení a výzkum pozornosti pilotů, mezi ostatními. V červenci tohoto roku, výzkumný tým z Bulharska publikoval výsledky pozorování pilotů bezpilotních letadel, které stanovily fázi přistání letu jako nejobtížnější pro začínající piloty.

Viz oficiální video výzkumníků pro GPA níže.