Řízení dronů prostřednictvím přímého vidění

Vědci z Číny vyvinuli nový algoritmus, který umožňuje řízení letu dronu přímo interpretací vidění uživatele. Efektivně se lidský operátor “stává” dronem a řídí jeho trajektorii na základě směru pohledu uživatele.

Pohled uživatele je vidět vlevo dole, s letovou dráhou dronu zachycenou externě zařízením pro stín. Viz video na konci článku pro plný pohyb. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Článek paper se jmenuje GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation a pochází od výzkumníků z Institute of Cyber-Systems and Control at Zhejiang University a School of Automation at the Nanjing Institute of Technology. Vědci také zveřejnili video, které demonstruje schopnosti systému (viz konec článku).

Mimo abstraktní řízení

Výzkumníci se snaží odstranit vrstvu abstrakce pro řízení dronu, argumentujíce, že sekundární řídicí jednotky vyžadují školení a jsou pouze hrubou abstrakcí záměru uživatele, což vede k nepředvídatelnému manévrování a nesprávné interpretaci pohybů.

Článek z počátku roku, od stejného výzkumného týmu, zdůrazňoval důležitost viditelnosti v linii pohledu při navigaci dronu a aktuální práce je rozvojem výsledků z této výzkumu.

Nahoře, kompozice trajektorie testovací laboratoře dronu ‘assault course’ (viz konec videa pro vnější testy v přírodním prostředí). Dole, operátor nosí sledovač očí, který přenáší přímý pohled kamery dronu (dole vpravo). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritmus

GPA používá back-end optimalizátor, který rafinuje pohled uživatele na nejbezpečnější optimální cestu, prakticky s nulovou latencí (zřejmých důvodů).

Moduly UAV subsystému jsou instalovány přímo do dronu, včetně zařízení pro odhad stavu, plánování, mapování a řídicích modulů. Místní systém přijímá data o směru pohledu z jednotky pro sledování očí, umístěné v hlavovém harnessu uživatele, která poskytuje počáteční topologickou cestu, kterou systém musí sanitovat na letu.

Aby se vytvořila koherentní zkušenost pro vzdáleného kontrolora, monochromatický pohled, který uživatel obdrží, je automaticky vycentrován systémem dronu, nejméně proto, že bez toho by bylo obtížné interpretovat nové zamýšlené odchylky trasy (jak je indikováno změnou směru pohledu).

Systém nejprve parsuje odhadované vektorové souřadnice z obrazového toku. Jelikož je video vstupu systému目前 monokulární, je použita hranice hloubky vnímání kamery k získání druhého (hloubkového) vektoru, který je uložen do 2D vektoru odvozeného z obrazu. Teoreticky by pozdější iterace mohly použít stereo kamery ke zlepšení tohoto procesu, i když zůstává otázkou, zda by dodatečné zpracování přetížení ponechalo benefit hardwarového 3D vnímání neporušen.

V každém případě, s 3D hodnotami získanými, je výpočet použit jako původ pro Breadth First Search (BFS). Pixely, které by jinak byly vyloučeny BFS (tj. pixely identifikované jako již v rámci), jsou použity jako kotva pro DBSCAN clustering (pokud nejsou již seskupeny), a rutina se vrací k hodnocení BFS z posledního bodu.

Architektura GPA.

Proces se opakuje, dokud není objekt identifikován a označen v rámci parametrů odpovídajících zornému poli (FOV – které v tomto případě musí být absolutně jasné, aby se zabránilo srážkám).

Nakonec jsou vektorové výpočty použity k vygenerování jasných cest, nebo k ověření, zda směr pohledu uživatele již je bezpečnou cestou přes nebo kolem překážky.

Testy, kde systém ignoruje viditelnost (vlevo) a kde je trajektorie přepočítána tak, aby brala v úvahu viditelnost jako kritickou pro letovou dráhu (vpravo).

Testování

K otestování systému řízení dronu na základě pohledu, čínští výzkumníci použili sérii dobrovolníků se žádnými znalostmi systému a žádnou zkušeností s řízením letu dronu. Subjekty byly povinny navigovat překážkové dráhy v uzavřených a vnějších prostředích s pouze třemi krátkými orientačními rutinami, kterými se seznámily se základním provozem systému.

Navíc, po seznámení dobrovolníků se základním topologickým popisem překážek, výzkumníci přidali ‘překážky překvapení’, které nebyly součástí briefingu.

Nahoře, trajektorie online dronu quadrotoru, barevné podle výšky. Dole, překážky, se kterými lze navigovat, začínající krabicemi a pokračující kruhy.

V praxi byl systém schopen účinně korigovat data o pohledu, takže prostory kritické drony byly schopny projet (nebo prolétnout) kolem překážek ve tvaru kruhu a krabice bez srážky, a výzkumníci dospěli k závěru, že jejich systém je intuitivní a bezpečný, s vysokou rezervou bezpečnosti při provozu.

Výzkumníci také srovnali výkon svého přístupu s architekturou FocusTrack v systému Mavic Air 2, dospěli k závěru, že jej překonává, protože je schopen odhadnout a jednat na základě přesného záměru uživatele.

Technologie sledování očí byla rozsáhle prozkoumána v oblastech, jako je autonomní vozidla pro sběr dat pro systémy strojového učení a výzkum vzorců pozornosti pilotů, mezi jinými sektory. V červenci tohoto roku, výzkumný tým z Bulharska zveřejnil výsledky pozorování pilotů bezpilotních letadel (UAV), které stanovily fázi přistání letu jako nejobtížnější pro začínající učitele.

Viz oficiální video výzkumníků pro GPA, níže.

https://www.youtube.com/watch?v=WYujLePQwB8