Sterowanie dronami za pomocą bezpośredniej wizji

Badacze z Chin opracowali nowy algorytm, który umożliwia kontrolę lotu drona poprzez bezpośrednią interpretację widzenia użytkownika. W praktyce, człowiek-operator “staje się” dronem i kieruje jego trajektorią na podstawie kierunku wzroku użytkownika.

Punkt widzenia użytkownika jest widoczny na dole po lewej stronie, a ścieżka lotu drona jest rejestrowana zewnętrznie przez urządzenie cieniowe. Zobacz film na końcu artykułu, aby zobaczyć pełną wersję ruchomą. Źródło: https://www.youtube.com/watch?v=WYujLePQwB8

Artykuł GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation pochodzi od badaczy z Instytutu Cyber-Systemów i Kontroli na Uniwersytecie Zhejiang oraz Szkoły Automatyki w Instytucie Technologii w Nanjing. Badacze również opublikowali film, który demonstruje możliwości systemu (zobacz koniec artykułu).

Poza abstrakcyjną kontrolą

Badacze starają się usunąć warstwę abstrakcji w kontroli dronów, argumentując, że dodatkowe jednostki kontrolne wymagają szkolenia i są tylko przybliżoną abstrakcją intencji użytkownika, co prowadzi do nieprzewidywalnych manewrów i błędnej interpretacji ruchów sterujących.

Artykuł opublikowany wcześniej w tym roku przez tych samych badaczy podkreślał wagę widoczności w linii wzroku w nawigacji dronów, a obecna praca jest rozwinięciem wyników z tego badania.

Powyżej, kompozycja trajektorii labolatorium testowego drona ‘kursu szkoleniowego’ (zobacz filmy na końcu, aby zobaczyć testy zewnętrzne w naturalnym środowisku). Poniżej, operator nosi tracker wzroku, który przekazuje bezpośredni widok kamery przedniej drona (poniżej po prawej). Źródło: https://arxiv.org/pdf/2109.04907.pdf

Algorytm

GPA wykorzystuje optymalizator back-end, który udoskonala wzrok użytkownika w najbezpieczniejszą optymalną ścieżkę, co można porównać do “auto-aim” w grach wideo, przy praktycznie zerowej latencji (z oczywistych powodów).

Moduły podsystemu UAV są instalowane bezpośrednio w dronie, w tym moduły szacowania stanu, planowania, mapowania i sterowania. Lokalny system otrzymuje dane wzroku z jednostki montowanej w noszonej przez użytkownika obudowie, która dostarcza początkową topologiczną ścieżkę, którą system musi oczyścić na bieżąco.

Aby stworzyć spójne doświadczenie dla pilota, monochromatyczny widok, który otrzymuje użytkownik, jest automatycznie wyśrodkowany przez system drona, ponieważ bez tego byłoby trudno interpretować nowe zamierzone odchylenia trasy (wskazane przez zmianę kierunku wzroku).

System najpierw parsuje oszacowane współrzędne wektorowe z strumienia obrazu. Ponieważ obecny system korzysta z monokularnej kamery, granica percepcji głębi kamery jest używana do uzyskania drugiego (głębi) wektora, który jest nakładany na 2D wektor pochodzący z obrazu. W teorii, późniejsze iteracje mogą wykorzystywać kamery stereoskopowe, aby poprawić ten proces, choć pozostaje to do ustalenia, czy dodatkowy nakład obliczeniowy pozostawiłby korzyści z percepcji 3D opartej na sprzęcie.

W każdym razie, uzyskane wartości 3D są używane jako punkt początkowy dla Breadth First Search (BFS). Piksele, które byłyby pomijane przez BFS (tj. piksele zidentyfikowane jako już w granicach), są używane jako punkt kotwiczący dla DBSCAN clustering (jeśli nie są już pogrupowane), a rutyna wraca do oceny BFS od ostatniego punktu przerwy.

Architektura GPA.

Proces jest powtarzany, aż do momentu, gdy obiekt jest zidentyfikowany i oznaczony w ramach parametrów marginesu, odpowiadających polu widzenia (FOV – które w tym przypadku musi być absolutnie klarowne, aby uniknąć kolizji).

Na koniec, obliczenia wektorowe są używane do generowania wyraźnych ścieżek lub do potwierdzenia, że kierunek wzroku użytkownika jest już bezpieczną ścieżką przez lub obok przeszkody.

Testy, w których system ignoruje widoczność (po lewej) i w których trajektoria jest przeliczana, aby uwzględnić widoczność jako krytyczny element ścieżki lotu (po prawej).

Testowanie

Aby przetestować system sterowania dronem opartym na wzroku, chińscy badacze wykorzystali grupę ochotników bez wiedzy na temat systemu i bez doświadczenia w sterowaniu lotem drona. Osoby te musiały nawigować przez tor przeszkód w zamkniętych i zewnętrznych środowiskach, mając do dyspozycji tylko trzy krótkie rutyny orientacyjne, aby zaznajomić się z podstawową obsługą systemu.

Ponadto, po poinformowaniu ochotników o podstawowej topologii przeszkód, badacze dodali “niespodziewane przeszkody”, które nie były uwzględnione w instrukcji.

Powyżej, trajektorie drona online, pokolorowane według wysokości. Poniżej, przeszkody nawigacyjne, zaczynające się od pudeł i przechodzące do pierścieni.

W praktyce, system był w stanie skutecznie poprawić dane wzroku, aby drony używane w teście mogły przelecieć obok (lub przez) przeszkody w kształcie pierścieni i pudeł bez kolizji, a badacze stwierdzili, że ich system jest intuicyjny i bezpieczny, z dużym marginesem bezpieczeństwa podczas eksploatacji.

Badacze również porównali wyniki swojego podejścia z architekturą FocusTrack w systemie Mavic Air 2, stwierdzając, że ich system przewyższa ten drugi, ponieważ może ocenić i zareagować na precyzyjną intencję użytkownika.

Technologia śledzenia wzroku była szeroko badana w dziedzinach takich jak gromadzenie danych dla systemów SDV opartych na maszynach lub w badaniach nad wzorcami uwagi pilotów, wśród innych sektorów. W lipcu tego roku zespół badawczy z Bułgarii opublikował wyniki obserwacji pilotów dronów, które ustaliły, że etap lądowania lotu jest najtrudniejszy dla początkujących.

Zobacz oficjalny film badaczy dotyczący GPA poniżej.