Керування безпілотниками через прямий погляд

Дослідники з Китаю розробили новий алгоритм, який дозволяє керувати польотом безпілотника шляхом прямої інтерпретації погляду користувача. Ефективно, людина-оператор «стає» безпілотником і керує його траєкторією на основі напрямку погляду користувача.

Погляд користувача видно внизу ліворуч, а траєкторія польоту безпілотника захоплена зовні за допомогою пристрою-тінь. Дивіться відео в кінці статті для розширення повного рухомого зображення. Джерело: https://www.youtube.com/watch?v=WYujLePQwB8

Стаття називається GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation і походить від дослідників Інституту кіберсистем і контролю університету Чжецзян та школи автоматики Нанкінського технологічного інституту. Дослідники також випустили відео, яке демонструє можливості системи (див. кінець статті).

Поза абстрактним контролем

Дослідники намагаються видалити шар абстракції для контролю безпілотника, стверджуючи, що вторинні одиниці контролю вимагають навчання і є лише приблизною абстракцією намірів користувача, що призводить до непередбачуваного маневрування і неправильної інтерпретації рухів керування.

Стаття на початку року, від тих самих дослідників, підкреслювала важливість видимості лінії погляду в навігації безпілотника, а поточна робота є розвитком висновків з цього дослідження.

Вгорі, композит траєкторії лабораторного полігону для тестування безпілотників ‘асальт-курс’ (див. відео в кінці для зовнішніх тестів у природному відкритому середовищі). Внизу, оператор носить апарат відстеження очей, який передає прямий погляд камери безпілотника (внизу праворуч). Джерело: https://arxiv.org/pdf/2109.04907.pdf

Алгоритм

GPA використовує оптимізатор у тилу, який уточнює погляд користувача у найбезпечнішій оптимальній траєкторії, фактично еквівалентній «автоцілі» у відеоіграх, практично з нульовою затримкою (з очевидних причин).

Модуль підсистеми безпілотника встановлений безпосередньо у безпілотник, включаючи засоби для оцінки стану, планування, картографування та модулів контролю. Місцева система отримує дані про напрям погляду від одиниці монокулярного апарату, встановленого у шоломі оператора, який забезпечує початкову топологічну траєкторію, яку система повинна очистити на льоту.

Щоб створити послідовний досвід для далекого керування, монохромний вигляд, який отримує користувач, автоматично центрується бортовою системою безпілотника, не в останню чергу тому, що без цього було б складно інтерпретувати нові бажані відхилення маршруту (як вказано на зміну напрямку погляду).

Система спочатку розбиває оцінені векторні координати з потоку зображення. Оскільки відеовхід системи зараз моноокулярний, кордон глибини сприйняття камери використовується для отримання другого (глибини) вектора, який накладається на 2-D вектор, отриманий з зображення. Теоретично, пізніші ітерації могли б використовувати стереокамери для поліпшення цього процесу, хоча залишається невідомим, чи залишиться виграш від апаратного 3D сприйняття цілісним.

У будь-якому випадку, з отриманими 3D-значеннями, розрахунок використовується як походження для ширинного пошуку у графах (BFS). Пікселі, які інакше були б скасовані BFS (тобто пікселі, визначені як вже в межах), використовуються як точка прив’язки для кластеризації DBSCAN (якщо не кластеризовані раніше), і процедура повертається до оцінки BFS з останньої точки перерви.

Архітектура GPA.

Процес повторюється до тих пір, поки не буде ідентифікований і позначений об’єкт у межах параметрів поля зору (FOV – яке в цьому випадку повинно бути абсолютно чистим, щоб уникнути зіткнень).

Нарешті, розрахунки векторів використовуються для генерації чітких траєкторій або для підтвердження того, що напрям погляду користувача вже є безпечним шляхом через або повз перешкоду.

Тести, де система ігнорує видимість (ліворуч) і де траєкторія перераховується з урахуванням видимості як критичної для польоту (праворуч).

Тестування

Для тестування системи керування безпілотником на основі погляду китайські дослідники використовували серію добровольців без жодних знань про систему та без досвіду керування польотом безпілотника. Дослідники вимагали від учасників пройти курси з перешкодами у закритих та зовнішніх середовищах з лише трьома короткими орієнтаційними процедурами, щоб ознайомитися з базовим функціонуванням системи.

Крім того, після ознайомлення добровольців з базовою топологією перешкод, дослідники додали «сюрприз-перешкоди», які не були включені до ознайомлення.

Вгорі, траєкторії онлайн-безпілотника, кольорові за висотою. Внизу, перешкоди, які можна пройти, починаючи з коробок і переходячи до кілець.

На практиці система могла ефективно виправити дані про напрям погляду, так що безпілотники, які використовувалися, могли пройти повз (або через) кільцеві та коробкові перешкоди без зіткнень, і дослідники прийшли до висновку, що їхня система є як інтуїтивною, так і безпечною, з великим запасом безпеки під час експлуатації.

Дослідники також порівняли ефективність свого підходу з архітектурою FocusTrack у системі Mavic Air 2, дійшовши висновку, що вона перевершує останню,能够 оцінювати і реагувати на точні наміри користувача.

Технологія відстеження очей була широко досліджена у галузях, таких як збір даних про автономні транспортні засоби для систем машинного навчання SDV, та у дослідженнях щодо моделей уваги пілотів, серед інших галузей. У липні цього року дослідницька група з Болгарії опублікувала висновки про спостереження за пілотами безпілотників, які встановили етап посадки польоту як найбільш складний для початківців.

Перегляньте офіційне відео дослідників для GPA нижче.