Керування безпілотниками через прямий вид

Дослідники з Китаю розробили новий алгоритм, який дозволяє керувати польотом безпілотника шляхом прямої інтерпретації бачення користувача. Ефективно, людина-оператор “становиться” безпілотником і керує його траєкторією на основі напрямку погляду користувача.

Погляд користувача видно внизу ліворуч, а траєкторія польоту безпілотника захоплена зовні пристроєм-тіньовим. Дивіться відео в кінці статті для розширення повного руху. Джерело: https://www.youtube.com/watch?v=WYujLePQwB8

Стаття стаття називається GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, і походить від дослідників Інституту кібер-систем і контролю університету Чжецзян, та школи автоматики Інституту технологій Нанкіна. Дослідники також випустили відео сьогодні, демонструючи можливості системи (див. кінець статті).

Поза абстрактним контролем

Дослідники намагаються видалити шар абстракції для контролю безпілотника, стверджуючи, що вторинні одиниці контролю вимагають навчання і є тільки приблизною абстракцією намірів користувача, що призводить до непередбачуваного маневрування і неправильної інтерпретації рухів керування.

Стаття на початку року, від тих самих дослідників, підкреслювала важливість видимості лінії погляду в навігації безпілотника, а поточна робота є розвитком висновків з цього дослідження.

Вгорі, композиція траєкторії лабораторного полігона для тестування безпілотників ‘асальт-курс’ (див. відео в кінці для зовнішніх тестів у природному відкритому середовищі). Внизу, оператор носить апарат відстеження очей, який передає прямий вид камери безпілотника (внизу праворуч). Джерело: https://arxiv.org/pdf/2109.04907.pdf

Алгоритм

GPA використовує оптимізатор заднього плану, який уточнює погляд користувача до найбезпечнішої оптимальної траєкторії, фактично еквівалентної “автоцілі” у відеоіграх, практично з нульовою затримкою (з очевидних причин).

Модулі підсистеми БПЛА встановлені безпосередньо у безпілотник, включаючи засоби для оцінки стану, планування, картографії та модулів контролю. Місцева система отримує дані про напрям погляду від одиниці з одного ока, встановленої в носимому апараті оператора, який надає початкову топологічну траєкторію, яку система повинна санітарно обробити на льоту.

Щоб створити цілісний досвід для дистанційного керування, монохромний вид, який отримує користувач, автоматично центрується бортовою системою безпілотника, не в останню чергу тому, що без цього було б важко інтерпретувати нові бажані відхилення маршруту (означені зміною напрямку погляду).

Система спочатку розбиває оцінені векторні координати з потоку зображень. Оскільки відеовхід системи дослідників зараз монохромний, кордон глибини сприйняття камери використовується для отримання другого (глибини) вектора, який накладається на 2D-вектор, отриманий з зображення. Теоретично пізніші ітерації могли б використовувати стереокамери для поліпшення цього процесу, хоча залишається невідомим, чи додаткова обробка інформації залишить вигоду апаратного 3D сприйняття цілісною.

У будь-якому випадку, з отриманими 3D-значеннями, розрахунок використовується як походження для Breadth First Search (BFS). Пікселі, які інакше були б виключені BFS (тобто пікселі, ідентифіковані як вже в межах), використовуються як точка прив’язки для DBSCAN clustering (якщо не вже кластеризовані), і процедура повертається до оцінки BFS з останньої точки перерви.

Архітектура GPA.

Процес повторюється до тих пір, поки об’єкт не буде ідентифікований і позначений у межах параметрів, відповідних полю зору (FOV – яке в цьому випадку повинно бути абсолютно чітким, щоб уникнути зіткнень).

Нарешті, розрахунки векторів використовуються для генерації чітких траєкторій або для підтвердження того, що напрям погляду користувача вже є безпечним шляхом через або повз перешкоду.

Тести, де система ігнорує видимість (ліворуч) і де траєкторія перерахується з урахуванням видимості як критичної для польоту (праворуч).

Тестування

Щоб протестувати систему контролю безпілотника на основі погляду, китайські дослідники використовували серію волонтерів без жодних знань про систему та без досвіду керування польотом безпілотника. Піддані мали пройти курси з перешкодами у закритих та зовнішніх середовищах з трьома короткими орієнтаційними процедурами, щоб ознайомитися з базовою роботою системи.

Крім того, після ознайомлення волонтерів з базовою топологією перешкод, дослідники додали “сюрприз-перешкоди”, які не були включені до ознайомлення.

Вгорі, траєкторії онлайн-безпілотника, кольорові за висотою. Внизу, прохідні перешкоди, починаючи з коробок і переходячи до кілець.

На практиці система могла ефективно виправити дані про напрям погляду, так що безпілотники, які використовувалися, могли пройти повз (або через) кільцеві та коробчасті перешкоди без зіткнень, і дослідники зробили висновок, що їхня система є як інтуїтивною, так і безпечною, з високим маржі безпеки під час роботи.

Дослідники також порівняли продуктивність свого підходу з архітектурою FocusTrack у системі Mavic Air 2, зробивши висновок, що вона перевершує останню,能够 оцінювати і діяти на точні наміри користувача.

Технологія відстеження очей була широко досліджена в галузях, таких як збір даних для автономних транспортних засобів на основі машинного навчання та дослідження уваги пілотів, серед інших галузей. У липні цього року дослідницька група з Болгарії опублікувала результати спостережень за пілотами безпілотників, які встановили, що етап посадки польоту є найбільш складним для початківців.

Перегляньте офіційне відео дослідників для GPA нижче.

https://www.youtube.com/watch?v=WYujLePQwB8