Керування дронами за допомогою прямого бачення

Дослідники з Китаю розробили новий алгоритм, який дозволяє контролювати політ дрона шляхом прямої інтерпретації зору користувача. По суті, людина-оператор «стає» дроном і направляє його траєкторію на основі напрямку погляду користувача.

POV користувача видно знизу ліворуч, траєкторію польоту дрона зафіксовано ззовні тіньовим пристроєм. Подивіться відео в кінці статті, щоб отримати розширені кадри повного руху. Джерело: https://www.youtube.com/watch?v=WYujLePQwB8

Команда папір це називається GPA-Teleoperation: безпечне допоміжне повітряне керування з розширеним сприйняттям погляду, і походить від дослідників з Інституту кіберсистем і управління Чжецзянського університету та Школи автоматизації Нанкінського технологічного інституту. Сьогодні дослідники також опублікували відео, яке демонструє можливості системи (див. кінець статті).

За межами абстрактного контролю

Дослідники прагнуть усунути рівень абстракції для керування дроном, стверджуючи, що вторинні блоки керування вимагають навчання та є лише грубою абстракцією намірів користувача, що призводить до непередбачуваного маневрування та неправильного тлумачення рухів наведення.

Раніше цього року в статті тих самих дослідників наголошувалося на важливості прямої видимості в навігації безпілотників, а поточна робота є розвитком висновків з що дослідження.

Угорі комбінована траєкторія «штурмового курсу» лабораторії випробувань безпілотників (перегляньте кінцеве відео для зовнішніх випробувань у природному середовищі просто неба). Унизу оператор носить айтрекер, який передає прямий огляд передньої камери квадроторного дрона (внизу праворуч). Джерело: https://arxiv.org/pdf/2109.04907.pdf

Алгоритм

GPA використовує внутрішній оптимізатор, який уточнює погляд користувача на найбезпечніший оптимальний шлях, можливо, еквівалентний «автоматичного прицілювання» у відеоіграх, практично з нульовою затримкою (зі зрозумілих причин).

Модулі підсистеми БПЛА встановлюються безпосередньо в дрон, включаючи засоби оцінки стану, планування, картографування та модулі керування. Локальна система отримує дані погляду з одного ока, встановленого кінцевим користувачем у ремінь безпеки, який надає початковий топологічний шлях, який система повинна дезінфікувати на льоту.

Для створення узгодженого досвіду для пульта дистанційного керування монохромне зображення, яке отримує користувач, автоматично центрується бортовою системою дрона, не в останню чергу тому, що без цього було б важко інтерпретувати нові передбачувані відхилення від маршруту (як зазначено за допомогою зміна напрямку погляду).

Система спочатку аналізує приблизні векторні координати з потоку зображень. Оскільки відеовхід системи дослідників наразі монокулярний, межа глибини сприйняття камери використовується для отримання другого (глибини) вектора, який накладається на 2-D вектор, отриманий із зображення. Теоретично, пізніші ітерації можуть використовувати стереокамери для покращення цього конвеєра, хоча ще невідомо, чи залишать переваги апаратного 3D-сприйняття незмінними додаткові накладні витрати на обробку.

У будь-якому випадку, з отриманими 3D-значеннями розрахунок використовується як початок координат для a Ширина - перший пошук (BFS). Пікселі, які інакше були б усунені BFS (тобто пікселі, визначені як уже в межах), використовуються як опорна точка для Кластеризація DBSCAN (якщо ще не кластеризовано), і підпрограма повертається до оцінки BFS з останньої точки зупинки.

Архітектура GPA.

Процес повторюється, доки об’єкт не буде ідентифіковано та позначено в межах параметрів, що відповідають полю зору (FOV – яке в цьому випадку має бути абсолютно чітким, щоб уникнути зіткнень).

Нарешті, векторні обчислення використовуються для створення чітких шляхів або для підтвердження того, що напрямок погляду користувача вже є безпечним шляхом через або повз перешкоду.

Тести, у яких система ігнорує видимість (ліворуч) і де траєкторія перераховується, щоб вважати видимість критичною для траєкторії польоту (праворуч).

Тестування

Щоб перевірити систему керування безпілотником за допомогою погляду, китайські дослідники залучили серію добровольців, які не мали жодного знання про систему та не мали досвіду керування польотом безпілотника. Суб'єкти повинні були долати смуги перешкод у закритому та зовнішньому середовищі лише з трьома короткими процедурами орієнтування, за допомогою яких вони ознайомилися з базовою роботою системи.

Крім того, поінформувавши волонтерів про основну топологію перешкод, дослідники додали «несподівані перешкоди», не включені в брифінг.

Вище траєкторії онлайн-дрона-квадротора, розфарбовані висотою. Нижче судноплавні перешкоди, починаючи з ящиків і переходячи до кілець.

На практиці система змогла ефективно відкоригувати дані погляду, щоб використовувані безпілотні літальні апарати могли пройти повз (або крізь) перешкоди у формі кільця та коробки без зіткнень, і дослідники дійшли висновку, що їхня система одночасно інтуїтивно зрозумілий і безпечний, з високим запасом міцності в експлуатації.

Дослідники також порівняли продуктивність свого підходу з архітектурою FocusTrack у mavic air 2 систему, зробивши висновок, що вона перевершує останню завдяки здатності вимірювати та діяти відповідно до точних намірів користувача.

Технологія стеження за очима широко досліджується в таких сферах, як автономний збір даних транспортного засобу для систем SDV на основі машинного навчання, а також у дослідженнях моделей уваги пілотів, серед інших секторів. У липні цього року дослідницька група з Болгарії опублікований Результати спостережень за пілотами безпілотних літальних апаратів (БПЛА), які встановили, що посадка під час польоту є найскладнішою для початківців.

Перегляньте нижче офіційне відео дослідників для GPA.