Управление беспилотниками посредством прямого зрения

Исследователи из Китая разработали новый алгоритм, который позволяет управлять полетом беспилотника,直接 интерпретируя зрение пользователя. По сути, человеческий оператор «становится» беспилотником и направляет его траекторию на основе направления взгляда пользователя.

Вид пользователя виден в левом нижнем углу, с траекторией полета беспилотника, захваченной внешним устройством. См. видео в конце статьи для полноэкранного просмотра. Источник: https://www.youtube.com/watch?v=WYujLePQwB8

Статья называется GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, и исходит от исследователей Института кибер-систем и управления при Университете Чжэцзяна и Школы автоматики Нанкинского технологического института. Исследователи также выпустили видео, демонстрирующее возможности системы (см. конец статьи).

За пределами абстрактного управления

Исследователи стремятся удалить слой абстракции для управления беспилотником, утверждая, что вторичные устройства управления требуют обучения и являются лишь грубой абстракцией намерения пользователя, что приводит к непредсказуемому маневрированию и неправильной интерпретации движений управления.

Статья, опубликованная ранее в этом году теми же исследователями, подчеркивала важность видимости линии взгляда в навигации беспилотника, и текущая работа является развитием результатов этого исследования.

Вверху, композитная траектория лабораторного полигона для тестирования беспилотников ‘ассаульт-курс’ (см. видео в конце для внешних тестов в естественной открытой среде). Внизу, оператор носит устройство для отслеживания глаз, которое передает прямой вид камеры беспилотника (внизу справа). Источник: https://arxiv.org/pdf/2109.04907.pdf

Алгоритм

GPA использует оптимизатор заднего плана, который уточняет взгляд пользователя в самый безопасный оптимальный путь, аргументируя, что это эквивалентно ‘авто-прицеливанию’ в видеоиграх, практически с нулевой задержкой (по очевидным причинам).

Модули подсистемы беспилотника установлены直接 в беспилотник, включая средства для оценки состояния, планирования, картографирования и управления. Местная система получает данные о взгляде пользователя от одноглазного устройства, установленного в носимом на голове креплении, которое поставляет первоначальный топологический путь, который система должна санитарить на лету.

Чтобы создать связный опыт для удаленного управления, монохромный вид, который получает пользователь, автоматически центрируется бортовой системой беспилотника, не в последнюю очередь потому, что без этого было бы трудно интерпретировать новые намеренные отклонения маршрута (как указано изменением направления взгляда).

Система сначала парсит оцененные векторные координаты из потока изображений. Поскольку видеовход системы в настоящее время монохромный, граница глубины восприятия камеры используется для получения второго (глубинного) вектора, который накладывается на 2D-вектор, полученный из изображения. В теории, более поздние итерации могли бы использовать стереокамеры для улучшения этого процесса, хотя остается неясным, оставит ли дополнительная нагрузка на обработку выгоду от аппаратного 3D-восприятия.

В любом случае, с полученными 3D-значениями, расчет используется в качестве начала для Breadth First Search (BFS). Пиксели, которые в противном случае были бы исключены BFS (т. е. пиксели, определенные как уже в пределах), используются в качестве якорной точки для DBSCAN clustering (если не уже сгруппированы), и процедура возвращается к оценке BFS с последней точки разрыва.

Архитектура GPA.

Процесс повторяется до тех пор, пока объект не будет идентифицирован и помечен в пределах параметров, соответствующих полю зрения (FOV – которое, в данном случае, должно быть абсолютно четким, чтобы избежать столкновений).

Наконец, расчеты векторов используются для генерации четких путей или для проверки того, что направление взгляда пользователя уже является безопасным путем через или мимо препятствия.

Тесты, где система игнорирует видимость (слева) и где траектория пересчитывается с учетом видимости как критического для полета (справа).

Тестирование

Чтобы протестировать систему управления беспилотником на основе взгляда, китайские исследователи использовали серию волонтеров без знаний о системе и без опыта управления полетом беспилотника. Испытуемым было необходимо пройти препятствия в закрытых и внешних средах с только тремя краткими ориентационными процедурами, чтобы ознакомиться с базовой работой системы.

Кроме того, после ознакомления волонтеров с базовой топологией препятствий, исследователи добавили ‘сюрприз-препятствия’, не включенные в ознакомление.

Вверху, траектории онлайн-беспилотника, окрашенные по высоте. Внизу, проходимые препятствия, начиная с коробок и переходя к кольцам.

На практике система смогла эффективно исправить данные о взгляде, так что беспилотники, используемые в пространстве, могли проходить мимо (или через) кольцевидные и коробкообразные препятствия без столкновения, и исследователи заключили, что их система является одновременно интуитивной и безопасной, с высоким запасом безопасности в эксплуатации.

Исследователи также сравнили производительность своего подхода с архитектурой FocusTrack в системе Mavic Air 2, заключив, что он превосходит последнюю, способный оценить и действовать на точное намерение пользователя.

Технология отслеживания глаз была обширно исследована в таких областях, как сбор данных для автономных транспортных средств на основе машинного обучения и исследование закономерностей внимания пилотов, среди других секторов. В июле этого года исследовательская группа из Болгарии опубликовала результаты наблюдений за пилотами беспилотных летательных аппаратов (UAV), которые установили, что этап посадки является наиболее сложным для начинающих.

Смотрите официальное видео исследователей для GPA ниже.

https://www.youtube.com/watch?v=WYujLePQwB8