Управление беспилотниками через прямое зрение

Исследователи из Китая разработали новый алгоритм, который позволяет управлять полетом беспилотника,直接 интерпретируя зрение пользователя. По сути, человек-оператор “становится” беспилотником и управляет его траекторией на основе направления взгляда пользователя.

Вид пользователя показан внизу слева, с траекторией полета беспилотника, захваченной внешним устройством. См. видео в конце статьи для полноэкранного просмотра. Источник: https://www.youtube.com/watch?v=WYujLePQwB8

Статья называется GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation и исходит от исследователей Института киберсистем и управления при Университете Чжэцзяна и Школы автоматики Нанкинского технологического института. Исследователи также выпустили видео, демонстрирующее возможности системы (см. конец статьи).

За пределами абстрактного управления

Исследователи стремятся удалить слой абстракции для управления беспилотниками, утверждая, что вторичные устройства управления требуют обучения и являются лишь грубой абстракцией намерения пользователя, что приводит к непредсказуемому маневрированию и неправильной интерпретации движений управления.

Статья, опубликованная ранее в году, теми же исследователями, подчеркивает важность видимости линии горизонта в навигации беспилотников, и текущая работа является развитием результатов этого исследования.

Выше, композитная траектория лабораторного полигона для тестирования беспилотников (см. видео в конце для внешних тестов в естественной открытой среде). Ниже, оператор носит устройство для отслеживания глаз, которое передает прямой вид камеры беспилотника (ниже справа). Источник: https://arxiv.org/pdf/2109.04907.pdf

Алгоритм

GPA использует оптимизатор на заднем плане, который уточняет взгляд пользователя в самый безопасный оптимальный путь, аналогично “авто-прицелу” в видеоиграх, практически с нулевой задержкой (по очевидным причинам).

Модули подсистемы беспилотника установлены直接 в беспилотник, включая средства для оценки состояния, планирования, картографирования и управления. Местная система получает данные о взгляде пользователя от одноглазного устройства, установленного в носимом креплении оператора, которое обеспечивает первоначальный топологический путь, который система должна очистить на лету.

Чтобы создать связный опыт для дистанционного управления, монохромный вид, который получает пользователь, автоматически центрируется бортовой системой беспилотника, не в последнюю очередь потому, что без этого было бы трудно интерпретировать новые намеренные отклонения маршрута (как указано изменением направления взгляда).

Система сначала анализирует оцененные векторные координаты из потока изображений. Поскольку видеовход системы исследователей в настоящее время монохромный, граница глубины восприятия камеры используется для получения второго (глубинного) вектора, который наложен на 2D-вектор, полученный из изображения. В теории, в более поздних итерациях можно использовать стереокамеры для улучшения этого процесса, хотя остается неясным, оставит ли дополнительная нагрузка на обработку выгоду от аппаратного обеспечения 3D-восприятия.

В любом случае, с полученными 3D-значениями, расчет используется как начало для поиска в ширину (BFS). Пиксели, которые в противном случае были бы исключены BFS (т. е. пиксели, идентифицированные как уже в пределах), используются в качестве якорной точки для кластеризации DBSCAN (если не уже сгруппированы), и процедура возвращается к оценке BFS с последней точки разрыва.

Архитектура GPA.

Процесс повторяется до тех пор, пока объект не будет идентифицирован и помечен в пределах параметров поля зрения (FOV – которое, в данном случае, должно быть абсолютно ясным, чтобы избежать столкновений).

Наконец, расчеты векторов используются для генерации четких путей или для проверки того, что направление взгляда пользователя уже является безопасным путем через или мимо препятствия.

Тесты, где система игнорирует видимость (слева) и где траектория пересчитывается с учетом видимости как критического для полета (справа).

Тестирование

Чтобы протестировать систему управления беспилотником на основе взгляда, китайские исследователи использовали серию добровольцев без знаний системы и без опыта управления полетом беспилотников. Участникам было необходимо пройти препятствия в закрытых и внешних средах с только тремя краткими ориентировочными процедурами, чтобы ознакомиться с базовой работой системы.

Кроме того, после того, как участников проинформировали о базовой топологии препятствий, исследователи добавили “сюрприз-препятствия”, не включенные в инструктаж.

Выше, траектории онлайн-беспилотника, окрашенные по высоте. Ниже, проходимые препятствия, начиная с коробок и переходя к кольцам.

На практике система смогла эффективно скорректировать данные о взгляде, чтобы беспилотники, использованные в пространстве, могли проходить (или через) кольцеобразные и коробкообразные препятствия без столкновения, и исследователи пришли к выводу, что их система является одновременно интуитивной и безопасной, с высоким запасом безопасности в работе.

Исследователи также сравнили производительность своего подхода с архитектурой FocusTrack в системе Mavic Air 2, заключив, что он превосходит последнюю, способный оценить и реагировать на точное намерение пользователя.

Технология отслеживания глаз была обширно исследована в таких областях, как сбор данных для автономных транспортных средств на основе машинного обучения и исследование закономерностей внимания пилотов, среди других секторов. В июле этого года исследовательская группа из Болгарии опубликовала результаты наблюдений за пилотами беспилотников, которые установили, что этап посадки является наиболее сложным для начинающих.

Смотрите официальное видео исследователей для GPA ниже.