Controle de Drones por Visão Direta

Pesquisadores da China desenvolveram um novo algoritmo que pode permitir o controle de voos de drones por meio da interpretação direta da visão do usuário. Efetivamente, o operador humano “se torna” o drone e guia sua trajetória com base na direção do olhar do usuário.

A visão do usuário é vista embaixo à esquerda, com o caminho de voo do drone capturado externamente por um dispositivo de sombra. Veja o vídeo no final do artigo para footage em movimento completo. Source: https://www.youtube.com/watch?v=WYujLePQwB8

O artigo é chamado GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, e vem de pesquisadores do Instituto de Sistemas Cibernéticos e Controle da Universidade de Zhejiang, e da Escola de Automação do Instituto de Tecnologia de Nanjing. Os pesquisadores também lançaram um vídeo hoje demonstrando as capacidades do sistema (veja o final do artigo).

Além do Controle Abstrato

Os pesquisadores estão buscando remover a camada de abstração para o controle de drones, argumentando que unidades de controle secundárias exigem treinamento e são apenas uma abstração aproximada da intenção do usuário, levando a manobras imprevisíveis e interpretações erradas dos movimentos de orientação.

Um artigo anterior no ano, dos mesmos pesquisadores, enfatizou a importância da visibilidade da linha de visão na navegação de drones, e o trabalho atual é um desenvolvimento dos resultados daquela pesquisa.

Acima, um composto da trajetória do laboratório de testes de drones ‘curso de assalto’ (veja vídeo no final para testes externos em um ambiente aberto natural). Embaixo, o operador usa um rastreador de olhos que alimenta a visão direta da câmera frontal do drone quadrotor (embaixo à direita). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritmo

O GPA usa um otimizador de back-end que refina a visão do usuário no caminho ótimo mais seguro, equivalente a ‘auto-objetivo’ em jogos de vídeo, com latência praticamente zero (por razões óbvias).

Os módulos do subsistema de UAV são instalados diretamente no drone, incluindo instalações para estimativa de estado, planejamento, mapeamento e módulos de controle. O sistema local recebe dados de olhar do usuário de uma unidade de olho único montada em um harness de cabeça pelo usuário final, que fornece um caminho topológico inicial, que o sistema deve sanitizar em tempo real.

Para criar uma experiência coerente para o controlador remoto, a visão em preto e branco que o usuário recebe é centralizada automaticamente pelo sistema de drone a bordo, não menos porque sem isso seria difícil interpretar novas desvios de rota pretendidos (indicados por uma mudança de direção de olhar).

O sistema primeiro analisa as coordenadas de vetor estimadas do fluxo de imagem. Como a entrada de vídeo do sistema dos pesquisadores é atualmente monocular, a fronteira de percepção de profundidade da câmera é usada para obter um segundo (profundidade) vetor que é imposto ao vetor 2D derivado da imagem. Em teoria, iterações posteriores poderiam usar câmeras estéreo para melhorar esse pipeline, embora reste ser visto se o processamento adicional de sobrecarga deixaria o benefício da percepção 3D baseada em hardware intacto.

Em qualquer caso, com os valores 3D obtidos, o cálculo é usado como origem para uma Busca em Largura (BFS). Pixels que seriam obviados pela BFS (i.e. pixels identificados como já dentro dos limites) são usados como o ponto de âncora para agrupamento DBSCAN (se não já agrupados), e a rotina reverte para a avaliação BFS a partir do último ponto de interrupção.

A arquitetura do GPA.

O processo itera até que um objeto seja identificado e rotulado dentro de parâmetros de margem correspondentes a um campo de visão (FOV – que, neste caso, deve ser absolutamente claro para evitar colisões).

Finalmente, os cálculos de vetor são usados para gerar caminhos claros, ou para validar que a direção do olhar do usuário já é um caminho seguro através ou além de um obstáculo.

Testes onde o sistema ignora a visibilidade (esquerda) e onde a trajetória é recalculada para considerar a visibilidade como crítica para um caminho de voo (direita).

Testes

Para testar o sistema de controle de drones baseado em olhar, os pesquisadores chineses usaram uma série de voluntários com zero conhecimento do sistema e sem experiência em controle de voo de drones. Os voluntários foram solicitados a navegar por cursos de obstáculos em ambientes fechados e externos com apenas três rotinas de orientação breves para se familiarizar com a operação básica do sistema.

Além disso, tendo informado os voluntários sobre a topologia básica dos obstáculos, os pesquisadores adicionaram ‘obstáculos surpresa’ não incluídos na orientação.

Acima, as trajetórias do drone quadrotor online, coloridas por altura. Abaixo, os obstáculos navegáveis, começando com caixas e movendo-se para anéis.

Na prática, o sistema foi capaz de corrigir efetivamente os dados de olhar para que os drones usados fossem capazes de passar por (ou através) os obstáculos em forma de anel e caixa sem colisão, e os pesquisadores concluíram que seu sistema é tanto intuitivo quanto seguro, com uma margem de segurança alta em operação.

Os pesquisadores também compararam o desempenho de sua abordagem com a arquitetura FocusTrack no sistema Mavic Air 2, concluindo que supera a última ao ser capaz de medir e agir sobre a intenção precisa do usuário.

Tecnologia de rastreamento de olhos tem sido extensivamente pesquisada em campos como coleta de dados de veículos autônomos para sistemas de aprendizado de máquina baseados em SDV, e em pesquisas sobre os padrões de atenção de pilotos, entre outros setores. Em julho deste ano, uma equipe de pesquisa da Bulgária publicou resultados de observações de pilotos de Veículos Aéreos Não Tripulados (UAV) que estabeleceram a fase de aterrissagem de um voo como a mais desafiadora para aprendizes iniciantes.

Veja o vídeo oficial dos pesquisadores para GPA, abaixo.