Control de drones a través de la visión directa

Investigadores de China han desarrollado un nuevo algoritmo que puede permitir el control de vuelo de drones interpretando directamente la visión del usuario. En efecto, el operador humano “se convierte” en el drone y guía su trayectoria en función de la dirección de la mirada del usuario.

La perspectiva del usuario se ve en la parte inferior izquierda, con la trayectoria de vuelo del drone capturada externamente por un dispositivo de sombra. Ver video al final del artículo para ver la secuencia completa. Fuente: https://www.youtube.com/watch?v=WYujLePQwB8

El artículo se llama GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, y proviene de investigadores del Instituto de Sistemas y Control Cibernéticos de la Universidad de Zhejiang, y de la Escuela de Automatización del Instituto de Tecnología de Nankín. Los investigadores también han publicado un video que demuestra las capacidades del sistema (ver al final del artículo).

Más allá del control abstracto

Los investigadores buscan eliminar la capa de abstracción para el control de drones, argumentando que las unidades de control secundarias requieren entrenamiento y son solo una aproximación burda de la intención del usuario, lo que lleva a maniobras impredecibles y malinterpretación de los movimientos de orientación.

Un artículo publicado anteriormente en el año, por los mismos investigadores, enfatizó la importancia de la visibilidad en la línea de visión en la navegación de drones, y el trabajo actual es una continuación de los hallazgos de esa investigación.

Arriba, un compuesto de la trayectoria del laboratorio de pruebas de drones ‘curso de asalto’ (ver video al final para pruebas en un entorno abierto natural). Abajo, el operador lleva un rastreador de ojos que alimenta la vista directa de la cámara delantera del drone cuadricóptero (abajo a la derecha). Fuente: https://arxiv.org/pdf/2109.04907.pdf

Algoritmo

GPA utiliza un optimizador de back-end que refina la mirada del usuario en la ruta óptima más segura, equivalente a ‘puntería automática’ en videojuegos, con un retraso prácticamente cero (por razones obvias).

Los módulos de subsistema de UAV se instalan directamente en el drone, incluyendo instalaciones para estimación de estado, planificación, mapeo y módulos de control. El sistema local recibe datos de la mirada del usuario de una unidad de un solo ojo montada en un arnés llevado por el usuario final, que suministra una ruta topológica inicial, que el sistema debe sanitizar sobre la marcha.

Para crear una experiencia coherente para el controlador remoto, la vista en monocromo que recibe el usuario se centra automáticamente por el sistema del drone, no menos porque sin esto sería difícil interpretar nuevas desviaciones de ruta (indicadas por un cambio en la dirección de la mirada).

El sistema primero analiza las coordenadas vectoriales estimadas de la secuencia de imágenes. Dado que la entrada de video del sistema de los investigadores es actualmente monocular, el límite de percepción de profundidad de la cámara se utiliza para obtener un segundo vector (de profundidad) que se impone en el vector 2D derivado de la imagen. En teoría, iteraciones posteriores podrían utilizar cámaras estereoscópicas para mejorar esta canalización, aunque queda por ver si la sobrecarga de procesamiento adicional dejaría intacto el beneficio de la percepción 3D basada en hardware.

En cualquier caso, con los valores 3D obtenidos, el cálculo se utiliza como origen para una búsqueda en anchura (BFS). Los píxeles que de otro modo serían obviados por BFS (es decir, píxeles identificados como ya dentro de los límites) se utilizan como punto de anclaje para clustering DBSCAN (si no ya se ha agrupado), y la rutina vuelve a la evaluación BFS desde el último punto de interrupción.

La arquitectura de GPA.

El proceso se repite hasta que se identifica y etiqueta un objeto dentro de los parámetros de margen correspondientes a un campo de visión (FOV – que, en este caso, debe estar absolutamente claro para evitar colisiones).

Finalmente, los cálculos vectoriales se utilizan para generar rutas claras, o para validar que la dirección de la mirada del usuario ya es una ruta segura a través o alrededor de un obstáculo.

Pruebas donde el sistema ignora la visibilidad (izquierda) y donde la trayectoria se recalcula para considerar la visibilidad como crítica para una ruta de vuelo (derecha).

Pruebas

Para probar el sistema de control de drones basado en la mirada, los investigadores chinos utilizaron una serie de voluntarios con cero conocimiento del sistema y sin experiencia en el control de vuelo de drones. A los sujetos se les requirió que navegaran por cursos de obstáculos en entornos cerrados y exteriores con solo tres rutinas de orientación breves con las que familiarizarse con la operación básica del sistema.

Además, después de informar a los voluntarios sobre la topología básica de los obstáculos, los investigadores agregaron ‘obstáculos sorpresa’ que no se incluyeron en la información.

Arriba, las trayectorias del drone cuadricóptero en línea, coloreadas por altura. Abajo, los obstáculos navegables, comenzando con cajas y pasando a anillos.

En la práctica, el sistema fue capaz de corregir efectivamente los datos de la mirada para que los drones utilizados, críticos en el espacio, pudieran pasar por (o a través) los obstáculos en forma de anillo y caja sin colisionar, y los investigadores han concluido que su sistema es intuitivo y seguro, con un margen de seguridad alto en la operación.

Los investigadores también compararon el rendimiento de su enfoque con la arquitectura FocusTrack en el sistema Mavic Air 2, concluyendo que supera a este último al poder medir y actuar sobre la intención precisa del usuario.

La tecnología de seguimiento de ojos ha sido ampliamente investigada en campos como la recopilación de datos de vehículos autónomos para sistemas SDV basados en aprendizaje automático, y en la investigación de los patrones de atención de los pilotos, entre otros sectores. En julio de este año, un equipo de investigación de Bulgaria publicó hallazgos de observaciones de pilotos de vehículos aéreos no tripulados (UAV) que establecieron la etapa de aterrizaje de un vuelo como la más desafiante para los aprendices novatos.

Ver el video oficial de los investigadores para GPA, a continuación.