Contrôler les drones par vision directe

Les chercheurs de Chine ont développé un nouvel algorithme qui permet de contrôler le vol d’un drone en interprétant directement la vision de l’utilisateur. En effet, l’opérateur humain « devient » le drone et guide sa trajectoire en fonction de la direction du regard de l’utilisateur.

Le point de vue de l’utilisateur est visible en bas à gauche, avec la trajectoire de vol du drone capturée à l’extérieur par un dispositif d’ombre. Voir la vidéo à la fin de l’article pour une séquence complète. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Le document s’intitule GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, et provient de chercheurs de l’Institut de cyber-systèmes et de contrôle de l’Université de Zhejiang, et de l’École d’automatisation de l’Institut de technologie de Nanjing. Les chercheurs ont également publié une vidéo aujourd’hui démontrant les capacités du système (voir fin de l’article).

Au-delà du contrôle abstrait

Les chercheurs cherchent à supprimer la couche d’abstraction pour le contrôle des drones, en argumentant que les unités de contrôle secondaires nécessitent une formation et ne sont qu’une approximation grossière de l’intention de l’utilisateur, ce qui conduit à des manœuvres imprévisibles et à des interprétations erronées des mouvements de guidage.

Un document publié plus tôt dans l’année, par les mêmes chercheurs, a souligné l’importance de la visibilité de la ligne de vue dans la navigation des drones, et le travail actuel est une extension des résultats de cette recherche.

Au-dessus, une composition de la trajectoire du laboratoire de tests de drones ‘parcours d’obstacles’ (voir vidéo à la fin pour des tests à l’extérieur dans un environnement ouvert naturel). En bas, l’opérateur porte un dispositif de suivi des yeux qui transmet la vue directe de la caméra avant du drone quadrirotor (en bas à droite). Source: https://arxiv.org/pdf/2109.04907.pdf

Algorithme

GPA utilise un optimiseur de back-end qui affine la vision de l’utilisateur en un chemin optimal le plus sûr, équivalent à ‘auto-prise de vue’ dans les jeux vidéo, avec un retard pratiquement nul (pour des raisons évidentes).

Les modules sous-systèmes UAV sont installés directement dans le drone, y compris les installations pour l’estimation de l’état, la planification, la cartographie et les modules de contrôle. Le système local reçoit les données de suivi des yeux d’une unité à œil unique montée dans un harnais porté par l’utilisateur, qui fournit un chemin topologique initial, que le système doit nettoyer en temps réel.

Pour créer une expérience cohérente pour le contrôleur à distance, la vue monochrome que reçoit l’utilisateur est auto-centrée par le système de drone embarqué, ne serait-ce que parce que sans cela, il serait difficile d’interpréter les nouvelles déviations de trajectoire (comme indiqué par un changement de direction du regard).

Le système analyse d’abord les coordonnées vectorielles estimées à partir du flux d’images. Puisque la saisie vidéo du système des chercheurs est actuellement monocular, la limite de profondeur de perception de la caméra est utilisée pour obtenir un second vecteur (de profondeur) qui est imposé sur le vecteur 2D dérivé de l’image. En théorie, les itérations ultérieures pourraient utiliser des caméras stéréo pour améliorer ce pipeline, bien qu’il reste à voir si le surcoût de traitement supplémentaire laisserait intact le bénéfice de la perception 3D basée sur le matériel.

Dans tous les cas, avec les valeurs 3D obtenues, le calcul est utilisé comme origine pour une recherche en largeur première (BFS). Les pixels qui seraient autrement éliminés par la BFS (c’est-à-dire les pixels identifiés comme déjà dans les limites) sont utilisés comme point d’ancrage pour le regroupement DBSCAN (si ce n’est déjà fait), et la routine revient à l’évaluation BFS à partir du dernier point de rupture.

L’architecture de GPA.

Le processus itère jusqu’à ce qu’un objet soit identifié et étiqueté dans les paramètres de marge correspondant à un champ de vision (FOV – qui, dans ce cas, doit être absolument clair pour éviter les collisions).

Enfin, les calculs vectoriels sont utilisés pour générer des chemins clairs, ou pour valider que la direction du regard de l’utilisateur est déjà un chemin sûr à travers ou au-delà d’un obstacle.

Tests où le système ignore la visibilité (gauche) et où la trajectoire est recalculée pour tenir compte de la visibilité comme critique pour un chemin de vol (droite).

Tests

Pour tester le système de contrôle de drone basé sur le regard, les chercheurs chinois ont utilisé une série de volontaires sans connaissance du système et sans expérience dans le contrôle de vol de drone. Les sujets ont dû naviguer des parcours d’obstacles dans des environnements fermés et extérieurs avec seulement trois brèves routines d’orientation pour se familiariser avec le fonctionnement de base du système.

En outre, après avoir briefé les volontaires sur la topologie de base des obstacles, les chercheurs ont ajouté des ‘obstacles de surprise’ non inclus dans la briefe.

Au-dessus, les trajectoires du drone quadrirotor en ligne, colorées par hauteur. En bas, les obstacles navigables, commençant par des boîtes et se terminant par des anneaux.

En pratique, le système a pu corriger efficacement les données de regard pour que les drones utilisés puissent passer à côté (ou à travers) les obstacles en forme d’anneau et de boîte sans collision, et les chercheurs ont conclu que leur système est à la fois intuitif et sûr, avec une marge de sécurité élevée en exploitation.

Les chercheurs ont également comparé les performances de leur approche à l’architecture FocusTrack du système Mavic Air 2, concluant qu’il surpasse cette dernière en étant capable de mesurer et d’agir sur l’intention précise de l’utilisateur.

La technologie de suivi des yeux a été largement étudiée dans des domaines tels que la collecte de données de véhicules autonomes pour les systèmes SDV basés sur l’apprentissage automatique, et dans la recherche sur les modèles d’attention des pilotes, entre autres secteurs. En juillet de cette année, une équipe de recherche de Bulgarie a publié des résultats d’observations de pilotes de véhicules aériens sans pilote (UAV) qui ont établi que la phase d’atterrissage d’un vol est la plus difficile pour les débutants.

Voir la vidéo officielle des chercheurs pour GPA, ci-dessous.