Localisation d’utilisateurs en intérieur à l’aide de la reconnaissance visuelle de lieux

La reconnaissance visuelle de lieux est l’un des fondements du développement de la vision par ordinateur et de la robotique. La tâche des algorithmes de reconnaissance visuelle de lieux (VPR) est d’identifier les emplacements examinés en fonction d’images. La technologie peut soutenir à la fois les robots autonomes et la main-d’œuvre humaine, en identifiant les alentours et en facilitant l’exécution des actions souhaitées.

Les chercheurs de NeuroSYS utilisent les algorithmes de vision par ordinateur dans le cadre de la plate-forme de réalité augmentée développée, Nsflow, permettant des instructions de travail interactives et une formation pratique pour identifier les positions des utilisateurs lors de la formation sur site. Dans ce cas, l’utilisation de la reconnaissance visuelle de lieux conduit à une accélération significative des processus d’intégration et d’apprentissage en raison d’une réduction du besoin de formation et de supervision préalables.

Localiser une personne ou trouver l’endroit souhaité à l’aide du GPS est déjà une vieille nouvelle. Mais que faire lorsque le système de navigation par satellite est inopérant ? Les systèmes de positionnement intérieur (IPS) viennent à la rescousse.

Lorsque vous cherchez une aiguille dans une botte de foin, vous pouvez utiliser diverses techniques, notamment des balises, un positionnement magnétique, des unités de mesure inertielle (IMU) avec des accéléromètres et des gyroscopes, en mesurant le mouvement à partir du dernier point connu, un positionnement basé sur Wi-Fi ou simplement en utilisant des marqueurs visuels.

Toutes les méthodes ci-dessus ont des défauts (par exemple, la nécessité d’installer des marqueurs ou des balises, l’IMU augmentant l’erreur de mesure avec le temps et nécessitant une répositionnement), qui l’emportent sur leurs avantages. La solution qui répond au problème crucial – la localisation générale de l’utilisateur avec une précision de quelques mètres – se révèle être dans le domaine des algorithmes.

Le processus de reconnaissance de lieux repose sur une procédure en deux étapes, créant deux bases de données. Initialement, l’endroit ciblé est photographié et certains éléments, des points clés, sont marqués par un détecteur de fonctionnalités pour identifier les éléments caractéristiques de la zone. Ensuite, les points étiquetés sont comparés à une image de référence. Une fois que les points clés évalués sont considérés comme suffisamment similaires par un appariement de fonctionnalités, l’image est qualifiée comme montrant le même endroit.

La base de données d’images combine des images d’endroits ciblés, dans ce cas, des espaces de travail, et un ensemble de leurs propriétés, y compris des identificateurs uniques, suivis de descripteurs locaux et globaux. L’autre ensemble, la base de données de pièces, met en correspondance des points clés avec certaines zones dans l’espace considéré.

En utilisant SuperPoint, SuperGlue et netVLAD, des réseaux neuronaux de la reconnaissance visuelle de lieux, les chercheurs ont utilisé le processus ci-dessus dans la localisation des utilisateurs. Les réseaux neuronaux profonds, SuperPoint et SuperGlue, coopèrent dans la détection et l’appariement de fonctionnalités, en extrayant des informations à partir des bases de données.

Les descripteurs globaux entrent en scène

Le processus nécessite des descripteurs globaux, servant de vecteurs distinguant l’endroit, en identifiant les zones de manière à présenter aucune ambiguïté. Pour remplir leur rôle, les vecteurs doivent être indépendants de l’éclairage et du point de vue – peu importe la perspective et les conditions d’éclairage, les descripteurs globaux ne doivent laisser aucun doute lors de la distinction des endroits dans différentes images.

En outre, les objets variables présents dans la zone d’intérêt ne doivent pas être liés aux descripteurs globaux en tant que fonctionnalités distinguant les endroits. Des éléments comme les meubles et les équipements sont sujets à des changements (réaménagement, démontage), ce qui signifie qu’ils ne peuvent pas définir des zones par leur présence.

La reconnaissance de lieux basée sur la vision par ordinateur repose sur des éléments permanents des endroits examinés, comme les portes, les fenêtres, les escaliers et d’autres éléments distinctifs de nature durable. Lors de la recherche en question, le réseau neuronal profond NetVLAD a été utilisé pour les calculs, présentant, en résultat, des vecteurs répondant aux exigences établies. Dans le processus d’appariement des descripteurs globaux, les images des vecteurs les plus similaires sont traitées, suivies de calculs de distance entre chaque point d’ancrage caractéristique.

Lors du traitement de deux bases de données – la base de données de pièces et l’autre contenant des points clés et des descripteurs globaux – le système traite les attributs des images. Après avoir effectué l’estimation des similarités et des distances les plus courtes, le deuxième réseau neuronal, SuperGlue, identifie les images de localisation. Le système utilisant la reconnaissance visuelle de lieux permet la localisation des utilisateurs en fonction, en bref, du nombre de points clés correspondants.

Les algorithmes ont trouvé une application dans la plate-forme d’IA et de RA, aidant les utilisateurs à effectuer une formation équipés de lunettes intelligentes. La reconnaissance visuelle de lieux permet la localisation des stagiaires sur le lieu de travail, en lançant des didacticiels et des guides appropriés assignés à des endroits particuliers, améliorant la sécurité et réduisant le besoin de supervision directe.

Projet cofinancé par des fonds de l’Union européenne dans le cadre du programme opérationnel de croissance intelligente, en tant que partie du Centre national pour la recherche et le développement : Fast Track.