Localización de usuarios en interiores utilizando reconocimiento visual de lugares

El reconocimiento visual de lugares es uno de los pilares del desarrollo de visión por computadora y robótica. La tarea de los algoritmos de VPR es identificar lugares examinados en función de imágenes. La tecnología puede apoyar a robots autónomos y a la fuerza laboral humana, identificando los alrededores y facilitando la ejecución de acciones deseables.

Los investigadores de NeuroSYS utilizan algoritmos de visión por computadora como parte de la plataforma de AR desarrollada, Nsflow, permitiendo instrucciones de trabajo interactivas y capacitación práctica para identificar las posiciones de los usuarios mientras se someten a capacitación en el sitio. En este caso, el uso de VPR conduce a una aceleración significativa de los procesos de incorporación y aprendizaje debido a la reducción de la necesidad de capacitación y supervisión previas.

Localizar a una persona o encontrar el lugar deseado utilizando GPS es ya una noticia antigua. Pero, ¿qué hacer cuando el sistema de navegación basado en satélites no es operativo? Los sistemas de posicionamiento interior (IPS) vienen al rescate.

Al buscar una aguja en un pajar, se pueden utilizar varias técnicas, incluyendo balizas, posicionamiento magnético, unidades de medición inercial (IMU) con acelerómetros y giroscopios, medición del movimiento desde el último punto conocido, posicionamiento basado en Wi-Fi o simplemente utilizar marcadores visuales.

Todos los métodos anteriores tienen defectos (por ejemplo, la necesidad de instalar marcadores o balizas, IMU aumenta el error de medición con el tiempo y requiere reposicionamiento), que superan sus beneficios. La solución que responde al problema crucial – la ubicación general del usuario con precisión de unos pocos metros – resulta estar dentro del ámbito de los algoritmos.

El proceso de reconocimiento de lugares se basa en un procedimiento de dos pasos, creando dos bases de datos. Inicialmente, el lugar objetivo se fotografía y ciertos elementos, puntos clave, se marcan con un detector de características para identificar elementos característicos del área. Después, los puntos etiquetados se comparan con una imagen de referencia. Una vez que los puntos clave evaluados se consideran lo suficientemente similares por un emparejador de características, la imagen califica como mostrando el mismo lugar.

La base de datos de imágenes combina imágenes de lugares objetivo, en este caso, espacios de trabajo, y un conjunto de sus propiedades, incluyendo identificadores únicos, seguidos de descriptores locales y globales. El otro conjunto, la base de datos de habitaciones, empareja puntos clave individuales con ciertas áreas en el espacio considerado.

Utilizando SuperPoint, SuperGlue y netVLAD, redes neuronales del campo del reconocimiento visual de lugares, los investigadores utilizaron el proceso anterior en la localización de usuarios. Las redes neuronales profundas, SuperPoint y SuperGlue, cooperan en la detección de características y emparejamiento, extrayendo información de las bases de datos.

Los descriptores globales entran en escena

El proceso requiere descriptores globales, que sirven como vectores que distinguen el lugar, identificando áreas de manera que no presenten ambigüedades. Para cumplir su función, los vectores deben ser independientes de la iluminación y el punto de vista – sin importar la perspectiva y las condiciones de iluminación, los descriptores globales no deben dejar duda al distinguir lugares en diferentes imágenes.

Además, los objetos variables presentes en el área de interés no deben estar vinculados a los descriptores globales como características que distinguen lugares. Elementos como muebles y equipo están sujetos a cambios (redecoración, desmontaje), lo que significa que no pueden definir áreas a través de su presencia.

El reconocimiento de lugares basado en visión por computadora se basa en elementos permanentes de los lugares examinados, como puertas, ventanas, escaleras y otros elementos distintivos de naturaleza duradera. Durante la investigación en cuestión, se utilizó la red neuronal profunda NetVLAD para los cálculos, presentando, como resultado, vectores que cumplen con los requisitos establecidos. En el proceso de emparejamiento de descriptores globales, se procesan imágenes de los vectores más similares, siguiendo cálculos de distancia entre cada punto de anclaje característico.

Al procesar dos bases de datos – la base de datos de habitaciones y la otra, que contiene puntos clave y descriptores globales – el sistema se ocupa de los atributos de las imágenes. Después de realizar estimaciones de similitudes y distancias más cortas, la segunda red neuronal, SuperGlue, identifica imágenes de lugares. El sistema que utiliza VPR permite la localización de usuarios basada, en resumen, en la cantidad de puntos clave coincidentes.

Los algoritmos encontraron aplicación en la plataforma de AI y AR, ayudando a los usuarios a realizar capacitación equipados con gafas inteligentes. VPR permite la localización de los trainees en el lugar de trabajo, lanzando tutoriales y guías adecuados asignados a lugares específicos, mejorando la seguridad y reduciendo la necesidad de supervisión directa.

Proyecto cofinanciado por fondos de la Unión Europea en el marco del Programa Operativo de Crecimiento Inteligente. Proyecto implementado como parte del Centro Nacional de Investigación y Desarrollo: Fast Track.