Localização de Usuário Indoor Usando Reconhecimento de Lugares Visuais

O reconhecimento de lugares visuais é um dos pilares do desenvolvimento de visão computacional e robótica. A tarefa dos algoritmos de VPR é identificar locais examinados com base em imagens. A tecnologia pode apoiar robôs autônomos e a força de trabalho humana, identificando arredores e facilitando a execução de ações desejadas.

Pesquisadores da NeuroSYS utilizam algoritmos de visão computacional como parte da plataforma de AR desenvolvida, Nsflow, permitindo instruções de trabalho interativas e treinamento prático para identificar posições de usuários durante treinamento no local. Nesse caso, o uso de VPR leva a uma aceleração significativa dos processos de integração e aprendizado devido à redução da necessidade de treinamento e supervisão prévios.

Localizar uma pessoa ou encontrar o lugar desejado usando GPS é notícia velha. Mas o que fazer quando o sistema de navegação baseado em satélite está inoperante? Os sistemas de posicionamento indoor (IPS) vêm em socorro.

Quando se procura uma agulha no palheiro, pode-se utilizar várias técnicas, incluindo beacons, posicionamento magnético, unidades de medição inercial (IMU) com acelerômetros e giroscópios, medindo o movimento a partir do último ponto conhecido, posicionamento baseado em wi-fi ou simplesmente – utilizar marcadores visuais.

Todos os métodos acima têm suas falhas (por exemplo, a necessidade de instalar marcadores ou beacons, IMU aumentando o erro de medição com o tempo e exigindo repositionamento), superando seus benefícios. A solução que responde ao problema crucial – a localização geral do usuário com precisão de alguns metros – se revela estar dentro do escopo dos algoritmos.

O processo de reconhecimento de lugares depende de um procedimento de duas etapas, criando dois bancos de dados. Inicialmente, o local alvo é fotografado e certos itens, keypoints, são marcados por um detector de recursos para identificar elementos característicos da área. Posteriormente, os pontos rotulados são comparados a uma imagem de referência. Uma vez que os keypoints avaliados sejam considerados suficientemente semelhantes por um matcher de recursos, a imagem se qualifica como mostrando o mesmo lugar.

O banco de dados de imagens combina imagens de locais alvo, neste caso, ambientes de trabalho, e um conjunto de suas propriedades, incluindo identificadores únicos, seguidos por descritores locais e globais. O outro conjunto, o banco de dados de salas, associa keypoints singulares a certas áreas no espaço considerado.

Utilizando SuperPoint, SuperGlue e redes neurais netVLAD do campo de reconhecimento de lugares visuais, os pesquisadores utilizaram o processo acima na localização de usuários. As redes neurais profundas, SuperPoint e SuperGlue, cooperam na detecção e correspondência de recursos, extraíndo informações dos bancos de dados.

Os descritores globais entram em cena

O processo exige descritores globais, que servem como vetores que distinguem o lugar, identificando áreas de maneira que não apresente ambiguidades. Para cumprir seu papel, os vetores devem ser independentes de iluminação e ponto de vista – não importa a perspectiva e as condições de iluminação, os descritores globais não devem deixar dúvidas ao distinguir lugares em diferentes imagens.

Além disso, objetos variáveis presentes na área de interesse não devem ser vinculados por descritores globais como recursos que distinguem lugares. Itens como mobiliário e equipamentos estão sujeitos a mudanças (redecoração, desmontagem), significando que não podem definir áreas por meio de sua presença.

O reconhecimento de lugares impulsionado por visão computacional reconhecimento de lugares depende de elementos permanentes dos locais examinados, como portas, janelas, escadas e outros itens distintivos de natureza duradoura. Durante a pesquisa em questão, a rede neural profunda NetVLAD foi utilizada para cálculos, apresentando, como resultado, vetores que atendem aos requisitos estabelecidos. No processo de correspondência de descritores globais, imagens dos vetores mais semelhantes são processadas, seguindo cálculos da distância entre cada ponto de âncora característico.

Ao processar dois bancos de dados – o banco de dados de salas e o outro, contendo keypoints e descritores globais – o sistema lida com atributos de imagens. Após realizar a estimativa de semelhanças e distâncias mais curtas, a segunda rede neural, SuperGlue, identifica imagens de locais. O sistema que utiliza VPR permite a localização de usuários com base, em resumo, no número de keypoints correspondentes.

Os algoritmos encontraram aplicação na plataforma de IA e AR, ajudando usuários a realizar treinamento equipados com óculos inteligentes. O VPR permite a localização de treinados no local de trabalho, iniciando tutoriais e guias apropriados atribuídos a pontos específicos, melhorando a segurança e reduzindo a necessidade de supervisão direta.

Projeto cofinanciado por fundos da União Europeia no âmbito do Programa Operacional de Crescimento Inteligente. Projeto implementado como parte do Centro Nacional de Pesquisa e Desenvolvimento: Fast Track.