Indendørs brugeralokalisering ved hjælp af visuel stedgenkendelse

Visuel stedgenkendelse er en af hjørnestenene i computer vision-udvikling og robotteknologi. VPR-algoritmerne har til opgave at identificere undersøgte lokationer på baggrund af billeder. Teknologien kan understøtte både autonome robotter og det menneskelige arbejdskraft på samme måde, ved at identificere omgivelserne og lette udførelsen af ønskede handlinger.

Forskere hos NeuroSYS anvender computer vision-algoritmer som en del af den udviklede AR-platform, Nsflow, der muliggør interaktive arbejdsvejledninger og praktisk træning til at identificere brugerpositioner under på-site-træning. I dette tilfælde fører brugen af VPR til en betydelig acceleration af onboarding- og læringsprocesser på grund af en reduceret behov for forudgående træning og tilsyn.

At lokalisere en person eller finde det ønskede sted ved hjælp af GPS er gammel nyhed allerede. Men hvad gør man, når det satellitbaserede navigationssystem er udygtigt? Indendørs positionssystemer (IPS) kommer til undsætning.

Når man søger efter en nål i en høstak, kan man anvende forskellige teknikker, herunder beaconer, magnetisk positionering, inertial måleenheder (IMU) med accelerometre og gyroskoper, der måler bevægelse fra det sidst kendte punkt, wi-fi-baseret positionering eller blot – anvende visuelle markører.

Alle ovennævnte metoder har deres fejl (f.eks. behov for at installere markører eller beaconer, IMU øger fejlen i målingen over tid og kræver ompositionering), hvilket overvæger deres fordele. Løsningen på det kritiske problem – generel brugerlokation med nøjagtighed til det nærmeste få meter – viser sig at være inden for algoritmerne.

Processen med at genkende steder afhænger af en to-trinsproces, der opretter to databaser. Først fotograferes målstedet og visse genstande, nøglepunkter, markeres af en funktionssøger for at identificere karakteristiske elementer i området. Efterfølgende sammenlignes de markerede punkter med et referencebillede. Når de vurderede nøglepunkter anses for tilstrækkeligt lignende af en funktionssøger, kvalificerer billedet sig til at vise det samme sted.

Billed-databasen kombinerer billeder af målsteder, i dette tilfælde arbejdspladser, og en samling af deres egenskaber, herunder unikke identifikatorer, efterfulgt af lokale og globale beskrivelser. Den anden samling, rum-databasen, matcher enkeltstående nøglepunkter med bestemte områder i det overvejede rum.

Ved hjælp af SuperPoint, SuperGlue og netVLAD neurale netværk fra visuel stedgenkendelsesfeltet anvendte forskerne ovennævnte proces i brugerlokalisering. De dybe neurale netværk, SuperPoint og SuperGlue, samarbejder om funktionssøgning og matching, hvorved de udtrækker information fra databaserne.

De globale beskrivelser træder på scenen

Processen kræver globale beskrivelser, der fungerer som vektorer, der adskiller stederne, og som identificerer områder på en måde, der ikke giver anledning til tvivl. For at opfylde deres rolle skal vektorerne være uafhængige af belysning og synsvinkel – uanset perspektiv og lysforhold skal de globale beskrivelser ikke give anledning til tvivl, når de adskiller steder i forskellige billeder.

Derudover skal variable objekter, der er til stede i det interessante område, ikke være bundet af globale beskrivelser som funktioner, der adskiller steder. Genstande som møbler og udstyr er udsat for ændringer (omdekoration, demontering), hvilket betyder, at de ikke kan definere områder gennem deres tilstedeværelse.

Computer-vision-drevet stedgenkendelse afhænger af permanente elementer i de undersøgte lokationer, som døre, vinduer, trapper og andre karakteristiske genstande af langvarig natur. Under den pågældende forskning blev det dybe neurale netværk NetVLAD anvendt til beregninger, hvilket resulterede i vektorer, der opfylder de fastsatte krav. I processen med global beskrivelsesmatching behandles billeder af de mest lignende vektorer, efterfulgt af beregning af afstand mellem hver karakteristisk anchor-punkt.

Når systemet behandler to databaser – rum-databasen og den anden, der indeholder nøglepunkter og globale beskrivelser –, beskæftiger systemet sig med attributter af billeder. Efter at have udført lignelser og korteste afstandsbedømmelser identificerer det andet neurale netværk, SuperGlue, lokationsbilleder. Systemet, der anvender VPR, muliggør brugerlokalisering baseret, kort sagt, på antallet af matchende nøglepunkter.

Algoritmerne fandt anvendelse i AI- & AR-platformen, der hjælper brugere med at udføre træning udstyret med smarte briller. VPR muliggør lokaliseringsmuligheder for trænere på arbejdspladsen, starter relevante vejledninger og guider tilknyttet bestemte punkter, forbedrer sikkerheden og reducerer behovet for direkte tilsyn.

Projektet er medfinansieret af Den Europæiske Unions midler under Den Europæiske Regionaludviklingsfond som en del af Smart Growth-operationsprogrammet. Projektet er gennemført som en del af Det Nationale Forsknings- og Udviklingscenter: Fast Track.