Innendørs brukerlokalisering ved hjelp av visuell stedsrekognition

Visuell stedsrekognition er en av hjørnestenene i utvikling av datavisjon og robotikk. VPR-algoritmene har som oppgave å identifisere undersøkte steder basert på bilder. Teknologien kan støtte både autonome roboter og menneskelig arbeidskraft, ved å identifisere omgivelser og lette utføringen av ønskede handlinger.

Forskere ved NeuroSYS bruker datavisjonsalgoritmer som en del av den utviklede AR-plattformen, Nsflow, som muliggjør interaktive arbeidsinstruksjoner og praktisk opplæring for å identifisere brukerposisjoner under pågående opplæring på stedet. I dette tilfelle fører bruk av VPR til en betydelig akselerasjon av opplæring og læring prosesser på grunn av redusert behov for tidligere opplæring og tilsyn.

Å finne en person eller et ønsket sted ved hjelp av GPS er gammelt nyheter nå. Men hva gjør man når det satellittbaserte navigasjonssystemet er utilgjengelig? Innendørs posisjoneringssystemer (IPS) kommer til unnsetning.

Når man søker etter en nål i en høystak, kan man bruke ulike teknikker, inkludert beacon, magnetisk posisjonering, inertial måleenheter (IMU) med akselerometer og gyro, måling av bevegelse fra siste kjente punkt, wi-fi-basert posisjonering eller enkelt – utnytte visuelle markører.

Alle ovennevnte metoder har sine feil (f.eks. behov for å installere markører eller beacon, IMU øker feilen i målingen over tid og krever omplassering), som overveier deres fordeler. Løsningen som besvarer det kritiske problemet – generell brukeroppsøking med nøyaktighet på noen få meter – viser seg å være innenfor algoritmene.

Prosessen med å gjenkjenne steder avhenger av en to-trinns prosedyre, som oppretter to databaser. Først fotograferes målstedet og visse elementer, nøkkelepunkter, markeres av en funksjonsdetektor for å identifisere karakteristiske elementer i området. Deretter sammenlignes de merkte punktene med et referansebilde. Når de vurderte nøkkelepunktene anses å være tilstrekkelig like av en funksjonsmatcher, kvalifiserer bildet som viser samme sted.

Bildebasisen kombinerer bilder av målsteder, i dette tilfelle arbeidsplasser, og en samling av deres egenskaper, inkludert unike identifikatorer, etterfulgt av lokale og globale beskrivelser. Den andre samlingen, romdatabasen, matcher enkelt nøkkelepunkter med bestemte områder i det betrakte rommet.

Ved å bruke SuperPoint, SuperGlue og netVLAD neurale nettverk fra visuell stedsrekognisjonsfeltet, brukte forskerne ovennevnte prosess i brukerlokalisering. De dype neurale nettverkene, SuperPoint og SuperGlue, samarbeider i funksjonsdeteksjon og -matching, og trekker informasjon fra databasene.

De globale beskrivelsene kommer på scenen

Prosessen krever globale beskrivelser, som fungerer som vektorer som skiller steder, og identifiserer områder på en måte som presenterer ingen tvetydigheter. For å oppfylle deres rolle, bør vektorene være uavhengige av belysning og synsvinkel – uansett perspektiv og lysforhold, bør de globale beskrivelsene ikke forårsake tvil når de skiller steder i ulike bilder.

I tillegg bør variable objekter som er til stede i området av interesse ikke være bundet av globale beskrivelser som funksjoner som skiller steder. Elementer som møbler og utstyr er utsatt for endringer (omdekorering, demontering), noe som betyr at de ikke kan definere områder gjennom deres tilstedeværelse.

Datavisjonsdrevne stedsrekognition avhenger av permanente elementer i undersøkte steder, som dører, vinduer, trapper og andre karakteristiske elementer av langvarig natur. Under forskningen i question, ble det dype neurale nettverket NetVLAD brukt til beregninger, og presenterte, som resultat, vektorer som oppfylte de fastsatte kravene. I prosessen med global beskrivelsesmatching, prosesseres bilder av de mest like vektorer, etter beregning av avstand mellom hver karakteristisk anchor-punkt.

Når systemet behandler to databaser – romdatabasen og den andre, som inneholder nøkkelepunkter og globale beskrivelser –, behandler systemet attributter av bilder. Etter å ha utført likheter og korteste avstandsestimering, identifiserer det andre neurale nettverket, SuperGlue, lokalisering av bilder. Systemet som bruker VPR muliggjør brukerlokalisering basert, kort sagt, på antall sammenfallende nøkkelepunkter.

Algoritmene fant anvendelse i AI- og AR-plattformen, som hjelper brukerne med å utføre opplæring utstyrt med smarte briller. VPR muliggjør lokalisering av treningsdeltagere på arbeidsplassen, og lanserer relevante tutoriale og veiledninger tilknyttet bestemte steder, forbedrer sikkerheten og reduserer behovet for direkte tilsyn.

Prosjektet er ko-finansiert av Den europeiske union fra Den europeiske regionalutviklingsfond som en del av Smart Growth Operational Programme. Prosjektet er implementert som en del av Nasjonal senter for forskning og utvikling: Fast Track.