Lokalisering av användare inomhus med visuell platsigenkänning

Visuell platsigenkänning är en av hörnstenarna i utveckling av datorsyn och robotik. VPR-algoritmernas uppgift är att identifiera undersökta platser utifrån bilder. Tekniken kan stödja både autonoma robotar och den mänskliga arbetskraften, identifiera omgivningar och underlätta utförandet av önskade åtgärder.

Forskare på NeuroSYS använder datorseendealgoritmer som en del av den utvecklade AR-plattformen, Nsflow, vilket möjliggör interaktiva arbetsinstruktioner och praktisk utbildning för att identifiera användarpositioner samtidigt som man genomgår utbildning på plats. I detta fall leder användningen av VPR till en betydande acceleration av onboarding- och inlärningsprocesser på grund av ett minskat behov av förhandsutbildning och handledning.

Att lokalisera en person eller hitta den önskade platsen med hjälp av GPS är redan gamla nyheter. Men vad ska man göra när det satellitbaserade navigationssystemet inte fungerar? Inomhuspositioneringssystem (IPS) kommer till undsättning. 

När du letar efter en nål i en höstack kan du använda dig av olika tekniker, inklusive beacons, magnetisk positionering, tröghetsmätenheter (IMU) med accelerometrar och gyroskop, mätning av rörelse från den senast kända punkten, wi-fi-baserad positionering, eller helt enkelt – använd visuella markörer. 

Alla ovanstående metoder har sina brister (t.ex. behovet av att installera markörer eller beacons, IMU ökar mätfelet över tid och kräver ompositionering), som uppväger deras fördelar. Lösningen som svarar på det avgörande problemet – allmän användares vistelseort med noggrannhet till närmaste några meter – visar sig ligga inom algoritmernas ansvarsområde. 

Ocuco-landskapet processen att känna igen platser bygger på en tvåstegsprocedur som skapar två databaser. Inledningsvis fotograferas målplatsen och vissa föremål, nyckelpunkter, markeras av en funktionsdetektor för att identifiera karakteristiska delar av området. Efteråt jämförs de märkta punkterna med en referensbild. När de bedömda nyckelpunkterna bedöms vara tillräckligt lika av en funktionsmatchare, kvalificerar bilden sig som att visa samma plats. 

Ocuco-landskapet bilddatabas kombinerar bilder av målplatser, i det här fallet, arbetsytor, och en uppsättning av deras egenskaper inklusive unika identifierare, följt av lokala och globala beskrivningar. Den andra uppsättningen, den rumsdatabas, matchar singulära nyckelpunkter med vissa områden i det betraktade utrymmet. 

Med hjälp av SuperPoint, SuperGlue och netVLAD neurala nätverk från det visuella platsigenkänningsfältet, använde forskare ovanstående process i användarlokalisering. De djupa neurala nätverken, SuperPoint och SuperGlue, samarbetar i funktionsdetektering och matchning och extraherar information från databaserna. 

De globala deskriptorerna kommer in på scenen

Processen kräver globala deskriptorer, som fungerar som vektorer som särskiljer platsen, identifierar områden på ett sätt som inte uppvisar några oklarheter. För att uppfylla sin roll bör vektorerna vara belysnings- och synvinkelagnostiska – oavsett perspektiv och ljusförhållanden bör de globala deskriptorerna inte lämna några tvivel när de särskiljer platser i olika bilder. 

Dessutom bör variabla objekt som finns i området av intresse inte vara bundna av globala deskriptorer som egenskaper som särskiljer platser. Föremål som möbler och utrustning är benägna att förändras (ominredning, demontering), vilket innebär att de inte kan definiera områden genom sin närvaro. 

Datorvisionsdriven platsigenkänning förlitar sig på permanenta delar av undersökta platser, som dörrar, fönster, trappor och andra utmärkande föremål av långvarig natur. Under den aktuella forskningen användes det djupa neurala nätverket NetVLAD för beräkningar och presenterade, som ett resultat, vektorer som uppfyller de uppställda kraven. I processen med global deskriptormatchning bearbetas bilder av de mest lika vektorerna, efter beräkningar av avståndet mellan varje karakteristisk ankarpunkt. 

Vid bearbetning av två databaser – rumsdatabasen och den andra, som innehåller nyckelpunkter och globala deskriptorer – hanterar systemet bilders attribut. Efter att ha utfört likheterna och uppskattningen av kortaste avstånd, identifierar det andra neurala nätverket, SuperGlue, platsbilder. Systemet som använder VPR tillåter användarlokalisering baserat, kort sagt, på antalet matchande nyckelpunkter. 

Algoritmerna hittade applikationen i AI & AR-plattform, vilket hjälper användare att utföra utbildning utrustad med smarta glasögon. VPR möjliggör lokalisering av praktikanter på arbetsplatsen, lanserar lämpliga handledningar och guider tilldelade specifika platser, förbättrar säkerheten och minskar behovet av direkt handledning. 

Projekt medfinansierat från Europeiska unionens fonder under Europeiska regionala utvecklingsfonderna som en del av det operativa programmet för smart tillväxt. Projekt genomfört som en del av Nationellt centrum för forskning och utveckling: Fast Track.