Inomhusanvändarlokalisering med visuell platsigenkänning

Visuell platsigenkänning är en av hörnstenarna i utveckling av datorseende och robotik. VPR-algoritmernas uppgift är att identifiera undersökta platser baserat på bilder. Teknologin kan stödja autonoma robotar och den mänskliga arbetsstyrkan, identifiera omgivningar och underlätta utförandet av önskade åtgärder.

Forskare på NeuroSYS använder datorseendealgoritmer som en del av den utvecklade AR-plattformen, Nsflow, som möjliggör interaktiv arbetsinstruktion och praktisk utbildning för att identifiera användarpositioner under pågående utbildning på plats. I detta fall leder användningen av VPR till en betydande acceleration av ombordstigning och läroprocesser på grund av minskat behov av tidigare utbildning och tillsyn.

Att lokalisera en person eller hitta den önskade platsen med GPS är redan gammal nyhet. Men vad ska man göra när det satellitbaserade navigationssystemet inte fungerar? Inomhuspositioneringssystem (IPS) kommer till undsättning.

När man letar efter en nål i en höstack kan man använda olika tekniker, inklusive beacon, magnetisk positionering, inertialmätning (IMU) med accelerometer och gyro, mätning av rörelse från den senast kända punkten, wi-fi-baserad positionering eller enkelt – utnyttja visuella markörer.

Alla ovanstående metoder har sina brister (t.ex. behovet av att installera markörer eller beacon, IMU ökar felet i mätningen över tiden och kräver ompositionering), som överväger deras fördelar. Lösningen på det avgörande problemet – allmän användarvar med noggrannhet på några få meter – visar sig vara inom algoritmernas område.

Processen för att känna igen platser bygger på en tvåstegsprocess, som skapar två databaser. Initialt fotograferas den målplatsen och vissa objekt, nyckelpunkter, markeras av en funktionssökare för att identifiera karakteristiska element i området. Därefter jämförs de markerade punkterna med en referensbild. När de bedömda nyckelpunkterna anses tillräckligt lika av en funktionssökare, kvalificerar bilden som visar samma plats.

Bildatabasen bildatabasen kombinerar bilder av målplatser, i detta fall arbetsplatser, och en uppsättning av deras egenskaper, inklusive unika identifierare, följt av lokala och globala beskrivningar. Den andra uppsättningen, rumsdatabasen, matchar enskilda nyckelpunkter med vissa områden i det övervägda utrymmet.

Genom att använda SuperPoint, SuperGlue och netVLAD neurala nätverk från visuell platsigenkänning, använde forskarna ovanstående process i användarlokalisering. De djupa neurala nätverken, SuperPoint och SuperGlue, samarbetar i funktionssökning och matchning, extraherar information från databaserna.

De globala beskrivningarna träder in på scenen

Processen kräver globala beskrivningar, som fungerar som vektorer som skiljer platsen, identifierar områden på ett sätt som presenterar inga tvetydigheter. För att uppfylla deras roll bör vektorerna vara oberoende av belysning och vy – oavsett perspektiv och belysningsförhållanden bör de globala beskrivningarna inte lämna någon tvekan när de skiljer platser i olika bilder.

Dessutom bör de variabla objekten i området av intresse inte vara bundna av globala beskrivningar som funktioner som skiljer platser. Föremål som möbler och utrustning är benägna att förändras (omdekoration, demontering), vilket innebär att de inte kan definiera områden genom sin närvaro.

Datorseendeaktiverad platsigenkänning bygger på permanenta element i undersökta platser, som dörrar, fönster, trappor och andra distinkta föremål av långvarig natur. Under den ifrågavarande forskningen användes det djupa neurala nätverket NetVLAD för beräkningar, som presenterade, som ett resultat, vektorer som uppfyllde de fastställda kraven. I processen för global beskrivningsmatchning bearbetas bilder av de mest liknande vektorerna, följt av beräkningar av avståndet mellan varje karakteristiskt ankarpunkt.

När systemet bearbetar två databaser – rumsdatabasen och den andra, som innehåller nyckelpunkter och globala beskrivningar – hanterar systemet attribut för bilder. Efter att ha utfört likheter och kortaste avståndens uppskattning identifierar det andra neurala nätverket, SuperGlue, platsbilder. Systemet som använder VPR möjliggör användarlokalisering baserat, kort sagt, på antalet matchande nyckelpunkter.

Algoritmerna fann tillämpning i AI- och AR-plattformen, som hjälper användare att utföra utbildning utrustade med smarta glasögon. VPR möjliggör lokalisering av utbildningsdeltagare på arbetsplatsen, startar lämpliga handledningar och guider som tilldelats specifika platser, förbättrar säkerheten och minskar behovet av direkt tillsyn.

Projektet finansieras av Europeiska unionens fonder inom ramen för Smart Growth Operational Programme. Projektet genomförs som en del av National Centre for Research and Development: Fast Track.