Indoor Gebruiker Locatiebepaling met Visuele Plaatsherkenning

Visuele plaatsherkenning is een van de hoekstenen van computer vision ontwikkeling en robotica. De taak van VPR-algoritmes is om onderzochte locaties te identificeren op basis van afbeeldingen. De technologie kan zowel autonome robots als de menselijke werkkracht ondersteunen, omgevingen identificeren en de uitvoering van gewenste acties vergemakkelijken.

Onderzoekers bij NeuroSYS gebruiken computer vision-algoritmes als onderdeel van het ontwikkelde AR-platform, Nsflow, waardoor interactieve instructies en hands-on training mogelijk zijn om gebruikersposities te identificeren tijdens on-site training. In dit geval leidt het gebruik van VPR tot een aanzienlijke versnelling van de inwerktijd en leerprocessen vanwege een vermindering van de noodzaak voor voorafgaande training en toezicht.

Een persoon of een gewenste plaats vinden met GPS is al oud nieuws. Maar wat te doen als het satellietgebaseerde navigatiesysteem niet functioneert? Indoor positiebepalingssystemen (IPS) komen te hulp.

Wanneer je een speld in een hooiberg zoekt, kun je verschillende technieken gebruiken, zoals bakens, magnetische positiebepaling, inertiale meeteenheden (IMU) met versnellingsmeters en gyroscopen, beweging meten vanaf het laatst bekende punt, wi-fi-gebaseerde positiebepaling of eenvoudigweg – visuele markers gebruiken.

Alle bovengenoemde methoden hebben hun tekortkomingen (bijv. de noodzaak om markers of bakens te installeren, IMU vergroot de meetfout over tijd en vereist opnieuw positioneren), waardoor hun voordelen worden overschreden. De oplossing voor het cruciale probleem – algemene gebruikerslocatie met een nauwkeurigheid van enkele meters – blijkt binnen het bereik van algoritmes te liggen.

Het proces van plaatsherkenning is gebaseerd op een tweestapsprocedure, waarbij twee databases worden gemaakt. Aanvankelijk wordt de doellocatie gefotografeerd en worden bepaalde items, keypoints, gemarkeerd door een functiedetector om kenmerkende elementen van het gebied te identificeren. Vervolgens worden de gelabelde punten vergeleken met een referentieafbeelding. Zodra de beoordeelde keypoints voldoende overeenkomen met een functiematcher, kwalificeert de afbeelding zich als een afbeelding van dezelfde plaats.

De afbeeldingsdatabase combineert afbeeldingen van doellocaties, in dit geval werkruimtes, en een set van hun eigenschappen, waaronder unieke identificatoren, gevolgd door lokale en globale descriptors. De andere set, de ruimtedatabase, koppelt enkele keypoints aan bepaalde gebieden in de beschouwde ruimte.

Met behulp van SuperPoint, SuperGlue en netVLAD neurale netwerken uit het veld van visuele plaatsherkenning, pasten onderzoekers het bovengenoemde proces toe bij de lokaliseringsgebruiker. De diepe neurale netwerken, SuperPoint en SuperGlue, werken samen bij functiedetectie en -matching, waarbij informatie uit de databases wordt geëxtraheerd.

De globale descriptors treden op het toneel

Het proces vereist globale descriptors, die dienen als vectoren die de plaats onderscheiden, waarbij gebieden op een manier worden geïdentificeerd die geen twijfel laat bestaan. Om hun rol te vervullen, moeten de vectoren licht- en gezichtspuntagnostisch zijn – ongeacht het perspectief en de lichtomstandigheden, de globale descriptors mogen geen twijfel laten bestaan bij het onderscheiden van plaatsen in verschillende afbeeldingen.

Bovendien mogen variabele objecten in het gebied van interesse niet worden gebonden door globale descriptors als kenmerken die plaatsen onderscheiden. Items zoals meubels en apparatuur zijn onderhevig aan veranderingen (opnieuw inrichten, demonteren), waardoor ze gebieden niet kunnen definiëren door hun aanwezigheid.

Computer-vision-geactiveerde plaatsherkenning is afhankelijk van permanente elementen van onderzochte locaties, zoals deuren, ramen, trappen en andere kenmerkende items van langdurige aard. Tijdens het onderzoek in kwestie werd het diepe neurale netwerk NetVLAD gebruikt voor berekeningen, waardoor vectoren ontstonden die aan de gestelde eisen voldeden. Bij het proces van globale descriptor-matching worden afbeeldingen van de meest overeenkomende vectoren verwerkt, waarna de afstand tussen elk kenmerkend ankerpunt wordt berekend.

Wanneer twee databases worden verwerkt – de ruimtedatabase en de andere, die keypoints en globale descriptors bevat – houdt het systeem zich bezig met attributen van afbeeldingen. Na het berekenen van overeenkomsten en de kortste afstanden, identificeert het tweede neurale netwerk, SuperGlue, locatie-afbeeldingen. Het systeem dat VPR gebruikt, maakt gebruikerslocalisatie mogelijk op basis van het aantal overeenkomende keypoints.

De algoritmes vonden toepassing in het AI & AR-platform, waardoor gebruikers training kunnen volgen met slimme bril. VPR maakt het mogelijk om trainingslocaties in de werkruimte te lokaliseren, om passende tutorials en gidsen te starten die zijn toegewezen aan bepaalde locaties, om veiligheid te verbeteren en de noodzaak voor direct toezicht te verminderen.

Project medegefinancierd door middel van fondsen van de Europese Unie in het kader van het operationeel programma Smart Growth. Project uitgevoerd in het kader van het Nationaal Centrum voor Onderzoek en Ontwikkeling: Fast Track.