Lokalisatie van gebruikers binnenshuis met behulp van visuele plaatsherkenning

Visuele plaatsherkenning is een van de hoekstenen van ontwikkeling van computervisies en robotica. De taak van de VPR-algoritmen is om onderzochte locaties te identificeren op basis van afbeeldingen. De technologie kan zowel autonome robots als het menselijk personeel ondersteunen, de omgeving identificeren en de uitvoering van gewenste acties vergemakkelijken.

onderzoekers bij NeuroSYS gebruiken computervisie-algoritmen als onderdeel van het ontwikkelde AR-platform, Nsstroom, waardoor interactieve werkinstructies en hands-on training mogelijk zijn om gebruikersposities te identificeren terwijl ze on-site training volgen. In dit geval leidt het gebruik van VPR tot een aanzienlijke versnelling van onboarding- en leerprocessen door een verminderde behoefte aan voorafgaande training en supervisie.

Het lokaliseren van een persoon of het vinden van de gewenste plaats met behulp van GPS is al oud nieuws. Maar wat te doen als het satellietnavigatiesysteem niet werkt? Indoor positioning systems (IPS) schieten te hulp. 

Bij het zoeken naar een speld in een hooiberg kunt u gebruik maken van verschillende technieken, waaronder bakens, magnetische positionering, traagheidsmeeteenheden (IMU) met versnellingsmeters en gyroscopen, beweging meten vanaf het laatst bekende punt, wifi-gebaseerde positionering of gewoon - gebruik visuele markeringen. 

Alle bovenstaande methoden hebben hun tekortkomingen (bijv. de noodzaak om markeringen of bakens te installeren, IMU die de meetfout in de loop van de tijd vergroot en herpositionering vereisen), die zwaarder wegen dan hun voordelen. De oplossing die het cruciale probleem beantwoordt – de algemene verblijfplaats van de gebruiker met een nauwkeurigheid tot op enkele meters nauwkeurig – blijkt binnen de reikwijdte van algoritmen te liggen. 

Ocuco's Medewerkers proces van plaatsen herkennen is gebaseerd op een procedure in twee stappen, waarbij twee databases worden gemaakt. In eerste instantie wordt de doellocatie gefotografeerd en worden bepaalde items, keypoints, gemarkeerd door een kenmerkdetector om karakteristieke elementen van het gebied te identificeren. Daarna worden de gelabelde punten vergeleken met een referentiebeeld. Zodra de beoordeelde keypoints door een feature matcher voldoende vergelijkbaar worden geacht, komt de foto in aanmerking om dezelfde plaats weer te geven. 

Ocuco's Medewerkers beeld database combineert afbeeldingen van doellocaties, in dit geval werkruimten, en een set van hun eigenschappen inclusief unieke identifiers, gevolgd door lokale en globale descriptoren. Het andere stel, de kamer database, komt overeen met enkele kernpunten met bepaalde gebieden in de beschouwde ruimte. 

Met behulp van SuperPoint-, SuperGlue- en netVLAD-neurale netwerken uit het gebied van visuele plaatsherkenning, gebruikten onderzoekers het bovenstaande proces bij gebruikerslokalisatie. De diepe neurale netwerken, SuperPoint en SuperGlue, werken samen bij het detecteren en matchen van kenmerken, waarbij informatie uit de databases wordt gehaald. 

De globale descriptoren komen op het toneel

Het proces vereist globale descriptoren, die dienen als vectoren die de plaats onderscheiden en gebieden identificeren op een manier die geen dubbelzinnigheden oplevert. Om hun rol te vervullen, moeten de vectoren verlichting & gezichtspunt-agnostisch zijn - ongeacht het perspectief en de lichtomstandigheden moeten de globale descriptoren geen twijfel laten bestaan ​​bij het onderscheiden van plaatsen in verschillende afbeeldingen. 

Bovendien mogen variabele objecten die aanwezig zijn in het interessegebied niet worden gebonden door globale descriptoren als kenmerken die plaatsen onderscheiden. Items zoals meubels en apparatuur zijn onderhevig aan veranderingen (opknappen, ontmantelen), wat betekent dat ze door hun aanwezigheid geen gebieden kunnen definiëren. 

Aangedreven door computervisie plaats herkenning vertrouwt op permanente elementen van onderzochte locaties, zoals deuren, ramen, trappen en andere onderscheidende items van langdurige aard. Tijdens het betreffende onderzoek is het diepe neurale netwerk NetVLAD gebruikt voor berekeningen, waardoor vectoren werden gepresenteerd die aan de gestelde eisen voldeden. Tijdens het matchen van globale descriptoren worden afbeeldingen van de meest vergelijkbare vectoren verwerkt, na berekeningen van de afstand tussen elk karakteristiek ankerpunt. 

Bij het verwerken van twee databases – de kamerdatabase en de andere, met kernpunten en globale descriptoren – gaat het systeem om met attributen van afbeeldingen. Na het uitvoeren van de overeenkomsten en schatting van de kortste afstanden, identificeert het tweede neurale netwerk, SuperGlue, locatiebeelden. Het systeem dat VPR gebruikt, maakt gebruikerslokalisatie mogelijk, kort gezegd, op basis van het aantal overeenkomende sleutelpunten. 

De algoritmen vonden toepassing in de AI- en AR-platform, waarmee gebruikers trainingen kunnen uitvoeren met behulp van slimme brillen. VPR maakt het mogelijk om cursisten op de werkplek te lokaliseren, door geschikte tutorials en handleidingen te starten die aan specifieke plekken zijn toegewezen, wat de veiligheid verbetert en de behoefte aan direct toezicht vermindert. 

Project medegefinancierd uit fondsen van de Europese Unie in het kader van het Europees Fonds voor Regionale Ontwikkeling als onderdeel van het operationele programma Smart Growth. Project uitgevoerd als onderdeel van het Nationaal Centrum voor Onderzoek en Ontwikkeling: Fast Track.