Sisätilojen käyttäjien sijaintitiedon määrittäminen visuaalisen paikan tunnistamisen avulla

Visuaalinen paikan tunnistaminen on yksi tietokoneen näön kehityksen kulmakivistä ja robotiikassa. VPR-algoritmien tehtävänä on tunnistaa tarkasteltavat sijainnit kuvien perusteella. Teknologia voi tukea sekä autonomisia roboteja että ihmistyövoimaa, tunnistaa ympäristön ja helpottaa toimintojen suorittamista.

Tutkijat NeuroSYS:issä hyödyntävät tietokoneen näön algoritmeja kehittämänsä AR-alustassa, Nsflow, joka mahdollistaa interaktiiviset työohjeet ja käsillä tehtävän koulutuksen, jolloin voidaan määrittää käyttäjien sijainti koulutuksen aikana. Tässä tapauksessa VPR:n käyttö johtaa merkittävään nopeutumiseen koulutus- ja oppimisprosesseissa, koska sitä tarvitaan vähemmän ennakkovalmennusta ja valvontaa.

Henkilön tai halutun paikan sijainnin määrittäminen GPS:n avulla on jo vanhaa tietoa. Mutta mitä tehdä, kun satelliittipohjainen navigaatiojärjestelmä ei toimi? Sisätilojen sijaintijärjestelmät (IPS) tulevat apuun.

Kun etsit neulaa heinäsuovasta, voit käyttää erilaisia tekniikoita, kuten merkkirehdeja, magneettista sijaintia, inertialäätemittareita (IMU) kiihtyvyysantureiden ja gyroskooppien kanssa, mitata liikettä edellisestä tunnetusta pisteestä, Wi-Fi-pohjaista sijaintia tai yksinkertaisesti – käytä visuaalisia merkkejä.

Kaikki edellä mainitut menetelmät ovat virheellisiä (esim. merkkien tai rehdien asentamistarve, IMU:n mittausvirhe kasvaa ajan myötä ja vaatii uudelleen sijaintia), ja ne ylittävät hyötyjä. Ratkaisu, joka vastaa tärkeää ongelmaa – yleisen käyttäjän sijainnin määrittäminen muutaman metrin tarkkuudella – osoittautuu olevan algoritmien alueella.

Paikan tunnistamisprosessi perustuu kahden vaiheen menetelmään, jossa luodaan kaksi tietokantaa. Aluksi kohdesijainti valokuvataan, ja tietyt kohteet, avainpisteet, merkitään piirteindeksoijalla, jotta voidaan tunnistaa alueen ominaispiirteet. Sen jälkeen merkityt pisteet verrataan viitekuvaa vastaan. Kun arvioidut avainpisteet ovat riittävän samanlaisia piirteinmäärän mukaan, kuva kelpaa saman paikan esittäjäksi.

Kuvatietokanta yhdistää kohdesijaintien kuvat, työtiloja, ja joukon niiden ominaisuuksia, mukaan lukien yksilöivät tunnistimet, seurattuna paikallisten ja globaalien kuvaajien kanssa. Toinen joukko, huonetietokanta, vastaa yksittäisiä avainpisteitä tietyn alueen kanssa tarkasteltavassa tilassa.

Käyttämällä SuperPoint-, SuperGlue- ja netVLAD-hermoverkkoja visuaalisen paikan tunnistamisen alalta, tutkijat hyödyntävät edellä mainittua prosessia käyttäjien sijaintitiedon määrittämisessä. Syvät hermoverkot, SuperPoint ja SuperGlue, toimivat yhdessä piirtein havainnossa ja vastaavuuden määrittämisessä, josta saatavat tiedot tietokannoista.

Globaalit deskriptorit astuvat näyttämölle

Prosessi vaatii globaaleja deskriptoreita, jotka toimivat vektoreina, jotka erottavat paikan, tunnistavat alueita epäselvyyksittä. Jotta heidät voisi täyttää roolinsa, vektoreiden on oltava valaistus- ja näkökulmasta riippumattomia – riippumatta näkökulmasta ja valaistusolosuhteista, globaalit deskriptorit eivät jätä epäselvyyttä paikkojen erottamisessa eri kuvissa.

Lisäksi alueen muuttuvat kohteet eivät ole sidottuina globaaleihin deskriptoreihin paikkoja erottavina piirteinä. Esineet, kuten huonekalut ja laitteet, ovat alttiita muutoksille (uudelleen sisustaminen, purkaminen), mikä tarkoittaa, että ne eivät voi määritellä alueita läsnäolollaan.

Tietokoneen näön mahdollistama paikan tunnistaminen perustuu tutkittavien sijaintien pysyviin elementteihin, kuten oviin, ikkunoihin, portaisiin ja muihin pitkäaikaisiin ominaispiirteisiin. Tutkimuksessa, jossa käytettiin syvää hermoverkkoa NetVLAD:ia, laskettiin vektoreita, jotka täyttivät asetetut vaatimukset. Globaalin deskriptorin vastaavuuden prosessissa käsitellään kuvia, joissa on vastaavimmat vektorit, seuraten etäisyyden laskemista kunkin ominaisen ankkuripisteen välillä.

Kun käsitellään kahta tietokantaa – huonetietokantaa ja toista, joka sisältää avainpisteitä ja globaaleja deskriptoreita – järjestelmä käsittelee kuvien ominaisuuksia. Suoritettuaan samankaltaisuuksien ja lyhimmän etäisyyden arvioinnin, toinen hermoverkko, SuperGlue, tunnistaa sijaintikuvat. Järjestelmä, joka käyttää VPR:ää, mahdollistaa käyttäjien sijaintitiedon määrittämisen lyhyesti sanottuna avainpisteen määrän perusteella.

Algoritmit löysivät sovelluksensa AI- ja AR-alustassa, joka auttaa käyttäjiä suorittamaan koulutusta älylasien avulla. VPR mahdollistaa koulutettavien sijaintitiedon määrittämisen työpaikalla, käynnistäen sovellettuja opasteita ja ohjeita, jotka on liitetty tiettyihin paikkoihin, parantaa turvallisuutta ja vähentää suoran valvonnan tarvetta.

Hanketta rahoitetaan Euroopan unionin varoista Euroopan aluekehitysrahastosta osana Smart Growth -toimintasuunnitelmaa. Hanketta toteutetaan Kansallisen tutkimus- ja kehittämiskeskuksen puitteissa: Fast Track.