Sisäkäyttäjän lokalisointi visuaalisen paikantunnistuksen avulla

Visuaalinen paikantunnistus on yksi kulmakivistä tietokonenäön kehittäminen ja robotiikkaa. VPR-algoritmien tehtävänä on tunnistaa tutkitut paikat kuvien perusteella. Tekniikka voi tukea niin autonomisia robotteja kuin ihmistyövoimaa, tunnistaa ympäristön ja helpottaa haluttujen toimien suorittamista.

Tutkijat NeuroSYS käyttää tietokonenäköalgoritmeja osana kehitettyä AR-alustaa, Nsflow, joka mahdollistaa interaktiiviset työohjeet ja käytännön koulutuksen käyttäjien paikkojen tunnistamiseksi paikan päällä suoritettavan koulutuksen aikana. Tässä tapauksessa VPR:n käyttö nopeuttaa merkittävästi perehdytys- ja oppimisprosesseja, koska ennakkokoulutuksen ja valvonnan tarve vähenee.

Ihmisen paikantaminen tai halutun paikan löytäminen GPS:n avulla on jo vanha uutinen. Mutta mitä tehdä, kun satelliittinavigointijärjestelmä ei toimi? Sisäpaikannusjärjestelmät (IPS) tulevat apuun. 

Kun etsit neulaa heinäsuovasta, voit hyödyntää erilaisia ​​tekniikoita, kuten majakoita, magneettista paikannusta, inertiamittausyksiköitä (IMU) kiihtyvyysantureilla ja gyroskoopeilla, liikkeen mittaamista viimeisestä tunnetusta pisteestä, wi-fi-pohjaista paikannusta tai yksinkertaisesti – käytä visuaalisia merkkejä. 

Kaikilla yllä olevilla menetelmillä on omat puutteensa (esim. tarve asentaa merkkejä tai majakoita, IMU lisää mittausvirhettä ajan myötä ja vaatii uudelleensijoittamista), jotka ylittävät niiden hyödyt. Ratkaisu, joka vastaa ratkaisevaan ongelmaan – käyttäjän yleinen olinpaikka muutaman metrin tarkkuudella – osoittautuu algoritmien toimialaksi. 

- paikkojen tunnistamisprosessi perustuu kaksivaiheiseen menettelyyn, joka luo kaksi tietokantaa. Aluksi kohdepaikka valokuvataan ja tietyt kohteet, avainpisteet, merkitään piirretunnistimella tunnistamaan alueen tunnusomaiset elementit. Myöhemmin merkittyjä pisteitä verrataan vertailukuvaan. Kun ominaisuusvastaaja katsoo arvioidut avainpisteet riittävän samanlaisiksi, kuva katsotaan näyttäväksi saman paikan. 

- kuvatietokanta yhdistää kuvia kohdepaikoista, tässä tapauksessa työtiloista, ja joukon niiden ominaisuuksia, mukaan lukien yksilölliset tunnisteet, joita seuraavat paikalliset ja globaalit kuvaukset. Toinen sarja, huonetietokanta, sovittaa yksittäiset avainpisteet tiettyjen alueiden kanssa tarkasteltavassa tilassa. 

Visuaalisen paikantunnistuskentän SuperPoint-, SuperGlue- ja netVLAD-hermoverkkojen avulla tutkijat hyödynsivät yllä olevaa prosessia käyttäjien lokalisoinnissa. Syvät neuroverkot, SuperPoint ja SuperGlue, tekevät yhteistyötä ominaisuuksien havaitsemisessa ja sovittamisessa, poimien tietoa tietokannoista. 

Globaalit kuvaajat tulevat lavalle

Prosessi vaatii globaaleja kuvaajia, jotka toimivat vektoreina, jotka erottavat paikan ja tunnistavat alueet tavalla, joka ei esitä epäselvyyksiä. Täyttääkseen tehtävänsä vektorien tulee olla valaisevia ja näkökulma-agnostisia – perspektiivistä ja valaistusolosuhteista riippumatta globaalien kuvaajien ei tulisi jättää epäilystäkään erotettaessa paikkoja eri kuvissa. 

Lisäksi kiinnostuksen kohteena olevalla alueella olevia muuttuvia objekteja ei pitäisi sitoa globaaleihin kuvaajiin paikkoja erottavina piirteinä. Esineet, kuten huonekalut ja varusteet, ovat alttiita muutoksille (uudelleensisustus, purkaminen), mikä tarkoittaa, että ne eivät voi määritellä alueita läsnäolollaan. 

Tietokonenäkökäyttöinen paikan tunnustaminen nojaa tutkittujen paikkojen pysyviin elementteihin, kuten oviin, ikkunoihin, portaisiin ja muihin tunnusomaisiin, pitkäikäisiin esineisiin. Kyseisessä tutkimuksessa laskelmiin käytettiin syvää neuroverkkoa NetVLAD, joka esitti tuloksena asetetut vaatimukset täyttäviä vektoreita. Globaalin kuvaajien yhteensovituksen prosessissa käsitellään kuvia samankaltaisista vektoreista kunkin ominaisankkuripisteen välisen etäisyyden laskennan jälkeen. 

Käsiteltäessä kahta tietokantaa – huonetietokantaa ja toista, joka sisältää avainpisteitä ja globaaleja kuvauksia – järjestelmä käsittelee kuvien attribuutteja. Suoritettuaan samankaltaisuuksien ja lyhimpien etäisyyksien arvioinnin toinen hermoverkko, SuperGlue, tunnistaa sijaintikuvat. VPR:ää käyttävä järjestelmä mahdollistaa käyttäjän lokalisoinnin, joka perustuu lyhyesti yhteensopivien avainpisteiden määrään. 

Algoritmit löysivät sovelluksen AI & AR alusta, auttaen käyttäjiä suorittamaan koulutusta älylaseilla varustettuna. VPR mahdollistaa harjoittelijoiden paikantamisen työpaikalla, käynnistää tiettyihin paikkoihin osoitettuja asianmukaisia ​​​​opetusohjelmia ja oppaita, parantaa turvallisuutta ja vähentää suoran valvonnan tarvetta. 

Hanke on osarahoitettu Euroopan unionin varoista Euroopan aluekehitysrahaston puitteissa osana Älykäs kasvu -toimenpideohjelmaa. Hanke toteutettiin osana Valtion tutkimus- ja kehityskeskusta: Fast Track.