Lokalizacija korisnika u zatvorenom prostoru pomoću vizualnog prepoznavanja mjesta

Vizualno prepoznavanje mjesta jedan je od temelja razvoj računalnog vida i robotika. Zadaća VPR algoritama je identificirati ispitivane lokacije na temelju slika. Tehnologija može podjednako podržati autonomne robote i ljudsku radnu snagu, identificirajući okolinu i olakšavajući izvršenje željenih radnji.

Istraživači u NeuroSYS-u koriste algoritme računalnog vida kao dio razvijene AR platforme, Nsflow, omogućujući interaktivne upute za rad i praktičnu obuku za prepoznavanje položaja korisnika tijekom obuke na licu mjesta. U ovom slučaju, korištenje VPR-a dovodi do značajnog ubrzanja procesa ukrcavanja i učenja zbog smanjene potrebe za prethodnom obukom i nadzorom.

Lociranje osobe ili pronalaženje željenog mjesta pomoću GPS-a već je stara vijest. Ali što učiniti kada satelitski navigacijski sustav ne radi? U pomoć dolaze sustavi za unutarnje pozicioniranje (IPS). 

Kada tražite iglu u plastu sijena, možete koristiti razne tehnike, uključujući svjetionike, magnetsko pozicioniranje, inercijske mjerne jedinice (IMU) s akcelerometrima i žiroskopima, mjerenje kretanja od posljednje poznate točke, pozicioniranje temeljeno na wi-fi-ju ili jednostavno – koristite vizualne oznake. 

Sve gore navedene metode imaju svoje nedostatke (npr. potrebu za ugradnjom markera ili svjetionika, IMU povećava pogrešku mjerenja tijekom vremena i zahtijeva ponovno pozicioniranje), koji nadmašuju njihove prednosti. Ispostavilo se da je rješenje koje rješava ključni problem – općenito mjesto korisnika s točnošću do nekoliko metara – u nadležnosti algoritama. 

Korištenje električnih romobila ističe proces prepoznavanja mjesta oslanja se na proceduru u dva koraka, stvarajući dvije baze podataka. U početku se ciljano mjesto fotografira, a određene stavke, ključne točke, označavaju se detektorom značajki kako bi se identificirali karakteristični elementi područja. Nakon toga se označene točke uspoređuju s referentnom slikom. Nakon što se procijenjene ključne točke smatraju dovoljno sličnim od strane alata za podudaranje značajki, slika se kvalificira kao da prikazuje isto mjesto. 

Korištenje električnih romobila ističe baza podataka slika kombinira slike ciljanih lokacija, u ovom slučaju radnih prostora, i skup njihovih svojstava uključujući jedinstvene identifikatore, nakon kojih slijede lokalni i globalni deskriptori. Drugi set, baza podataka soba, spaja pojedine ključne točke s određenim područjima u razmatranom prostoru. 

Koristeći neuronske mreže SuperPoint, SuperGlue i netVLAD iz područja vizualnog prepoznavanja mjesta, istraživači su upotrijebili gornji postupak u lokalizaciji korisnika. Duboke neuronske mreže, SuperPoint i SuperGlue, surađuju u otkrivanju značajki i usklađivanju, izvlačeći informacije iz baza podataka. 

Globalni deskriptori stupaju na pozornicu

Proces zahtijeva globalne deskriptore, koji služe kao vektori koji razlikuju mjesto, identificirajući područja na način koji ne predstavlja dvosmislenost. Kako bi ispunili svoju ulogu, vektori bi trebali biti agnostički osvijetljeni i stajališta – bez obzira na perspektivu i uvjete osvjetljenja, globalni deskriptori ne bi trebali ostavljati nikakvu sumnju pri razlikovanju mjesta na različitim slikama. 

Dodatno, varijabilni objekti prisutni u području interesa ne bi trebali biti vezani globalnim deskriptorima kao značajkama koje razlikuju mjesta. Predmeti poput namještaja i opreme skloni su promjenama (preuređenje, demontaža), što znači da ne mogu definirati prostore svojom prisutnošću. 

Pokretan računalnim vidom prepoznavanje mjesta oslanja se na trajne elemente ispitivanih lokacija, poput vrata, prozora, stepenica i drugih karakterističnih predmeta dugotrajne prirode. Tijekom predmetnog istraživanja za izračune je korištena duboka neuronska mreža NetVLAD, koja je kao rezultat prikazala vektore koji zadovoljavaju postavljene zahtjeve. U procesu usklađivanja globalnog deskriptora, slike najsličnijih vektora se obrađuju, nakon izračuna udaljenosti između svake karakteristične sidrišne točke. 

Prilikom obrade dviju baza podataka – baze podataka soba i druge, koja sadrži ključne točke i globalne deskriptore – sustav se bavi atributima slika. Nakon izvođenja sličnosti i procjene najkraćih udaljenosti, druga neuronska mreža, SuperGlue, identificira slike lokacije. Sustav koji koristi VPR omogućuje lokalizaciju korisnika na temelju, ukratko, broja podudarnih ključnih točaka. 

Algoritmi su našli primjenu u AI & AR platforma, pomažući korisnicima da izvode trening opremljeni pametnim naočalama. VPR omogućuje lokalizaciju polaznika na radnom mjestu, pokretanje odgovarajućih tutorijala i vodiča dodijeljenih određenim mjestima, poboljšava sigurnost i smanjuje potrebu za izravnim nadzorom. 

Projekt sufinanciran iz sredstava Europske unije u okviru Europskih fondova za regionalni razvoj u sklopu Operativnog programa pametnog rasta. Projekt koji se provodi u sklopu Nacionalnog centra za istraživanje i razvoj: Fast Track.