Localizarea utilizatorilor indoor utilizând recunoașterea vizuală a locurilor

Recunoașterea vizuală a locurilor este una dintre pietrele de temelie ale dezvoltării viziunii computeționale și roboticii. Algoritmii VPR au sarcina de a identifica locurile examinate pe baza imaginilor. Tehnologia poate sprijini atât roboții autonomi, cât și forța de muncă umană, identificând împrejurimile și facilitând executarea acțiunilor dorite.

Cercetătorii de la NeuroSYS utilizează algoritmii de viziune computațională ca parte a platformei AR dezvoltate, Nsflow, permițând instrucțiuni de lucru interactive și training practic pentru a identifica pozițiile utilizatorilor în timpul trainingului pe site. În acest caz, utilizarea VPR conduce la o accelerare semnificativă a proceselor de încadrare și învățare datorită reducerii nevoii de pregătire și supraveghere anterioară.

Găsirea unei persoane sau a unui loc utilizând GPS-ul este deja o veche știre. Dar ce se întâmplă atunci când sistemul de navigație bazat pe satelit este inoperabil? Sistemele de poziționare indoor (IPS) vin în salvare.

Când căutați un ac într-o grămadă de fân, puteți utiliza diverse tehnici, inclusiv beacons, poziționare magnetică, unități de măsurare inerțială (IMU) cu accelerometre și giroscop, măsurarea mișcării de la ultimul punct cunoscut, poziționare bazată pe Wi-Fi sau pur și simplu – utilizați marcaje vizuale.

Toate metodele de mai sus au defecte (de exemplu, necesitatea de a instala marcaje sau beacons, IMU care crește eroarea de măsurare în timp și necesită repoziționare), care depășesc beneficiile lor. Soluția care răspunde problemei cruciale – localizarea generală a utilizatorilor cu acuratețe de câțiva metri – se dovedește a fi în domeniul de aplicare al algoritmilor.

Procesul de recunoaștere a locurilor se bazează pe o procedură în două etape, creând două baze de date. Inițial, locul țintă este fotografiat și anumite elemente, puncte cheie, sunt marcate de un detector de caracteristici pentru a identifica elementele caracteristice ale zonei. După aceea, punctele etichetate sunt comparate cu o imagine de referință. Odată ce punctele cheie evaluate sunt considerate suficient de asemănătoare de un corespondent de caracteristici, imaginea califică ca arătând același loc.

Baza de date a imaginilor combină imagini ale locurilor țintă, în acest caz, spații de lucru, și un set de proprietăți, incluzând identificatori unici, urmați de descriptori locali și globali. Celălalt set, baza de date a încăperilor, asociază puncte cheie individuale cu anumite zone din spațiul considerat.

Utilizând rețelele neuronale SuperPoint, SuperGlue și netVLAD din domeniul recunoașterii vizuale a locurilor, cercetătorii au utilizat procesul de mai sus în localizarea utilizatorilor. Rețelele neuronale profunde, SuperPoint și SuperGlue, cooperează în detectarea și corespondența caracteristicilor, extrăgând informații din bazele de date.

Descriptorii globali intră pe scenă

Procesul necesită descriptori globali, care servesc ca vectori ce disting locul, identificând zonele într-un mod care nu prezintă ambiguități. Pentru a-și îndeplini rolul, vectorii ar trebui să fie independenți de iluminare și de punctul de vedere – indiferent de perspectivă și condiții de iluminare, descriptorii globali nu ar trebui să lase nicio îndoială atunci când disting locuri în diferite imagini.

În plus, obiectele variabile prezente în zona de interes nu ar trebui să fie legate de descriptorii globali ca caracteristici care disting locurile. Elemente precum mobilierul și echipamentul sunt supuse schimbărilor (redecorare, demontare), ceea ce înseamnă că nu pot defini zonele prin prezența lor.

Recunoașterea locurilor bazată pe viziunea computațională se bazează pe elementele permanente ale locurilor examinate, cum ar fi ușile, ferestrele, scările și alte elemente distinctive de natură durabilă. În timpul cercetării în cauză, rețeaua neurală profundă NetVLAD a fost utilizată pentru calcule, prezentând, ca rezultat, vectori care îndeplinesc cerințele stabilite. În procesul de corespondență a descriptorilor globali, se procesează imagini cu vectori cei mai asemănătoare, urmată de calcularea distanței dintre fiecare punct cheie.

Atunci când se procesează două baze de date – baza de date a încăperilor și cealaltă, care conține puncte cheie și descriptori globali – sistemul se ocupă de atributele imaginilor. După estimarea asemănărilor și a distanțelor minimale, a doua rețea neurală, SuperGlue, identifică imagini de locuri. Sistemul care utilizează VPR permite localizarea utilizatorilor pe baza, în scurt, a numărului de puncte cheie corespondente.

Algoritmii au găsit aplicații în platforma AI & AR, ajutând utilizatorii să efectueze training echipați cu ochelari inteligenți. VPR permite localizarea traineelor în locul de muncă, lansând tutoriale și ghiduri adecvate pentru anumite locuri, îmbunătățind siguranța și reducând nevoia de supraveghere directă.

Proiectul a fost cofinanțat din fonduri ale Uniunii Europene, în cadrul Programului Operațional Creștere Intelligentă, și implementat în cadrul Centrului Național pentru Cercetare și Dezvoltare: Fast Track.