Lokalizacja Użytkownika w Pomieszczeniach z Wykorzystaniem Rozpoznawania Miejsca za Pomocą Wizji

Rozpoznawanie miejsca za pomocą wizji jest jednym z filarów rozwoju wizji komputerowej i robotyki. Zadaniem algorytmów VPR jest identyfikacja przeanalizowanych miejsc na podstawie obrazów. Ta technologia może wspierać zarówno autonomiczne roboty, jak i ludzi, identyfikując otoczenie i ułatwiając wykonanie pożądanych działań.

Naukowcy z NeuroSYS wykorzystują algorytmy wizji komputerowej w ramach rozwijanej platformy AR, Nsflow, umożliwiając interaktywne instrukcje i szkolenia praktyczne w celu identyfikacji pozycji użytkownika podczas szkoleń na miejscu. W tym przypadku użycie VPR prowadzi do znacznego przyspieszenia procesów szkoleniowych i edukacyjnych dzięki zmniejszeniu potrzeby wcześniejszego szkolenia i nadzoru.

Lokalizacja osoby lub znalezienie pożądanego miejsca za pomocą GPS to już stare wiadomości. Ale co zrobić, gdy system nawigacji satelitarnej jest nieaktywny? Systemy lokalizacji wewnętrznej (IPS) przychodzą z odsieczą.

Gdy szukamy igły w stogu siana, możemy wykorzystać różne techniki, w tym beacony, pozycjonowanie magnetyczne, jednostki pomiaru inertialnego (IMU) z akcelerometrami i żyroskopami, mierzące ruch od ostatnio znanego punktu, pozycjonowanie oparte na Wi-Fi lub po prostu – wykorzystać znaczniki wizualne.

Wszystkie powyższe metody mają swoje wady (np. konieczność instalacji znaczników lub beaconów, IMU zwiększające błąd pomiaru w czasie i wymagające ponownego pozycjonowania), przewyższające ich zalety. Rozwiązanie odpowiedzi na kluczowy problem – ogólne położenie użytkownika z dokładnością do kilku metrów – okazuje się być w zakresie algorytmów.

Proces rozpoznawania miejsc opiera się na dwuetapowej procedurze, tworząc dwie bazy danych. Początkowo miejsce docelowe jest fotografowane, a pewne elementy, keypoints, są oznaczone przez wykrywacz cech w celu identyfikacji charakterystycznych elementów obszaru. Następnie oznaczone punkty są porównywane z odniesieniowym obrazem. Gdy oceniane keypoints są uznane za wystarczająco podobne przez dopasowanie cech, zdjęcie kwalifikuje się jako przedstawiające to samo miejsce.

Baza danych obrazów łączy obrazy miejsc docelowych, w tym przypadku przestrzeni roboczych, oraz zestaw ich właściwości, w tym unikalnych identyfikatorów, a następnie lokalnych i globalnych opisów. Inny zestaw, baza danych pomieszczeń, dopasowuje pojedyncze keypoints do określonych obszarów w rozważanej przestrzeni.

Wykorzystując sieci neuronowe SuperPoint, SuperGlue i netVLAD z dziedziny rozpoznawania miejsca za pomocą wizji, naukowcy wykorzystali powyższy proces w lokalizacji użytkownika. Głębokie sieci neuronowe, SuperPoint i SuperGlue, współpracują w wykrywaniu cech i dopasowaniu, wyodrębniając informacje z baz danych.

Globalne opisywania wkraczają na scenę

Proces wymaga globalnych opisów, służących jako wektory odróżniające miejsce, identyfikujące obszary w sposób nie pozostawiający wątpliwości. Aby wypełnić swoją rolę, wektory powinny być niezależne od oświetlenia i punktu widzenia – niezależnie od perspektywy i warunków oświetleniowych, globalne opisy nie powinny pozostawiać wątpliwości przy odróżnianiu miejsc na różnych obrazach.

Ponadto, zmienne obiekty obecne w obszarze zainteresowania nie powinny być związane z globalnymi opisami jako cechy odróżniające miejsca. Przedmioty takie jak meble i wyposażenie są podatne na zmiany (przebudowę, demontaż), co oznacza, że nie mogą definiować obszarów poprzez swoją obecność.

Rozpoznawanie miejsc za pomocą wizji komputerowej opiera się na trwałych elementach przeanalizowanych miejsc, takich jak drzwi, okna, schody i inne charakterystyczne elementy długotrwałego charakteru. Podczas badań w tym zakresie, głęboka sieć neuronowa NetVLAD została wykorzystana do obliczeń, prezentując, jako wynik, wektory spełniające ustalone wymagania. W procesie dopasowania globalnych opisów, obrazy najbardziej podobnych wektorów są przetwarzane, po czym następuje obliczanie odległości między każdym charakterystycznym punktem kotwicznym.

Przetwarzając dwie bazy danych – bazę pomieszczeń i inną, zawierającą punkty kluczowe i globalne opisy – system zajmuje się atrybutami obrazów. Po wykonaniu szacunku podobieństwa i najkrótszych odległości, druga sieć neuronowa, SuperGlue, identyfikuje obrazy miejsc. System wykorzystujący VPR pozwala na lokalizację użytkownika na podstawie, krótko mówiąc, liczby dopasowanych punktów kluczowych.

Algorytmy znalazły zastosowanie w platformie AI & AR, pomagając użytkownikom w wykonywaniu szkoleń z wykorzystaniem okularów inteligentnych. VPR umożliwia lokalizację uczestników szkolenia w miejscu pracy, uruchamiając odpowiednie tutoriale i przewodniki przypisane do konkretnych miejsc, poprawiając bezpieczeństwo i zmniejszając potrzebę bezpośredniego nadzoru.

Projekt dofinansowany z funduszy Unii Europejskiej w ramach Europejskiego Funduszu Rozwoju Regionalnego jako część Programu Operacyjnego Rozwój Inteligentny. Projekt zrealizowany w ramach Narodowego Centrum Badań i Rozwoju: Szybka Ścieżka.