Indoorová lokalizace uživatelů pomocí vizuálního rozpoznávání míst

Vizuální rozpoznávání míst je jedním z pilířů vývoje počítačového vidění a robotiky. Úkolem algoritmů VPR je identifikovat prozkoumaná místa na základě obrázků. Tato technologie může podporovat autonomní roboty a lidskou pracovní sílu, identifikovat okolí a usnadňovat provedení požadovaných akcí.

Výzkumníci v NeuroSYS využívají algoritmy počítačového vidění jako součást vyvinuté platformy AR, Nsflow, umožňující interaktivní pracovní instrukce a praktické školení pro identifikaci pozic uživatelů během školení na místě. V tomto případě vede použití VPR k významnému urychlení procesů náboru a učení díky snížení potřeby předchozího školení a dohledu.

Najít osobu nebo najít požadované místo pomocí GPS je již stará novinka. Ale co dělat, když satelitní navigační systém nefunguje? Systémy vnitřní lokalizace (IPS) přicházejí na pomoc.

Když hledáte jehlu v kupce sena, můžete využít různých technik, včetně majáků, magnetického позиčního určení, inerciálních měřicích jednotek (IMU) s akcelerometry a gyroskopy, měření pohybu z posledního známého bodu, wi-fi založené na pozici nebo jednoduše – využít vizuální značky.

Všechny výše uvedené metody mají své nedostatky (například potřebu instalovat značky nebo majáky, IMU zvyšuje chybu měření s časem a vyžaduje opětovné pozicování), které převyšují jejich výhody. Řešení, které řeší klíčový problém – obecnou polohu uživatele s přesností na několik metrů – se ukazuje být v rámci algoritmů.

Proces rozpoznávání míst závisí na dvoukrokovém postupu, který vytváří dvě databáze. Nejprve je cílové místo vyfotografováno a určité položky, klíčové body, jsou označeny detektorem funkcí pro identifikaci charakteristických prvků oblasti. Poté jsou označené body porovnány s referenčním obrázkem. Jakmile jsou posuzované klíčové body považovány za dostatečně podobné funkcí matcher, obrázek kvalifikuje jako zobrazující stejné místo.

Databáze obrazů kombinuje obrázky cílových míst, v tomto případě pracovních prostorů, a sadu jejich vlastností, včetně jedinečných identifikátorů, následovaných místními a globálními deskriptory. Druhá sada, databáze místnosti, odpovídá jednotlivým klíčovým bodům s určitými oblastmi v prostoru.

Používáním SuperPoint, SuperGlue a netVLAD neuronových sítí z oblasti vizuálního rozpoznávání míst, výzkumníci využili výše uvedený proces pro lokalizaci uživatelů. Hluboké neuronové sítě, SuperPoint a SuperGlue, spolupracují při detekci funkcí a párování, extrahují informace z databází.

Globální deskriptory vstupují na scénu

Proces vyžaduje globální deskriptory, které slouží jako vektory rozlišující místo, identifikující oblasti tak, aby neexistovaly žádné nejasnosti. Aby splnily svou roli, měly by být vektory osvětlení a pohledového úhlu-agnostic – bez ohledu na perspektivu a světelné podmínky, globální deskriptory by neměly zanechat žádné pochyby při rozlišování míst v různých obrázcích.

Kromě toho by proměnné objekty přítomné v oblasti zájmu neměly být vázány globálními deskriptory jako funkce rozlišující místa. Položky, jako je nábytek a vybavení, jsou náchylné ke změnám (přestavba, demontáž), což znamená, že nemohou definovat oblasti svou přítomností.

Počítačově podporované rozpoznávání míst závisí na trvalých prvcích prozkoumaných míst, jako jsou dveře, okna, schody a další charakteristické položky dlouhodobé povahy. Během výzkumu v otázce byla použita hluboká neuronová síť NetVLAD pro výpočty, která prezentovala vektory splňující stanovené požadavky. Při procesu párování globálních deskriptorů jsou zpracovávány obrázky nejpodobnějších vektorů, následující výpočty vzdálenosti mezi každým charakteristickým kotvičním bodem.

Při zpracování dvou databází – databáze místnosti a druhé, obsahující klíčové body a globální deskriptory – systém pracuje s atributy obrázků. Po provedení odhadu podobností a nejkratších vzdáleností identifikuje druhá neuronová síť, SuperGlue, obrázky umístění. Systém využívající VPR umožňuje lokalizaci uživatelů na základě počtu shodných klíčových bodů.

Algoritmy našly uplatnění v platformě AI & AR, která pomáhá uživatelům provádět školení vybavené chytrými brýlemi. VPR umožňuje lokalizaci trainee v pracovním prostoru, spouštění příslušných tutoriálů a návodů přiřazených k určitým místům, zlepšování bezpečnosti a snižování potřeby přímého dohledu.

Projekt spolufinancován z fondů Evropské unie v rámci Operačního programu Smart Growth. Projekt realizován v rámci Národního centra pro výzkum a vývoj: Fast Track.