Lokalizace vnitřních uživatelů pomocí vizuálního rozpoznávání místa

Vizuální rozpoznávání místa je jedním ze základních kamenů vývoj počítačového vidění a robotiky. Úkolem VPR algoritmů je identifikovat zkoumaná místa na základě snímků. Technologie může podporovat autonomní roboty i lidskou pracovní sílu, identifikovat okolí a usnadnit provádění požadovaných akcí.

Výzkumníci ve společnosti NeuroSYS využívá algoritmy počítačového vidění jako součást vyvinuté platformy AR, Nsflow, který umožňuje interaktivní pracovní pokyny a praktická školení k identifikaci pozic uživatelů během školení na místě. V tomto případě vede použití VPR k výraznému zrychlení procesů onboardingu a učení díky snížené potřebě předchozího školení a dohledu.

Lokalizace osoby nebo nalezení požadovaného místa pomocí GPS je již stará zpráva. Co ale dělat, když je satelitní navigační systém nefunkční? Na pomoc přicházejí vnitřní polohovací systémy (IPS). 

Při hledání jehly v kupce sena můžete využít různé techniky, včetně majáků, magnetického polohování, inerciálních měřicích jednotek (IMU) s akcelerometry a gyroskopy, měření pohybu z posledního známého bodu, polohování na bázi wi-fi, popř. jednoduše – použijte vizuální značky. 

Všechny výše uvedené metody mají své nedostatky (např. nutnost instalovat markery nebo majáky, IMU zvyšující chybu měření v čase a vyžadující změnu polohy), které převažují nad jejich výhodami. Řešení, které odpovídá na zásadní problém – místo pobytu běžného uživatele s přesností na několik metrů – se ukazuje jako v kompetenci algoritmů. 

Projekt proces rozpoznávání míst spoléhá na dvoukrokový postup, vytvoření dvou databází. Nejprve se vyfotografuje cílové místo a určité položky, klíčové body, se označí detektorem rysů, aby se identifikovaly charakteristické prvky oblasti. Poté jsou označené body porovnány s referenčním snímkem. Jakmile jsou hodnocené klíčové body považovány za dostatečně podobné nástrojem pro vyhledávání funkcí, obrázek se kvalifikuje jako zobrazující stejné místo. 

Projekt databáze obrázků kombinuje obrázky cílových míst, v tomto případě pracovních prostorů, a sadu jejich vlastností včetně jedinečných identifikátorů, za nimiž následují lokální a globální deskriptory. Druhá sada, databáze místností, porovná singulární klíčové body s určitými oblastmi v uvažovaném prostoru. 

Pomocí neuronových sítí SuperPoint, SuperGlue a netVLAD z oblasti vizuálního rozpoznávání místa výzkumníci využili výše uvedený proces v uživatelské lokalizaci. Hluboké neuronové sítě, SuperPoint a SuperGlue, spolupracují při detekci a porovnávání funkcí, extrahují informace z databází. 

Na scénu vstupují globální deskriptory

Proces vyžaduje globální deskriptory, které slouží jako vektory rozlišující místo a identifikující oblasti způsobem, který nepředstavuje žádné nejednoznačnosti. Aby vektory plnily svou roli, měly by být osvětlené a agnostické – bez ohledu na perspektivu a světelné podmínky by globální deskriptory neměly nechat žádné pochybnosti při rozlišování míst na různých obrázcích. 

Kromě toho by proměnné objekty přítomné v oblasti zájmu neměly být vázány globálními deskriptory jako znaky rozlišujícími místa. Předměty jako nábytek a vybavení jsou náchylné ke změnám (přezdoba, demontáž), což znamená, že svou přítomností nemohou definovat oblasti. 

Počítačové vidění uznání místa spoléhá na trvalé prvky zkoumaných míst, jako jsou dveře, okna, schodiště a další výrazné předměty dlouhodobého charakteru. V průběhu daného výzkumu byla pro výpočty použita hluboká neuronová síť NetVLAD, která ve výsledku prezentuje vektory splňující stanovené požadavky. V procesu porovnávání globálních deskriptorů se zpracovávají obrazy nejpodobnějších vektorů po výpočtech vzdálenosti mezi každým charakteristickým kotevním bodem. 

Při zpracování dvou databází – pokojové a druhé, obsahující klíčové body a globální deskriptory – se systém zabývá atributy obrázků. Po provedení podobnosti a odhadu nejkratších vzdáleností druhá neuronová síť, SuperGlue, identifikuje snímky polohy. Systém využívající VPR umožňuje uživatelskou lokalizaci založenou stručně na počtu odpovídajících klíčových bodů. 

Algoritmy našly uplatnění v Platforma AI a AR, která pomáhá uživatelům provádět školení s chytrými brýlemi. VPR umožňuje lokalizaci účastníků na pracovišti, spouští vhodné tutoriály a průvodce přiřazené na konkrétní místa, zlepšuje bezpečnost a snižuje potřebu přímého dohledu. 

Projekt spolufinancovaný z fondů Evropské unie v rámci Evropských fondů pro regionální rozvoj v rámci operačního programu Smart Growth. Projekt realizovaný v rámci Národního centra výzkumu a vývoje: Fast Track.