Pokroky v AR a VR s novou zápěstí kamerou

Rozšířená realita (AR) a virtuální realita (VR) pokročily o další krok s vytvořením nového zápěstí nositelného zařízení pro 3D odhad polohy ruky. Zařízení bylo vytvořeno výzkumníky z Tokijského technologického institutu (Tokyo Tech), spolu s týmy z Carnegie Mellon University, University of St Andrews a University of New South Wales. 

Hlavním bodem nového systému je kamera, která je schopná pořizovat snímky na zadní straně ruky. Toho dosahuje pomocí neuronové sítě nazvané DorsalNet. Neuronová síť je schopná identifikovat dynamické gesta.

Používání zařízení AR a VR se zvyšuje, zejména v odvětvích, jako je zdravotnictví, sport a zábava. Tento nový vývoj pomůže posunout průmysl pryč od více objemných metod, na kterých se目前 spolehlivě, které zahrnují velké rukavice, které činí přirozený pohyb obtížným. 

Systém rozpoznávání 3D polohy ruky

Výzkumný tým byl veden Hideki Koike z Tokyo Tech. 

Podle výzkumníků, „Tato práce je první vizuálně založený reálný čas 3D odhad polohy ruky pomocí vizuálních funkcí z dorsální oblasti ruky. Systém se skládá z kamery podporované neuronovou sítí nazvanou DorsalNet, která může přesně odhadnout 3D polohu ruky detekcí změn na zadní straně ruky.” 

Zařízení má kameru a nosí se na zápěstí a funguje jako systém rozpoznávání 3D polohy ruky. Nejvýznamnějším aspektem zařízení, které by mohlo být podobné jako chytré hodinky, je, že může zachytit pohyby ruky i v případě, že se prostředí a zařízení samo pohybuje. 

Přesnost a předběžné testy

Výzkum ukázal, že nově vyvinutý systém funguje lépe než předchozí pokusy. Konkrétně je v průměru o 20 % přesnější při rozpoznávání dynamických gest. Při identifikaci konkrétních 11 různých typů úchopu má přesnost 75 %.

Předběžné testy ukázaly, že systém by mohl být použit pro ovládání chytrých zařízení. Tyto aplikace zahrnují věci, jako je změna času na chytrých hodinkách pouze změnou úhlu prstů. Kromě toho výzkumníci demonstrovali, jak by mohl fungovat jako virtuální myš nebo klávesnice, umožňující akce, jako je rotace zápěstí pro ovládání ukazatele.

Podle výzkumníků bude třeba provést další zlepšení, aby systém mohl být použit v reálném světě. Například budou muset použít pokročilejší kameru s vyšším snímkovým frekvencí, aby mohli zachytit rychlejší pohyby zápěstí, a také zvládnout různé světelné podmínky.

Výzkum bude prezentován na 33. ACM Symposium on User Interface Software and Technology (UIST), které se bude konat virtuálně od 20. do 23. října 2020.