AR, XR a mozková rozhraní
Pokroky v AR a VR s novou náramkovou kamerou
Přidejte Unite.AI mezi své preferované zdroje na Google
Rozšířená realita (AR) a virtuální realita (VR) udělaly další krok vpřed s vytvořením nového náramkového zařízení pro 3D odhad polohy ruky. Zařízení bylo vytvořeno výzkumníky z Tokijského technologického institutu (Tokyo Tech), spolu s týmy z Carnegie Mellon University, University of St Andrews a University of New South Wales.
Hlavním bodem nového systému je kamera, která je schopna pořizovat snímky ze zadní strany ruky. To dělá pomocí neuronové sítě nazvané DorsalNet. Neuronová síť je schopna identifikovat dynamické gesta.
Používání zařízení AR a VR se zvyšuje, zejména v odvětvích, jako je zdravotnictví, sport a zábava. Tento nový vývoj pomůže odstranit současné bulkier metody, které zahrnují velké rukavice, které znemožňují přirozené pohyby.
3D Systém rozpoznávání polohy ruky
Výzkumný tým byl veden Hideki Koike z Tokio Tech.
Podle výzkumníků, „Tato práce je první vizuálně založená reálná 3D odhad polohy ruky pomocí vizuálních funkcí z dorzální oblasti ruky. Systém se skládá z kamery podporované neuronovou sítí nazvanou DorsalNet, která může přesně odhadnout 3D polohu ruky detekcí změn na zadní straně ruky.“
Zařízení má kameru a nosí se na zápěstí, a funguje jako 3D systém rozpoznávání polohy ruky. Nejvýznamnějším aspektem zařízení, které by mohlo být podobné chytrým hodinkám, je, že může zachytit pohyby ruky i v případě, že se prostředí a zařízení samo pohybuje.
Přesnost a předběžné testy
Výzkum ukázal, že nově vyvinutý systém funguje lépe než předchozí pokusy. Konkrétně je v průměru o 20 % přesnější při rozpoznávání dynamických gest. Pokud jde o identifikaci konkrétních 11 různých typů úchopu, má přesnost 75 %.
Předběžné testy ukázaly, že systém může být použit pro ovládání chytrých zařízení. Tyto aplikace zahrnují věci, jako je změna času na chytrých hodinkách pouze změnou úhlu prstů. Kromě toho výzkumníci demonstrovali, jak může fungovat jako virtuální myš nebo klávesnice, umožňující akce, jako je rotace zápěstí pro ovládání ukazatele.
Podle výzkumníků bude třeba provést další vylepšení, aby systém mohl být použit v reálném světě. Například budou muset použít pokročilejší kameru s vyšším snímkovým kmitočtem, aby mohli zachytit rychlejší pohyby zápěstí, a také zvládnout různé světelné podmínky.
Výzkum bude prezentován na 33. ACM Symposium on User Interface Software and Technology (UIST), které se bude konat virtuálně od 20. do 23. října 2020.
