Postępy w technologii AR i VR dzięki nowej kamerze na nadgarstku

Rzeczywistość rozszerzona (AR) i wirtualna (VR) posunęły się o krok dalej dzięki stworzeniu nowego urządzenia noszonego na nadgarstku do estymacji pozy 3D ręki. Urządzenie zostało stworzone przez badaczy z Tokijskiego Instytutu Technologicznego (Tokyo Tech), wraz z zespołami z Uniwersytetu Carnegie Mellon, Uniwersytetu w St Andrews i Uniwersytetu Nowej Południowej Walii.

Głównym punktem nowego systemu jest kamera, która może przechwytywać obrazy na tył ręki. Robi to za pomocą sieci neuronowej o nazwie DorsalNet. Sieć neuronowa jest w stanie identyfikować dynamiczne gesty.

Użycie urządzeń AR i VR rośnie, szczególnie w branżach takich jak zdrowie, sport i rozrywka. Ten nowy rozwój pomoże przesunąć branżę od bardziej bully metod, na które obecnie się opiera, w tym dużych rękawic, które utrudniają naturalny ruch.

System rozpoznawania pozy 3D ręki

Zespół badawczy został poprowadzony przez Hideki Koike z Tokyo Tech.

Według badaczy, „Praca ta jest pierwszym wizyjnym estymatorem pozy 3D ręki w czasie rzeczywistym, wykorzystującym cechy wizualne z tyłu ręki. System składa się z kamery wspieranej przez sieć neuronową o nazwie DorsalNet, która może dokładnie estymować pozy 3D ręki, wykrywając zmiany na tył ręki.”

Urządzenie ma kamerę i jest noszone na nadgarstku, a działa jako system rozpoznawania pozy 3D ręki. Najważniejszym aspektem urządzenia, które mogłoby być podobne do zegarka, jest to, że może przechwytywać ruchy ręki, nawet gdy środowisko i urządzenie samo się porusza.

Dokładność i wstępne testy

Badania wykazały, że nowo opracowany system działa lepiej niż poprzednie próby. Konkretnie, jest on średnio o 20% bardziej dokładny w rozpoznawaniu dynamicznych gestów. Jeśli chodzi o identyfikację 11 różnych typów chwytu, ma wskaźnik dokładności 75%.

Wstępne testy wykazały, że system może być wykorzystywany do sterowania urządzeniami inteligentnymi. Zastosowania te obejmują takie rzeczy, jak zmiana czasu na zegarku inteligentnym, po prostu zmieniając kąt palców. Ponadto, badacze zademonstrowali, jak może on działać jako wirtualna mysz lub klawiatura, umożliwiając takie czynności, jak obrót nadgarstka do sterowania wskaźnikiem.

Według badaczy, będą musieli wprowadzić więcej ulepszeń, aby system mógł być wykorzystywany w świecie rzeczywistym. Na przykład, będą musieli wykorzystać bardziej zaawansowaną kamerę z wyższą częstotliwością klatek, aby przechwytywać szybsze ruchy nadgarstka, a także obsłużyć różne warunki oświetlenia.

Badania zostaną przedstawione na 33. sympozjum ACM o oprogramowaniu i technologii interfejsu użytkownika (UIST), które odbędzie się wirtualnie w dniach 20-23 października 2020 r.