Postępy w technologii AR i VR dzięki nowej kamerze na nadgarstku

Rzeczywistość rozszerzona (AR) i wirtualna (VR) posunęły się o krok dalej dzięki stworzeniu nowego urządzenia noszonego na nadgarstku do estymacji 3D pozycji ręki. Urządzenie zostało stworzone przez badaczy z Tokyo Institute of Technology (Tokyo Tech), wraz z zespołami z Carnegie Mellon University, University of St Andrews i University of New South Wales. 

Głównym punktem nowego systemu jest kamera, która może przechwytywać obrazy na tył ręki. Robi to za pomocą sieci neuronowej o nazwie DorsalNet. Sieć neuronowa jest w stanie identyfikować dynamiczne gesty.

Użycie urządzeń AR i VR rośnie, szczególnie w branżach takich jak zdrowie, sport i rozrywka. Ten nowy rozwój pomoże przesunąć branżę od bardziej wymagających metod obecnie stosowanych, które obejmują duże rękawice, które utrudniają naturalny ruch. 

System rozpoznawania 3D pozycji ręki

Zespołem badawczym kierował Hideki Koike z Tokyo Tech. 

Według badaczy, „Praca ta jest pierwszym wizyjnym, czasie rzeczywistym estymatorem 3D pozycji ręki, wykorzystującym cechy wizualne z tyłu ręki. System składa się z kamery wspieranej przez sieć neuronową o nazwie DorsalNet, która może dokładnie estymować 3D pozycje ręki, wykrywając zmiany na tył ręki.” 

Urządzenie ma kamerę i jest noszone na nadgarstku, i działa jako system rozpoznawania 3D pozycji ręki. Najważniejszym aspektem urządzenia, które może być podobne do zegarka, jest to, że może przechwytywać ruchy ręki nawet wtedy, gdy środowisko i urządzenie samo jest w ruchu. 

Dokładność i wstępne testy

Badania wykazały, że nowo opracowany system działa lepiej niż poprzednie próby. Konkretnie, jest on średnio o 20% bardziej dokładny w rozpoznawaniu dynamicznych gestów. Jeśli chodzi o identyfikację 11 różnych typów chwytu, ma wskaźnik dokładności 75%.

Wstępne testy wykazały, że system może być użyty do sterowania urządzeniami inteligentnymi. Te aplikacje obejmują takie rzeczy, jak zmiana czasu na zegarku inteligentnym, po prostu zmieniając kąt palca. Poza tym, badacze wykazali, jak może on działać jako wirtualna mysz lub klawiatura, umożliwiając działania takie jak obrót nadgarstka, aby kontrolować wskaźnik.

Według badaczy, będą musieli wprowadzić więcej ulepszeń, aby system mógł być użyty w świecie rzeczywistym. Na przykład, będą musieli użyć bardziej zaawansowanej kamery z wyższą częstotliwością klatek, aby przechwytywać szybsze ruchy nadgarstka, a także radzić sobie z różnymi warunkami oświetlenia.

Badania zostaną przedstawione na 33. ACM Symposium on User Interface Software and Technology (UIST), które odbędzie się wirtualnie w dniach 20-23 października 2020 r.