Fremgang i AR og VR med ny håndledskamera

Forstærket virkelighed (AR) og virtuel virkelighed (VR) er rykket et skridt videre med opfindelsen af en ny håndledsbårent enhed til 3D-håndstillingsskattning. Enheden blev oprettet af forskere ved Tokyo Institute of Technology (Tokyo Tech), sammen med hold fra Carnegie Mellon University, University of St Andrews og University of New South Wales.

Det væsentlige punkt i det nye system er et kamera, der kan optage billeder på bagsiden af hånden. Dette gøres via brug af et neuralt netværk kaldet DorsalNet. Det neurale netværk kan identificere dynamiske gestus.

Brugen af AR- og VR-enheder er stigende, især i brancher som sundhed, sport og underholdning. Denne nye udvikling vil hjælpe med at flytte branchen væk fra de mere klodsede metoder, der i øjeblikket anvendes, herunder store handsker, der gør det svært at bevæge sig naturligt.

3D Håndstillingsskattningssystem

Forskningsholdet blev ledet af Hideki Koike ved Tokyo Tech.

Ifølge forskerne, “Dette arbejde er den første vision-baserede realtids 3D-håndstillingsskattning ved hjælp af visuelle funktioner fra den dorsale håndregion. Systemet består af et kamera, der understøttes af et neuralt netværk kaldet DorsalNet, der kan nøjagtigt skatte 3D-håndstillinger ved at registrere ændringer i bagsiden af hånden.”

Enheden har et kamera og bæres på håndleddet og fungerer som et 3D-håndstillingsskattningssystem. Det vigtigste aspekt af enheden, der kunne ligne en smartwatch, er, at den kan registrere håndbevægelser, selv når omgivelserne og enheden selv er i bevægelse.

Nøjagtighed og præliminære tests

Forskningen viste, at det nyligt udviklede system yder bedre end tidligere forsøg. Specifikt er det i gennemsnit 20% mere nøjagtigt i at genkende dynamiske gestus. Når det kommer til at identificere en bestemt 11 forskellige grebtyper, har det en nøjagtighedsrate på 75%.

De præliminære tests viste, at systemet kunne bruges til kontrol af smartenheder. Disse anvendelser omfatter ting som at ændre en smartwatches tid ved blot at ændre fingervinkel. Ud over det demonstrerede forskerne, hvordan det kunne fungere som en virtuel mus eller tastatur, hvilket tillader handlinger som håndleddrotation til at styre en markør.

Ifølge forskerne vil der være behov for yderligere forbedringer, før systemet kan bruges i den virkelige verden. For eksempel vil de være nødt til at bruge et mere avanceret kamera med en højere billedfrekvens for at registrere hurtigere håndbevægelser, samt håndtere forskellige lysforhold.

Forskningen vil blive præsenteret på den 33. ACM Symposium on User Interface Software and Technology (UIST), der er planlagt til at afholdes virtuelt den 20.-23. oktober 2020.