Fremskridt i AR og VR med ny håndledskamera

Forstærket virkelighed (AR) og virtuel virkelighed (VR) er gået et skridt videre med opfindelsen af en ny håndledsbåret enhed til 3D-håndposeestimation. Enheden er blevet skabt af forskere ved Tokyo Institute of Technology (Tokyo Tech), sammen med hold fra Carnegie Mellon University, University of St Andrews og University of New South Wales.

Det vigtigste punkt i det nye system er et kamera, der kan fange billeder på bagsiden af hånden. Dette gøres via brug af et neuralt netværk kaldet DorsalNet. Det neurale netværk kan identificere dynamiske gestus.

Brugen af AR- og VR-enheder er stigende, især i brancher som sundhed, sport og underholdning. Denne nye udvikling vil hjælpe med at flytte branchen væk fra de mere klodsede metoder, der i øjeblikket bruges, som inkluderer store handsker, der gør det svært at bevæge sig naturligt.

3D Håndpose Genkendelsessystem

Forskningsholdet blev ledt af Hideki Koike ved Tokyo Tech.

Ifølge forskerne er “dette arbejde det første vision-baserede realtids 3D-håndposeestimator, der bruger visuelle funktioner fra dorsalhåndregionen. Systemet består af et kamera, der understøttes af et neuralt netværk kaldet DorsalNet, der kan nøjagtigt estimere 3D-håndposer ved at registrere ændringer i bagsiden af hånden.”

Enheden har et kamera og bæres på håndleddet og fungerer som et 3D-håndposegenkendelsessystem. Det vigtigste aspekt af enheden, der kunne ligne en smartwatch, er, at den kan fange håndbevægelser, selv når omgivelserne og enheden selv er i bevægelse.

Nøjagtighed og Præliminære Tests

Forskningen viste, at det nyligt udviklede system yder bedre end tidligere forsøg. Specifikt er det i gennemsnit 20% mere nøjagtigt i genkendelse af dynamiske gestus. Når det kommer til at identificere en bestemt 11 forskellige grebtyper, har det en nøjagtighedsrate på 75%.

De præliminære tests viste, at systemet kunne bruges til kontrol af smartenheder. Disse anvendelser inkluderer ting som at ændre en smartwatches tid ved blot at ændre fingerens vinkel. Ud over det demonstrerede forskerne, hvordan det kunne fungere som en virtuel mus eller tastatur, der tillader handlinger som håndledsrotation for at styre en peker.

Ifølge forskerne vil der være behov for yderligere forbedringer, før systemet kan bruges i den virkelige verden. For eksempel vil de være nødt til at bruge et mere avanceret kamera med en højere billedfrekvens for at fange hurtigere håndbevægelser samt håndtere forskellige lysforhold.

Forskningen vil blive præsenteret på den 33. ACM Symposium on User Interface Software and Technology (UIST), der er planlagt til at blive afholdt virtuelt den 20.-23. oktober 2020.