Fremgang i AR og VR med ny håndleddkamera

Augmented reality (AR) og virtual reality (VR) har gått ett skritt videre med oppfinnelsen av en ny håndledd-enhet for 3D håndpose-estimering. Enheten ble utviklet av forskere ved Tokyo Institute of Technology (Tokyo Tech), sammen med team fra Carnegie Mellon University, University of St Andrews og University of New South Wales. 

Hovedpoenget med det nye systemet er et kamera som kan fange bilder av håndryggen. Dette gjøres ved hjelp av et neuralt nettverk kalt DorsalNet. Det neurale nettverket kan identifisere dynamiske gesturer.

Bruken av AR- og VR-enhetene øker, spesielt i bransjer som helse, idrett og underholdning. Denne nye utviklingen vil hjelpe å flytte industrien bort fra de mer bulke metodene som for tiden brukes, som inkluderer store hansker som gjør det vanskelig for naturlig bevegelse. 

3D Håndpose Gjenkjennelsessystem

Forskningsgruppen ble ledet av Hideki Koike ved Tokyo Tech. 

Ifølge forskerne, «Dette arbeidet er det første visjon-baserte sanntids 3D håndpose-estimatoren som bruker visuelle egenskaper fra håndryggsregionen. Systemet består av et kamera som støttes av et neuralt nettverk kalt DorsalNet, som kan nøyaktig estimere 3D håndposer ved å detektere endringer i håndryggen.» 

Enheten har et kamera og bæres på håndledden, og fungerer som et 3D håndpose-gjenkjennelsessystem. Det viktigste aspektet ved enheten, som kan ligne en smartklokke, er at den kan fange håndbevegelser selv når miljøet og enheten selv er i bevegelse. 

Nøyaktighet og Preliminære Tester

Forskningen viste at det nyutviklede systemet fungerer bedre enn tidligere forsøk. Spesielt er det i gjennomsnitt 20% mer nøyaktig i å gjenkjenne dynamiske gesturer. Når det gjelder å identifisere en bestemt 11 forskjellige grepstyper, har det en nøyaktighetsrate på 75%.

De preliminære testene viste at systemet kunne brukes til å kontrollere smarte enheter. Disse applikasjonene inkluderer ting som å endre en smartklokkas tid ved å bare endre finger-vinkelen. Foruten det, demonstrerte forskerne hvordan det kunne fungere som en virtuell mus eller tastatur, og tillate handlinger som håndrotasjon for å kontrollere en peker.

Ifølge forskerne, vil det være nødvendig med flere forbedringer for at systemet skal kunne brukes i den virkelige verden. For eksempel, vil de måtte bruke et mer avansert kamera med en høyere bildefrekvens for å fange raskere håndbevegelser, samt håndtere forskjellige lysforhold.

Forskningen vil bli presentert på det 33. ACM Symposium on User Interface Software and Technology (UIST), som skal holdes virtuelt 20.-23. oktober 2020.