Framsteg inom AR och VR med ny handledskamera

Förstärkt verklighet (AR) och virtuell verklighet (VR) har tagit ett steg framåt med skapandet av en ny handledsburen enhet för 3D-handposeestimering. Enheten skapades av forskare vid Tokyo Institute of Technology (Tokyo Tech), tillsammans med team från Carnegie Mellon University, University of St Andrews och University of New South Wales.

Den viktigaste punkten i det nya systemet är en kamera som kan ta bilder på baksidan av handen. Detta görs genom användning av ett neuronnät som kallas DorsalNet. Neuronnätverket kan identifiera dynamiska gester.

Användningen av AR- och VR-enheter ökar, särskilt inom branscher som hälsovård, sport och underhållning. Denna nya utveckling kommer att hjälpa branschen att gå bort från de mer omfattande metoder som för närvarande används, som inkluderar stora handskar som gör det svårt för naturlig rörelse.

3D Hand Pose Recognition System

Forskningsgruppen leddes av Hideki Koike vid Tokyo Tech.

Enligt forskarna är “detta arbete det första visionbaserade realtids-3D-handposeestimatoren som använder visuella funktioner från den dorsala handregionen. Systemet består av en kamera som stöds av ett neuronnät som kallas DorsalNet, som kan exakt uppskatta 3D-handposer genom att upptäcka förändringar i baksidan av handen.”

Enheten har en kamera och bärs på handleden, och den fungerar som ett 3D-handpose-igenkänningsystem. Det viktigaste aspekten av enheten, som kan liknas vid en smartklocka, är att den kan fånga handrörelser även när miljön och enheten själv rör sig.

Noggrannhet och preliminära tester

Forskningen visade att det nyligen utvecklade systemet fungerar bättre än tidigare försök. Specifikt är det i genomsnitt 20% mer exakt i att känna igen dynamiska gester. När det gäller att identifiera en specifik 11 olika greppstyper har det en noggrannhetsgrad på 75%.

De preliminära testerna visade att systemet kunde användas för att styra smarta enheter. Dessa applikationer inkluderar saker som att ändra en smartklocks tid genom att bara ändra fingerlutning. Utöver detta visade forskarna hur det kunde fungera som en virtuell mus eller tangentbord, vilket tillåter handlingar som handledsrotation för att styra en pekare.

Enligt forskarna kommer det att krävas ytterligare förbättringar för att systemet ska kunna användas i den verkliga världen. Till exempel kommer de att behöva använda en mer avancerad kamera med en högre bildfrekvens för att fånga snabbare handledsrörelser, samt hantera olika olika belysningsförhållanden.

Forskningen kommer att presenteras på den 33:e ACM Symposium on User Interface Software and Technology (UIST), som kommer att hållas virtuellt den 20-23 oktober 2020.