Framsteg inom AR och VR med ny handledskamera

Förstärkt verklighet (AR) och virtuell verklighet (VR) har tagit ett steg framåt med skapandet av en ny handledsburen enhet för 3D-handposestimering. Enheten skapades av forskare vid Tokyo Institute of Technology (Tokyo Tech), tillsammans med team från Carnegie Mellon University, University of St Andrews och University of New South Wales. 

Den viktigaste punkten i det nya systemet är en kamera som kan ta bilder på baksidan av handen. Detta görs genom användning av ett neuronnät som kallas DorsalNet. Neuronnätverket kan identifiera dynamiska gester.

Användningen av AR- och VR-enheter ökar, särskilt inom branscher som hälsovård, sport och underhållning. Denna nya utveckling kommer att hjälpa branschen att gå bort från de mer otympliga metoder som för närvarande används, som inkluderar stora handskar som gör det svårt för naturlig rörelse. 

3D Hand Pose Recognition System

Forskningsgruppen leddes av Hideki Koike vid Tokyo Tech. 

Enligt forskarna, “Detta arbete är den första visionbaserade realtids-3D-handposeestimatoren som använder visuella funktioner från den dorsala handregionen. Systemet består av en kamera som stöds av ett neuronnät som kallas DorsalNet, som kan exakt estimera 3D-handposer genom att upptäcka förändringar i baksidan av handen.” 

Enheten har en kamera och bärs på handleden, och den fungerar som ett 3D-handposeerkännande system. Det viktigaste aspekten av enheten, som kan liknas vid en smartklocka, är att den kan fånga handrörelser även när miljön och enheten själv är i rörelse. 

Noggrannhet och preliminära tester

Forskningen visade att det nyligen utvecklade systemet fungerar bättre än tidigare försök. Specifikt är det i genomsnitt 20% mer exakt i att känna igen dynamiska gester. När det gäller att identifiera en specifik 11 olika greppstyper har det en noggrannhetsgrad på 75%.

De preliminära testerna visade att systemet kunde användas för smarta enhetskontroll. Dessa applikationer inkluderar saker som att ändra en smartklockas tid genom att bara ändra fingerlutning. Utöver detta demonstrerade forskarna hur det kunde fungera som en virtuell mus eller tangentbord, vilket möjliggör åtgärder som handledsrotation för att styra en pekare.

Enligt forskarna kommer det att behövas fler förbättringar för att systemet ska kunna användas i den verkliga världen. Till exempel kommer de att behöva använda en mer avancerad kamera med högre bildfrekvens för att fånga snabbare handledsrörelser, samt hantera olika ljusförhållanden.

Forskningen kommer att presenteras på den 33:e ACM Symposium on User Interface Software and Technology (UIST), som kommer att hållas virtuellt den 20-23 oktober 2020.