Vooruitgang in AR en VR met nieuwe polscamera

Augmented reality (AR) en virtual reality (VR) zijn een stap verder gekomen met de creatie van een nieuw polsgebonden apparaat voor 3D-handpose-estimatie. Het apparaat is ontwikkeld door onderzoekers van de Tokyo Institute of Technology (Tokyo Tech), samen met teams van de Carnegie Mellon University, de University of St Andrews en de University of New South Wales.

Het belangrijkste punt van het nieuwe systeem is een camera die in staat is om afbeeldingen van de achterkant van de hand te maken. Dit doet het door middel van een neurale netwerk genaamd DorsalNet. Het neurale netwerk kan dynamische gebaren identificeren.

Het gebruik van AR- en VR-apparaten neemt toe, vooral in industrieën zoals gezondheidszorg, sport en entertainment. Deze nieuwe ontwikkeling zal helpen om de industrie weg te leiden van de meer omvangrijke methoden die momenteel worden gebruikt, waaronder grote handschoenen die het moeilijk maken voor natuurlijke bewegingen.

3D-Handpose-herkenningssysteem

Het onderzoeksteam werd geleid door Hideki Koike van Tokyo Tech.

Volgens de onderzoekers is “dit werk het eerste visuele, real-time 3D-handpose-estimatie-systeem dat gebruikmaakt van visuele kenmerken uit de dorsale handregio. Het systeem bestaat uit een camera die wordt ondersteund door een neurale netwerk genaamd DorsalNet, die 3D-handposities nauwkeurig kan schatten door veranderingen in de achterkant van de hand te detecteren.”

Het apparaat heeft een camera en wordt op de pols gedragen, en het fungeert als een 3D-handpose-herkenningssysteem. Het belangrijkste aspect van het apparaat, dat vergelijkbaar kan zijn met een smartwatch, is dat het handbewegingen kan vastleggen, zelfs wanneer de omgeving en het apparaat zelf in beweging zijn.

Nauwkeurigheid en voorlopige tests

Het onderzoek toonde aan dat het nieuw ontwikkelde systeem beter presteert dan eerdere pogingen. Specifiek is het gemiddeld 20% nauwkeuriger in het herkennen van dynamische gebaren. Wanneer het gaat om het identificeren van 11 verschillende greepstypen, heeft het een nauwkeurigheidspercentage van 75%.

De voorlopige tests toonden aan dat het systeem kan worden gebruikt voor het besturen van slimme apparaten. Deze toepassingen omvatten dingen zoals het wijzigen van de tijd op een smartwatch door alleen de vingerhoek te veranderen. Bovendien hebben de onderzoekers aangetoond hoe het kan fungeren als een virtuele muis of toetsenbord, waardoor acties zoals polsrotatie een cursor kunnen besturen.

Volgens de onderzoekers zal er meer verbetering nodig zijn om het systeem in de echte wereld te gebruiken. Zo zullen ze bijvoorbeeld een meer geavanceerde camera met een hogere frame-rate nodig hebben om snellere polsbewegingen te kunnen vastleggen, evenals omgaan met verschillende lichtomstandigheden.

Het onderzoek zal worden gepresenteerd op de 33e ACM Symposium on User Interface Software and Technology (UIST), dat virtueel zal worden gehouden van 20 tot 23 oktober 2020.