Vooruitgang in AR en VR met nieuwe polscamera

Augmenteerde realiteit (AR) en virtuele realiteit (VR) zijn een stap verder geavanceerd met de creatie van een nieuw polsgebonden apparaat voor 3D-handhoudingschatting. Het apparaat is ontwikkeld door onderzoekers aan het Tokyo Institute of Technology (Tokyo Tech), samen met teams van Carnegie Mellon University, de University of St Andrews en de University of New South Wales.

Het belangrijkste punt van het nieuwe systeem is een camera die in staat is om afbeeldingen op de achterkant van de hand te maken. Dit doet het door middel van een neurale netwerk genaamd DorsalNet. Het neurale netwerk kan dynamische gebaren identificeren.

Het gebruik van AR- en VR-apparaten neemt toe, vooral in branches zoals gezondheid, sport en entertainment. Deze nieuwe ontwikkeling zal helpen om de industrie weg te leiden van de meer omvangrijke methoden die momenteel worden gebruikt, waaronder grote handschoenen die het moeilijk maken voor natuurlijke beweging.

3D-handhoudingsherkenningssysteem

Het onderzoeksteam werd geleid door Hideki Koike aan Tokyo Tech.

Volgens de onderzoekers is “dit werk het eerste visuele, real-time 3D-handhoudingschattingssysteem dat gebruikmaakt van visuele functies uit het dorsale handgebied. Het systeem bestaat uit een camera die wordt ondersteund door een neurale netwerk genaamd DorsalNet, dat nauwkeurig 3D-handhoudingen kan schatten door veranderingen in de achterkant van de hand te detecteren.”

Het apparaat heeft een camera en wordt op de pols gedragen, en het fungeert als een 3D-handhoudingsherkenningssysteem. Het belangrijkste aspect van het apparaat, dat mogelijk vergelijkbaar is met een smartwatch, is dat het handbewegingen kan vastleggen, zelfs wanneer de omgeving en het apparaat zelf in beweging zijn.

Nauwkeurigheid en voorlopige tests

Het onderzoek toonde aan dat het nieuw ontwikkelde systeem beter presteert dan eerdere pogingen. In het bijzonder is het gemiddeld 20% nauwkeuriger in het herkennen van dynamische gebaren. Wanneer het gaat om het identificeren van 11 verschillende greepstypen, heeft het een nauwkeurigheidspercentage van 75%.

De voorlopige tests toonden aan dat het systeem kan worden gebruikt voor het besturen van slimme apparaten. Deze toepassingen omvatten dingen zoals het wijzigen van de tijd op een smartwatch door alleen de vingerhoek te veranderen. Bovendien toonden de onderzoekers aan hoe het kan fungeren als een virtuele muis of toetsenbord, waardoor acties zoals polsrotatie de cursor kunnen besturen.

Volgens de onderzoekers zullen er meer verbeteringen nodig zijn om het systeem in de echte wereld te gebruiken. Zo zullen ze bijvoorbeeld een geavanceerdere camera met een hogere frame-rate moeten gebruiken om snellere polsbewegingen vast te leggen, evenals omgaan met verschillende lichtomstandigheden.

Het onderzoek zal worden gepresenteerd op de 33e ACM Symposium on User Interface Software and Technology (UIST), dat van 20 tot 23 oktober 2020 online zal worden gehouden.