Fortschritte in AR und VR mit neuer Handgelenkkamera

Augmented Reality (AR) und Virtual Reality (VR) haben einen weiteren Schritt vorwärts gemacht mit der Erstellung eines neuen Handgelenkgeräts für die 3D-Handpose-Schätzung. Das Gerät wurde von Forschern am Tokyo Institute of Technology (Tokyo Tech) entwickelt, zusammen mit Teams von der Carnegie Mellon University, der University of St Andrews und der University of New South Wales.

Der wichtigste Punkt des neuen Systems ist eine Kamera, die in der Lage ist, Bilder auf der Rückseite der Hand zu erfassen. Dies geschieht durch die Verwendung eines neuronalen Netzes namens DorsalNet. Das neuronale Netz kann dynamische Gesten erkennen.

Die Verwendung von AR- und VR-Geräten nimmt zu, insbesondere in Branchen wie Gesundheit, Sport und Unterhaltung. Diese neue Entwicklung wird dazu beitragen, die Branche von den derzeit verwendeten bulkgierigen Methoden wegzubewegen, die große Handschuhe beinhalten, die es schwierig machen, natürliche Bewegungen auszuführen.

3D-Handpose-Erkennungssystem

Das Forschungsteam wurde von Hideki Koike am Tokyo Tech geleitet.

Laut den Forschern ist “diese Arbeit die erste vision-basierte Echtzeit-3D-Handpose-Schätzung, die visuelle Merkmale aus der dorsalen Handregion verwendet. Das System besteht aus einer Kamera, die von einem neuronalen Netz namens DorsalNet unterstützt wird, das 3D-Handposen genau schätzen kann, indem es Änderungen auf der Rückseite der Hand erkennt.”

Das Gerät hat eine Kamera und wird am Handgelenk getragen und dient als 3D-Handpose-Erkennungssystem. Der wichtigste Aspekt des Geräts, das einem Smartwatch ähnelt, ist, dass es Handbewegungen auch dann erfassen kann, wenn die Umgebung und das Gerät selbst sich bewegen.

Genauigkeit und Vorläufige Tests

Die Forschung zeigte, dass das neu entwickelte System besser als vorherige Versuche funktioniert. Insbesondere ist es im Durchschnitt 20% genauer bei der Erkennung dynamischer Gesten. Bei der Identifizierung von 11 verschiedenen Greiftypen hat es eine Genauigkeitsrate von 75%.

Die vorläufigen Tests zeigten, dass das System für die Steuerung von Smart-Geräten verwendet werden kann. Diese Anwendungen umfassen Dinge wie das Ändern der Uhrzeit auf einer Smartwatch, indem man nur den Fingerwinkel ändert. Darüber hinaus demonstrierten die Forscher, wie es als virtueller Mauszeiger oder Tastatur dienen kann, um Aktionen wie das Drehen des Handgelenks zur Steuerung eines Zeigers zu ermöglichen.

Laut den Forschern müssen noch weitere Verbesserungen vorgenommen werden, damit das System in der realen Welt verwendet werden kann. Beispielsweise müssen sie eine fortschrittlichere Kamera mit einer höheren Bildfrequenz verwenden, um schnellere Handbewegungen zu erfassen, sowie verschiedene Beleuchtungsbedingungen handhaben.

Die Forschung wird auf dem 33. ACM-Symposium über Benutzeroberflächen-Software und -Technologie (UIST) vorgestellt, das virtuell vom 20. bis 23. Oktober 2020 stattfinden soll.