RA, XR e interfaces cerebrales
Avances en AR y VR con una nueva cámara de muñeca
Añade Unite.AI a tus fuentes preferidas en Google
La realidad aumentada (AR) y la realidad virtual (VR) han avanzado un paso más con la creación de un dispositivo de muñeca para la estimación de la pose de la mano 3D. El dispositivo fue creado por investigadores del Instituto de Tecnología de Tokio (Tokyo Tech), junto con equipos de la Universidad Carnegie Mellon, la Universidad de St Andrews y la Universidad de Nueva Gales del Sur.
El punto principal del nuevo sistema es una cámara que puede capturar imágenes en la parte posterior de la mano. Esto se logra mediante el uso de una red neuronal llamada DorsalNet. La red neuronal puede identificar gestos dinámicos.
El uso de dispositivos AR y VR está aumentando, especialmente en industrias como la salud, los deportes y el entretenimiento. Este nuevo desarrollo ayudará a mover la industria hacia métodos menos voluminosos que los actuales, que incluyen guantes grandes que dificultan el movimiento natural.
Sistema de reconocimiento de pose de mano 3D
El equipo de investigación fue liderado por Hideki Koike en Tokyo Tech.
Según los investigadores, “Este trabajo es el primer estimador de pose de mano 3D en tiempo real basado en la visión que utiliza características visuales de la región dorsal de la mano. El sistema consiste en una cámara respaldada por una red neuronal llamada DorsalNet, que puede estimar con precisión las poses de la mano 3D detectando cambios en la parte posterior de la mano”.
El dispositivo tiene una cámara y se lleva en la muñeca, y actúa como un sistema de reconocimiento de pose de mano 3D. El aspecto más importante del dispositivo, que podría ser similar a un reloj inteligente, es que puede capturar movimientos de la mano incluso cuando el entorno y el dispositivo en sí están en movimiento.
Precisión y pruebas preliminares
La investigación demostró que el sistema recién desarrollado funciona mejor que los intentos anteriores. En particular, es un 20% más preciso en el reconocimiento de gestos dinámicos. Cuando se trata de identificar 11 tipos de agarre diferentes, tiene una tasa de precisión del 75%.
Las pruebas preliminares mostraron que el sistema podría usarse para controlar dispositivos inteligentes. Estas aplicaciones incluyen cosas como cambiar la hora de un reloj inteligente simplemente cambiando el ángulo de los dedos. Además, los investigadores demostraron cómo podría actuar como un ratón o teclado virtual, permitiendo acciones como la rotación de la muñeca para controlar un puntero.
Según los investigadores, habrá que hacer más mejoras para que el sistema se pueda utilizar en el mundo real. Por ejemplo, necesitarán utilizar una cámara más avanzada con una tasa de cuadros más alta para capturar movimientos más rápidos de la muñeca, así como para manejar diferentes condiciones de iluminación.
La investigación se presentará en el 33rd Simposio de la ACM sobre tecnología de software de interfaz de usuario (UIST), que se llevará a cabo virtualmente del 20 al 23 de octubre de 2020.
