Avanços em AR e VR com Nova Câmera de Pulso

A realidade aumentada (AR) e a realidade virtual (VR) deram um passo à frente com a criação de um novo dispositivo de pulso para estimativa de pose de mão 3D. O dispositivo foi criado por pesquisadores do Instituto de Tecnologia de Tóquio (Tokyo Tech), juntamente com equipes da Universidade Carnegie Mellon, da Universidade de St Andrews e da Universidade de Nova Gales do Sul.

O ponto principal do novo sistema é uma câmera capaz de capturar imagens na parte de trás da mão. Isso é feito por meio do uso de uma rede neural chamada DorsalNet. A rede neural é capaz de identificar gestos dinâmicos.

O uso de dispositivos AR e VR está aumentando, especialmente em indústrias como saúde, esportes e entretenimento. Este novo desenvolvimento ajudará a mover a indústria para longe dos métodos mais volumosos atualmente utilizados, que incluem luvas grandes que dificultam o movimento natural.

Sistema de Reconhecimento de Pose de Mão 3D

A equipe de pesquisa foi liderada por Hideki Koike no Tokyo Tech.

De acordo com os pesquisadores, “Este trabalho é o primeiro estimador de pose de mão 3D baseado em visão em tempo real que usa recursos visuais da região dorsal da mão. O sistema consiste em uma câmera apoiada por uma rede neural chamada DorsalNet, que pode estimar poses de mão 3D com precisão, detectando mudanças na parte de trás da mão.”

O dispositivo tem uma câmera e é usado no pulso, e atua como um sistema de reconhecimento de pose de mão 3D. O aspecto mais importante do dispositivo, que pode ser semelhante a um smartwatch, é que ele pode capturar movimentos de mão mesmo quando o ambiente e o dispositivo em si estão se movendo.

Precisão e Testes Preliminares

A pesquisa demonstrou que o sistema recém-desenvolvido performa melhor do que as tentativas anteriores. Especificamente, é em média 20% mais preciso no reconhecimento de gestos dinâmicos. Quando se trata de identificar 11 tipos de agarre diferentes, ele tem uma taxa de precisão de 75%.

Os testes preliminares mostraram que o sistema pode ser usado para controle de dispositivos inteligentes. Essas aplicações incluem coisas como mudar o horário de um smartwatch apenas mudando o ângulo do dedo. Além disso, os pesquisadores demonstraram como ele pode atuar como um mouse ou teclado virtual, permitindo ações como rotação do pulso para controlar um ponteiro.

De acordo com os pesquisadores, será necessário haver mais melhorias para que o sistema possa ser usado no mundo real. Por exemplo, eles precisarão usar uma câmera mais avançada com uma taxa de quadros mais alta para capturar movimentos de pulso mais rápidos, bem como lidar com diferentes condições de iluminação.

A pesquisa será apresentada no 33º Simposium de Tecnologia de Software de Interface de Usuário da ACM (UIST), que será realizado virtualmente de 20 a 23 de outubro de 2020.