Progrès dans l’AR et le VR avec la nouvelle caméra de poignet

La réalité augmentée (AR) et la réalité virtuelle (VR) ont fait un pas de plus avec la création d’un nouveau dispositif porté au poignet pour l’estimation de la pose de la main 3D. Le dispositif a été créé par des chercheurs de l’Institut de technologie de Tokyo (Tokyo Tech), ainsi que des équipes de l’Université Carnegie Mellon, de l’Université de St Andrews et de l’Université de Nouvelle-Galles du Sud. 

Le point clé du nouveau système est une caméra capable de capturer des images sur le dos de la main. Elle le fait grâce à l’utilisation d’un réseau neuronal appelé DorsalNet. Le réseau neuronal est capable d’identifier des gestes dynamiques.

L’utilisation des dispositifs AR et VR est en augmentation, notamment dans des industries telles que la santé, les sports et le divertissement. Ce nouveau développement aidera à faire évoluer l’industrie vers des méthodes moins encombrantes que celles utilisées actuellement, qui incluent des gants volumineux qui rendent difficile les mouvements naturels. 

Système de reconnaissance de pose de la main 3D

L’équipe de recherche a été dirigée par Hideki Koike à Tokyo Tech. 

Selon les chercheurs, « Ce travail est le premier estimateur de pose de la main 3D en temps réel basé sur la vision, utilisant des caractéristiques visuelles de la région dorsale de la main. Le système se compose d’une caméra supportée par un réseau neuronal nommé DorsalNet, qui peut estimer avec précision les poses de la main 3D en détectant les changements sur le dos de la main. » 

Le dispositif comporte une caméra et est porté au poignet, et il agit comme un système de reconnaissance de pose de la main 3D. L’aspect le plus important du dispositif, qui pourrait ressembler à une montre intelligente, est qu’il peut capturer les mouvements de la main même lorsque l’environnement et le dispositif lui-même sont en mouvement. 

Précision et tests préliminaires

La recherche a démontré que le système nouvellement développé fonctionne mieux que les tentatives précédentes. Plus précisément, il est en moyenne 20 % plus précis dans la reconnaissance de gestes dynamiques. Lorsqu’il s’agit d’identifier 11 types de saisie différents, il a un taux de précision de 75 %.

Les tests préliminaires ont montré que le système pourrait être utilisé pour contrôler les appareils intelligents. Ces applications incluent des choses comme changer l’heure d’une montre intelligente en changeant simplement l’angle des doigts. En outre, les chercheurs ont démontré comment il pourrait agir comme une souris ou un clavier virtuel, permettant des actions comme la rotation du poignet pour contrôler un pointeur.

Selon les chercheurs, il faudra apporter davantage d’améliorations pour que le système puisse être utilisé dans le monde réel. Par exemple, ils devront utiliser une caméra plus avancée avec un taux d’images plus élevé afin de capturer des mouvements plus rapides du poignet, ainsi que gérer diverses conditions d’éclairage différentes.

La recherche sera présentée au 33e Symposium ACM sur les logiciels et les technologies d’interface utilisateur (UIST), qui doit se tenir virtuellement du 20 au 23 octobre 2020.