Progrès dans l’AR et le VR avec une nouvelle caméra pour le poignet

La réalité augmentée (AR) et la réalité virtuelle (VR) ont avancé d’un pas avec la création d’un nouveau dispositif porté au poignet pour l’estimation de la pose de la main 3D. Le dispositif a été créé par des chercheurs de l’Institut de technologie de Tokyo (Tokyo Tech), ainsi que des équipes de l’Université Carnegie Mellon, de l’Université de St Andrews et de l’Université de Nouvelle-Galles du Sud. 

Le point principal du nouveau système est une caméra capable de capturer des images sur le dos de la main. Elle le fait grâce à l’utilisation d’un réseau de neurones appelé DorsalNet. Le réseau de neurones est capable d’identifier des gestes dynamiques.

L’utilisation de dispositifs AR et VR est en augmentation, en particulier dans des secteurs tels que la santé, les sports et le divertissement. Ce nouveau développement aidera à faire évoluer l’industrie vers des méthodes moins encombrantes que celles actuellement utilisées, qui incluent des gants volumineux qui rendent difficile le mouvement naturel. 

Système de reconnaissance de pose de la main 3D

L’équipe de recherche a été dirigée par Hideki Koike à Tokyo Tech. 

Selon les chercheurs, « Ce travail est le premier estimateur de pose de la main 3D en temps réel basé sur la vision, utilisant des caractéristiques visuelles de la région dorsale de la main. Le système se compose d’une caméra supportée par un réseau de neurones nommé DorsalNet, qui peut estimer avec précision les poses de la main 3D en détectant les changements sur le dos de la main. » 

Le dispositif possède une caméra et est porté au poignet, et il agit comme un système de reconnaissance de pose de la main 3D. L’aspect le plus important du dispositif, qui pourrait être similaire à une montre intelligente, est qu’il peut capturer les mouvements de la main même lorsque l’environnement et le dispositif lui-même sont en mouvement. 

Précision et tests préliminaires

La recherche a démontré que le système nouvellement développé fonctionne mieux que les tentatives précédentes. Plus précisément, il est en moyenne 20 % plus précis dans la reconnaissance de gestes dynamiques. Lorsqu’il s’agit d’identifier des types de préhension spécifiques à 11, il a un taux de précision de 75 %.

Les tests préliminaires ont montré que le système pourrait être utilisé pour contrôler des appareils intelligents. Ces applications incluent des choses comme changer l’heure d’une montre intelligente en changeant simplement l’angle des doigts. En outre, les chercheurs ont démontré comment il pourrait agir comme une souris ou un clavier virtuel, permettant des actions comme la rotation du poignet pour contrôler un pointeur.

Selon les chercheurs, il faudra apporter plus d’améliorations pour que le système puisse être utilisé dans le monde réel. Par exemple, ils devront utiliser une caméra plus avancée avec un taux d’images plus élevé pour capturer des mouvements de poignet plus rapides, ainsi que gérer différentes conditions d’éclairage.

La recherche sera présentée au 33e ACM Symposium on User Interface Software and Technology (UIST), qui se tiendra virtuellement du 20 au 23 octobre 2020.