Les chercheurs développent un nouvel algorithme de reconnaissance de gestes de la main

Une équipe de chercheurs dirigée par Zhiyi Yu de l’Université Sun Yat-sen a développé un nouvel algorithme de reconnaissance de gestes de la main qui est complexe, précis et applicable.

Les gestes de la main sont de plus en plus utilisés pour les interactions homme-ordinateur, et les récents progrès dans les systèmes de caméras, l’analyse d’images et l’apprentissage automatique ont considérablement amélioré la reconnaissance de gestes basée sur les capteurs optiques. Cependant, les méthodes actuelles sont confrontées à de nombreux défis en raison de limitations dans la complexité computationnelle élevée, la faible vitesse, la faible précision et le faible nombre de gestes reconnaissables.

Le nouvel algorithme développé par l’équipe tente de surmonter ces limitations, et il a été détaillé dans un article publié dans le Journal of Electronic Imaging. L’un des principaux objectifs de l’équipe était de créer un algorithme qui ne seulement surmontre ces défis, mais qui peut également être facilement appliqué dans les appareils grand public.

Adaptabilité à différents types de mains

L’un des aspects les plus impressionnants de l’algorithme est son adaptabilité à différents types de mains. Il tente d’abord de classer le type de main de l’utilisateur en mince, normal ou large. Il le fait sur la base de trois mesures qui tiennent compte des relations entre la largeur de la paume, la longueur de la paume et la longueur des doigts.

Après une classification réussie, le processus de reconnaissance de gestes de la main compare le geste d’entrée avec des échantillons stockés du même type de main.

“Les algorithmes traditionnels simples tendent à souffrir de faibles taux de reconnaissance parce qu’ils ne peuvent pas gérer les différents types de mains. En classifiant d’abord le geste d’entrée par type de main, puis en utilisant des bibliothèques d’échantillons qui correspondent à ce type, nous pouvons améliorer le taux de reconnaissance global avec une consommation de ressources presque nulle”, déclare Yu.

La phase de préreconnaissance

La méthode de l’équipe repose également sur l’utilisation d’une “fonctionnalité de raccourci” pour effectuer une phase de préreconnaissance. L’algorithme de reconnaissance est capable d’identifier un geste d’entrée parmi neuf gestes possibles, mais il est extrêmement chronophage de comparer toutes les caractéristiques du geste d’entrée avec celles des échantillons stockés pour tous les gestes possibles.

Pour surmonter cela, la phase de préreconnaissance de l’algorithme calcule un rapport entre la surface de la main et sélectionne les trois gestes les plus probables parmi les neuf possibles. Cela réduit le nombre de candidats à trois gestes, et le geste final est décidé par une extraction de caractéristiques plus complexe et plus précise basée sur les “moments invariants de Hu”.

“La phase de préreconnaissance du geste ne réduit pas seulement le nombre de calculs et de ressources matérielles requises, mais améliore également la vitesse de reconnaissance sans compromettre la précision”, déclare Yu.

L’algorithme a été testé sur un processeur PC commercial et une plate-forme FPGA en utilisant une caméra USB. L’équipe a demandé à 40 volontaires de faire les neuf gestes de la main à plusieurs reprises, et 40 autres ont été utilisés pour déterminer la précision du système.

Le système a démontré qu’il pouvait reconnaître les gestes de la main en temps réel avec un taux de précision supérieur à 93 %. Cela était le cas même lorsque les images de gestes d’entrée étaient tournées, traduites ou mises à l’échelle.

Les chercheurs déclarent qu’ils vont maintenant se concentrer sur l’amélioration des performances de l’algorithme dans différentes conditions d’éclairage, ainsi que sur l’augmentation du nombre de gestes possibles.