Des chercheurs développent un nouvel algorithme de reconnaissance des gestes de la main

Une équipe de chercheurs dirigée par Zhiyi Yu de l'Université Sun Yat-sen a développé un nouvel algorithme de reconnaissance des gestes de la main qui est complexe, précis et applicable. 

Les gestes de la main sont de plus en plus adoptés pour les interactions homme-machine, et les progrès récents dans les systèmes de caméras, l'analyse d'images et l'apprentissage automatique ont considérablement amélioré la reconnaissance optique des gestes. Cela dit, les méthodes actuelles sont confrontées à de nombreux défis en raison de limitations liées à une complexité informatique élevée, à une faible vitesse, à une précision médiocre et au faible nombre de gestes reconnaissables. 

Le nouvel algorithme développé par l'équipe tente de surmonter ces limitations, et il a été détaillé dans un article publié dans le Journal de l'imagerie électronique. L'un des principaux objectifs de l'équipe était de créer un algorithme qui non seulement surmonte ces défis, mais peut également être facilement appliqué dans les appareils grand public.

Adaptabilité à différents types de mains

L'un des aspects les plus impressionnants de l'algorithme est son adaptabilité à différents types de mains. Il tente d'abord de classer le type de main de l'utilisateur comme mince, normal ou large. Pour ce faire, il se base sur trois mesures tenant compte des relations entre la largeur de la paume, la longueur de la paume et la longueur des doigts. 

Suite à une classification réussie, le processus de reconnaissance des gestes de la main compare le geste d'entrée avec des échantillons stockés du même type de main. 

"Les algorithmes simples traditionnels ont tendance à souffrir de faibles taux de reconnaissance car ils ne peuvent pas gérer différents types de mains. En classant d'abord le geste d'entrée par type de main, puis en utilisant des bibliothèques d'échantillons correspondant à ce type, nous pouvons améliorer le taux de reconnaissance global avec une consommation de ressources presque négligeable », explique Yu.

L'étape de préreconnaissance

La méthode de l'équipe repose également sur l'utilisation d'une « fonction de raccourci » pour effectuer une étape de préreconnaissance. L'algorithme de reconnaissance est capable d'identifier un geste d'entrée parmi neuf gestes possibles, mais il est extrêmement long de comparer toutes les caractéristiques du geste d'entrée avec celles des échantillons stockés pour tous les gestes possibles. 

Pour surmonter cela, l'étape de préreconnaissance de l'algorithme calcule un rapport de la surface de la main pour sélectionner les trois gestes les plus probables parmi les neuf possibles. Cela porte le nombre de gestes candidats à trois, et le geste final est décidé par une extraction de caractéristiques plus complexe et de haute précision basée sur les «moments invariants Hu».

"L'étape de préreconnaissance des gestes réduit non seulement le nombre de calculs et de ressources matérielles nécessaires, mais améliore également la vitesse de reconnaissance sans compromettre la précision", déclare Yu. 

L'algorithme a été testé dans un processeur PC commercial et une plate-forme FPGA à l'aide d'une caméra USB. L'équipe a fait appel à 40 volontaires pour effectuer les neuf gestes de la main plusieurs fois, et 40 autres ont été utilisés pour déterminer la précision du système.

Le système a démontré qu'il pouvait reconnaître les gestes de la main en temps réel avec un taux de précision de plus de 93 %. C'était le cas même lorsque les images gestuelles d'entrée étaient pivotées, traduites ou mises à l'échelle. 

Les chercheurs disent qu'ils vont maintenant chercher à se concentrer sur l'amélioration des performances de l'algorithme dans différentes conditions d'éclairage, ainsi qu'à augmenter le nombre de gestes possibles.