Le système d’IA peut reconnaître avec précision les gestes de la main

Un nouveau système d’intelligence artificielle (IA) capable de reconnaître les gestes de la main a été développé par des scientifiques de l’Université technologique de Nanyang (NTU) à Singapour. La technologie fonctionne en combinant des capteurs électroniques semblables à la peau avec la vision par ordinateur.

Le développement de systèmes d’IA pour reconnaître les gestes de la main humaine est en cours depuis environ 10 ans, et il est actuellement utilisé dans les robots chirurgicaux, les équipements de surveillance de la santé et les systèmes de jeux.

Les premiers systèmes d’IA de reconnaissance de gestes étaient basés uniquement sur la vision, et les entrées à partir de capteurs portables ont été intégrées pour les améliorer. Cela s’appelle « fusion de données ». L’une des capacités de détection s’appelle « somatosensory », et les capteurs portables peuvent la recréer.

La précision de la reconnaissance des gestes est encore difficile à atteindre en raison de la mauvaise qualité des données provenant des capteurs portables. Cela se produit en raison de l’encombrement et du mauvais contact avec l’utilisateur, ainsi que des effets d’objets visuellement bloqués et d’une mauvaise éclairage.

D’autres défis proviennent de l’intégration des données visuelles et sensorielles, car les ensembles de données non correspondants doivent être traités séparément et finalement fusionnés à la fin. Ce processus est inefficace et entraîne des temps de réponse plus lents.

L’équipe de NTU a trouvé quelques moyens de surmonter ces défis, notamment la création d’un système de fusion de données « bio-inspiré » qui repose sur des capteurs de déformation étirables semblables à la peau fabriqués à partir de nanotubes de carbone à paroi unique. L’équipe a également utilisé l’IA pour représenter la façon dont la peau et la vision sont traitées ensemble dans le cerveau.

Trois approches de réseaux de neurones ont été combinées en un seul système pour développer le système d’IA. Les trois types de réseaux de neurones étaient : un réseau de neurones convolutionnel, un réseau de neurones épars et un réseau de neurones multicouches.

En combinant ces trois, l’équipe a pu développer un système capable de reconnaître les gestes humains avec plus de précision que les autres méthodes.

Le professeur Chen Xiaodon est l’auteur principal de l’étude. Il est de l’École des sciences et du génie des matériaux à NTU.

« Notre architecture de fusion de données a ses propres caractéristiques bio-inspirées uniques qui incluent un système créé par l’homme qui ressemble à la hiérarchie de fusion somatosensory-visuelle dans le cerveau. Nous croyons que de telles caractéristiques rendent notre architecture unique par rapport aux approches existantes. »

Chen est également directeur du Centre d’innovation pour les dispositifs flexibles (iFLEX) à NTU.

« Par rapport aux capteurs portables rigides qui ne forment pas un contact suffisamment intime avec l’utilisateur pour une collecte de données précise, notre innovation utilise des capteurs de déformation étirables qui s’attachent confortablement à la peau humaine. Cela permet d’acquérir des signaux de haute qualité, essentiels aux tâches de reconnaissance de haute précision », a déclaré Chen.

Les résultats de l’équipe composée de scientifiques de NTU Singapour et de l’Université de technologie de Sydney (UTS) ont été publiés en juin dans la revue scientifique Nature Electronics.

Test du système

L’équipe a testé le système d’IA bio-inspiré avec un robot contrôlé par des gestes de la main. Le robot a été guidé à travers un labyrinthe, et les résultats ont montré que le système d’IA de reconnaissance de gestes de la main était capable de guider le robot à travers le labyrinthe sans erreur. Cela comparé à un système de reconnaissance basé sur la vision, qui a commis six erreurs dans le même labyrinthe.

Lors des tests dans des conditions difficiles, telles que le bruit et les mauvaises conditions d’éclairage, le système d’IA a maintenu une grande précision. Le taux de reconnaissance a atteint plus de 96,7 %.

Le Dr Wang Ming de l’École des sciences et du génie des matériaux à NTU Singapour était l’auteur principal de l’étude.

« Le secret derrière la grande précision de notre architecture réside dans le fait que les informations visuelles et somatosensorielles peuvent interagir et se compléter à un stade précoce avant d’effectuer une interprétation complexe », a déclaré Ming. « En conséquence, le système peut collecter des informations cohérentes avec moins de données redondantes et moins d’ambiguïté perceptive, ce qui entraîne une meilleure précision. »

Selon une opinion indépendante du professeur Markus Antonietti, directeur de l’Institut Max Planck de colloïdes et d’interfaces en Allemagne, « Les résultats de cet article nous font faire un pas de plus vers un monde plus intelligent et plus soutenu par les machines. Tout comme l’invention du smartphone qui a révolutionné la société, ce travail nous donne l’espoir que nous pourrions un jour contrôler physiquement tout notre monde environnant avec une grande fiabilité et une grande précision à travers un geste. »

« Il y a simplement des applications sans fin pour une telle technologie sur le marché pour soutenir cet avenir. Par exemple, d’un contrôle de robot à distance sur des lieux de travail intelligents à des exosquelettes pour les personnes âgées. »

L’équipe de recherche va maintenant travailler sur un système de réalité virtuelle et de réalité augmentée basé sur le système d’IA bio-inspiré.