Système d’IA capable de reconnaître avec précision les gestes de la main

Un nouveau système d’intelligence artificielle (IA) capable de reconnaître les gestes de la main a été développé par des scientifiques de l’Université technologique de Nanyang, à Singapour (NTU Singapore). La technologie fonctionne en combinant des électroniques semblables à la peau avec la vision par ordinateur.

Le développement de systèmes d’IA pour reconnaître les gestes de la main humaine a lieu depuis environ 10 ans, et il est actuellement utilisé dans les robots chirurgicaux, les équipements de surveillance de la santé et dans les systèmes de jeux.

Les premiers systèmes d’IA de reconnaissance de gestes étaient uniquement visuels, et des entrées à partir de capteurs portables ont été intégrées pour les améliorer. Cela s’appelle la « fusion de données ». L’une des capacités de détection s’appelle « somatosensory », et les capteurs portables peuvent la recréer.

La précision de la reconnaissance des gestes est toujours difficile à atteindre en raison de la mauvaise qualité des données provenant des capteurs portables. Cela se produit en raison de l’encombrement et du mauvais contact avec l’utilisateur, ainsi que des effets d’objets visuellement bloqués et d’une mauvaise éclairage.

D’autres défis proviennent de l’intégration des données visuelles et sensorielles, puisque les ensembles de données non correspondants doivent être traités séparément et éventuellement fusionnés à la fin. Ce processus est inefficace et conduit à des temps de réponse plus lents.

L’équipe de NTU a trouvé quelques moyens pour surmonter ces défis, notamment la création d’un système de fusion de données « bio-inspiré » qui repose sur des capteurs de déformation étirables semblables à la peau fabriqués à partir de nanotubes de carbone à paroi unique. L’équipe s’est également appuyée sur l’IA comme moyen de représenter la façon dont la peau et la vision sont traitées ensemble dans le cerveau.

Trois approches de réseaux de neurones ont été combinées en un seul système pour développer le système d’IA. Les trois types de réseaux de neurones étaient : un réseau de neurones convolutionnel, un réseau de neurones sparse et un réseau de neurones multicouches.

En combinant ces trois, l’équipe a pu développer un système capable de reconnaître les gestes humains avec plus de précision que les autres méthodes.

Le professeur Chen Xiaodon est l’auteur principal de l’étude. Il est de l’École des sciences et de l’ingénierie des matériaux à NTU.

« Notre architecture de fusion de données a ses propres caractéristiques uniques bio-inspirées qui incluent un système créé par l’homme ressemblant à la hiérarchie de fusion somatosensory-visuelle dans le cerveau. Nous croyons que de telles caractéristiques rendent notre architecture unique par rapport aux approches existantes. »

Chen est également directeur du Centre d’innovation pour les dispositifs flexibles (iFLEX) à NTU.

« Par rapport aux capteurs portables rigides qui ne forment pas un contact suffisamment intime avec l’utilisateur pour une collecte de données précise, notre innovation utilise des capteurs de déformation étirables qui s’attachent confortablement à la peau humaine. Cela permet une acquisition de signaux de haute qualité, essentielle aux tâches de reconnaissance de haute précision », a déclaré Chen.

Les résultats de l’équipe composée de scientifiques de NTU Singapore et de l’Université de technologie de Sydney (UTS) ont été publiés en juin dans la revue scientifique Nature Electronics.

Test du système

L’équipe a testé le système d’IA bio-inspiré avec un robot contrôlé par des gestes de la main. Le robot a été guidé à travers un labyrinthe, et les résultats ont démontré que le système d’IA de reconnaissance de gestes de la main a pu guider le robot à travers le labyrinthe sans erreur. Cela comparé à un système de reconnaissance visuelle, qui a commis six erreurs dans le même labyrinthe.

Lors des tests dans des conditions difficiles, telles que le bruit et les mauvaises conditions d’éclairage, le système d’IA a maintenu une grande précision. Le taux de reconnaissance a atteint plus de 96,7 %.

Le Dr Wang Ming de l’École des sciences et de l’ingénierie des matériaux à NTU Singapore était l’auteur principal de l’étude.

« Le secret derrière la grande précision de notre architecture réside dans le fait que les informations visuelles et somatosensorielles peuvent interagir et se compléter à un stade précoce avant d’effectuer une interprétation complexe », a déclaré Ming. « En conséquence, le système peut collecter de manière rationnelle des informations cohérentes avec moins de données redondantes et moins d’ambiguïté perceptive, ce qui aboutit à une meilleure précision. »

Selon une opinion indépendante du professeur Markus Antonietti, directeur de l’Institut Max Planck de colloïdes et d’interfaces en Allemagne, « Les résultats de cet article nous font faire un pas de plus vers un monde plus intelligent et plus soutenu par les machines. Tout comme l’invention du smartphone qui a révolutionné la société, ce travail nous donne l’espoir que nous pourrions un jour contrôler physiquement tout notre monde environnant avec une grande fiabilité et précision à travers un geste. »

« Il y a simplement des applications infinies pour une telle technologie sur le marché pour soutenir cet avenir. Par exemple, depuis un contrôle de robot à distance sur des lieux de travail intelligents jusqu’à des exosquelettes pour les personnes âgées. »

L’équipe de recherche va maintenant travailler sur un système de réalité virtuelle et de réalité augmentée basé sur le système d’IA bio-inspiré.