Des ingénieurs développent un système de reconnaissance des gestes de la main basé sur l'IA

Des ingénieurs de l'Université de Californie à Berkeley ont développé un appareil capable de reconnaître les gestes de la main sur la base de signaux électriques détectés dans l'avant-bras. Ce système nouvellement développé est le résultat de biocapteurs portables et de l'intelligence artificielle (IA), et il pourrait conduire à un meilleur contrôle des prothèses et de l'interaction homme-ordinateur.

Ali Moin faisait partie de l'équipe de conception et est doctorant au département de génie électrique et d'informatique de l'UC Berkeley. Moin est également co-premier auteur du document de recherche publié en ligne le 21 décembre dans la revue Electronique Nature.

« Les prothèses constituent une application importante de cette technologie, mais elles offrent également un moyen très intuitif de communiquer avec les ordinateurs », a déclaré Moin. « La lecture des gestes de la main est un moyen d'améliorer l'interaction homme-machine. Et, bien qu'il existe d'autres moyens d'y parvenir, par exemple grâce aux caméras et à la vision par ordinateur, cette solution est efficace et préserve la vie privée des individus. »

Système de reconnaissance des gestes de la main

L'équipe a travaillé avec Ana Arias, professeur de génie électrique à l'UC Berkeley, lors du développement du système. Ensemble, ils ont conçu et créé un brassard flexible capable de lire des signaux électriques en 64 points différents sur l'avant-bras. Ces signaux électriques ont ensuite été introduits dans une puce électrique programmée avec un algorithme AI. Cet algorithme peut identifier des modèles de signaux dans l'avant-bras qui proviennent de gestes spécifiques de la main.

L'algorithme a pu identifier 21 gestes individuels de la main.

« Lorsque vous souhaitez contracter les muscles de vos mains, votre cerveau envoie des signaux électriques via les neurones du cou et des épaules aux fibres musculaires des bras et des mains », explique Moin. « En substance, ce que les électrodes du brassard détectent, c'est ce champ électrique. Ce n'est pas très précis, car nous ne pouvons pas identifier précisément les fibres qui ont été sollicitées, mais grâce à la forte densité d'électrodes, le système peut néanmoins apprendre à reconnaître certains schémas. »

L'algorithme d'intelligence artificielle apprend d'abord à identifier les signaux électriques dans le bras et leurs gestes de la main correspondants, ce qui oblige l'utilisateur à porter l'appareil tout en effectuant ces gestes. Pour aller plus loin, le système s'appuie sur un algorithme informatique hyperdimensionnel, qui est une IA avancée qui se met à jour en permanence. Cette technologie avancée permet au système de se corriger avec de nouvelles informations, telles que les mouvements des bras ou la transpiration.

"Dans la reconnaissance gestuelle, vos signaux vont changer avec le temps, et cela peut affecter les performances de votre modèle", a déclaré Moin. "Nous avons pu améliorer considérablement la précision de la classification en mettant à jour le modèle sur l'appareil."

Calculer localement sur la puce

Une autre caractéristique impressionnante de l'appareil est que tout le calcul a lieu sur la puce, ce qui signifie qu'aucune donnée personnelle n'est transmise à d'autres appareils. Il en résulte un temps de calcul plus rapide et des données biologiques protégées.

Jan Rabaey est professeur émérite Donald O. Pedersen de génie électrique à l'UC Berkeley et auteur principal de l'article.

« Lorsqu'Amazon ou Apple créent leurs algorithmes, ils exécutent un ensemble de logiciels dans le cloud qui créent le modèle, puis le téléchargent sur votre appareil », explique Jan Rabaey. « Le problème, c'est qu'on est alors bloqué sur ce modèle précis. Notre approche repose sur un processus d'apprentissage sur l'appareil lui-même. C'est extrêmement rapide : il suffit d'une seule tentative pour que le système fonctionne. Mais en répétant l'opération, on peut s'améliorer. Il s'agit donc d'un apprentissage continu, comme le font les humains. »

Selon Rabaey, l'appareil pourrait être commercialisé après quelques légères modifications.

"La plupart de ces technologies existent déjà ailleurs, mais ce qui est unique à propos de cet appareil, c'est qu'il intègre la biodétection, le traitement et l'interprétation du signal, et l'intelligence artificielle dans un système relativement petit et flexible et doté d'un faible budget énergétique", a déclaré Rabaey.