Les ingénieurs développent un système de reconnaissance de gestes manuels basé sur l’IA

Les ingénieurs de l’Université de Californie, Berkeley, ont développé un dispositif capable de reconnaître les gestes manuels en fonction des signaux électriques détectés dans l’avant-bras. Ce système nouvellement développé est le résultat de capteurs biosensibles portables et d’intelligence artificielle (IA), et il pourrait conduire à une meilleure maîtrise des prothèses et de l’interaction homme-ordinateur.

Ali Moin faisait partie de l’équipe de conception et est un étudiant doctoral au département de génie électrique et d’informatique de l’UC Berkeley. Moin est également co-premier auteur de l’article de recherche publié en ligne le 21 décembre dans la revue Nature Electronics.

“Les prothèses sont une application importante de cette technologie, mais en plus, elle offre une façon très intuitive de communiquer avec les ordinateurs”, a déclaré Moin. “La lecture des gestes manuels est un moyen d’améliorer l’interaction homme-ordinateur. Et, bien qu’il existe d’autres moyens de le faire, par exemple en utilisant des caméras et une vision par ordinateur, c’est une bonne solution qui maintient également la confidentialité d’un individu.”

Système de reconnaissance de gestes manuels

L’équipe a travaillé avec Ana Arias, professeure de génie électrique à l’UC Berkeley, pendant le développement du système. Ensemble, ils ont conçu et créé un brassard flexible capable de lire des signaux électriques à 64 points différents sur l’avant-bras. Ces signaux électriques ont ensuite été transmis à une puce électrique programmée avec un algorithme d’IA. Cet algorithme peut identifier des modèles de signaux dans l’avant-bras qui proviennent de gestes manuels spécifiques.

L’algorithme a pu identifier 21 gestes manuels individuels.

“Lorsque vous voulez que vos muscles de la main se contractent, votre cerveau envoie des signaux électriques à travers les neurones de votre cou et de vos épaules jusqu’aux fibres musculaires de vos bras et de vos mains”, a déclaré Moin. “Essentiellement, ce que les électrodes dans le brassard détectent, c’est ce champ électrique. Ce n’est pas très précis, dans le sens où nous ne pouvons pas déterminer exactement quelles fibres ont été déclenchées, mais avec la densité élevée des électrodes, il peut encore apprendre à reconnaître certains modèles.”

L’algorithme d’IA apprend d’abord à identifier les signaux électriques dans le bras et les gestes manuels correspondants, ce qui nécessite que l’utilisateur porte le dispositif tout en faisant ces gestes. Ensuite, le système repose sur un algorithme de calcul hyperdimensionnel, qui est une IA avancée qui se met à jour en permanence. Cette technologie avancée permet au système de se corriger avec de nouvelles informations, telles que les mouvements du bras ou la transpiration.

“Dans la reconnaissance de gestes, vos signaux vont changer avec le temps, et cela peut affecter les performances de votre modèle”, a déclaré Moin. “Nous avons pu améliorer considérablement la précision de classification en mettant à jour le modèle sur le dispositif.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Calcul local sur la puce

Une autre fonctionnalité impressionnante du dispositif est que tout le calcul se fait sur la puce, ce qui signifie que aucune donnée personnelle n’est transmise à d’autres appareils. Cela entraîne un temps de calcul plus rapide et des données biologiques protégées.

Jan Rabaey est le professeur distingué Donald O. Pedersen de génie électrique à l’UC Berkeley et auteur principal de l’article.

“Lorsque Amazon (AMZN ) ou Apple (AAPL ) créent leurs algorithmes, ils exécutent un logiciel dans le cloud qui crée le modèle, puis le modèle est téléchargé sur votre appareil”, a déclaré Jan Rabaey. “Le problème est que vous êtes alors coincé avec ce modèle particulier. Dans notre approche, nous avons mis en œuvre un processus dans lequel l’apprentissage se fait sur l’appareil lui-même. Et c’est extrêmement rapide : vous n’avez qu’à le faire une fois, et il commence à fonctionner. Mais si vous le faites plusieurs fois, il peut s’améliorer. Il apprend donc en permanence, ce qui est la façon dont les humains le font.”

Selon Rabaey, le dispositif pourrait être commercialisé après quelques légères modifications.

“La plupart de ces technologies existent déjà ailleurs, mais ce qui est unique dans ce dispositif, c’est qu’il intègre la biosurveillance, le traitement et l’interprétation des signaux, ainsi que l’intelligence artificielle dans un système qui est relativement petit et flexible et a un faible budget d’alimentation”, a déclaré Rabaey.