Comment l’IA rend la reconnaissance de la langue des signes plus précise que jamais

Lorsque nous pensons à briser les barrières de la communication, nous nous concentrons souvent sur les applications de traduction de langues ou les assistants vocaux. Mais pour des millions de personnes qui utilisent la langue des signes, ces outils n’ont pas encore comblé le fossé. La langue des signes n’est pas seulement une question de mouvements de mains – c’est une forme de communication riche et complexe qui inclut les expressions faciales et le langage corporel, chaque élément portant un sens crucial.

Voici ce qui rend cela particulièrement difficile : contrairement aux langues parlées, qui varient principalement en vocabulaire et en grammaire, les langues des signes du monde entier diffèrent fondamentalement dans la façon dont elles véhiculent le sens. La langue des signes américaine (ASL), par exemple, a sa propre grammaire et sa propre syntaxe qui ne correspondent pas à l’anglais parlé.

Cette complexité signifie que la création d’une technologie pour reconnaître et traduire la langue des signes en temps réel nécessite une compréhension d’un système de langage entier en mouvement.

Une nouvelle approche de la reconnaissance

C’est là que l’équipe de l’Université de Floride Atlantique (FAU) a décidé de prendre une approche fraîche. Au lieu d’essayer de résoudre toute la complexité de la langue des signes d’un seul coup, ils se sont concentrés sur la maîtrise d’une étape cruciale : reconnaître les gestes de l’alphabet ASL avec une précision sans précédent grâce à l’IA.

Imaginez-vous en train d’enseigner à un ordinateur à lire l’écriture manuscrite, mais en trois dimensions et en mouvement. L’équipe a créé quelque chose de remarquable : une base de données de 29 820 images statiques montrant des gestes de mains ASL. Mais ils n’ont pas seulement collecté des images. Ils ont marqué chaque image avec 21 points clés sur la main, créant une carte détaillée de la façon dont les mains bougent et forment différents signes.

Le Dr Bader Alsharif, qui a mené cette recherche en tant que candidat au doctorat, explique : « Cette méthode n’a pas été explorée dans les recherches précédentes, ce qui en fait une nouvelle et prometteuse direction pour les progrès futurs. »

Décortiquer la technologie

Plongeons dans la combinaison de technologies qui fait fonctionner le système de reconnaissance de la langue des signes.

MediaPipe et YOLOv8

La magie se produit grâce à l’intégration sans faille de deux outils puissants : MediaPipe et YOLOv8. Pensez à MediaPipe comme un expert en observation des mains – un interprète de langue des signes compétent qui peut suivre chaque mouvement subtil des doigts et chaque position de la main. L’équipe de recherche a choisi MediaPipe spécifiquement pour sa capacité exceptionnelle à fournir un suivi précis des repères de la main, en identifiant 21 points précis sur chaque main, comme mentionné ci-dessus.

Mais le suivi ne suffit pas – nous devons comprendre ce que ces mouvements signifient. C’est là que YOLOv8 entre en jeu. YOLOv8 est un expert en reconnaissance de modèles, prenant tous ces points suivis et déterminant quel lettre ou geste ils représentent. La recherche montre que lorsque YOLOv8 traite une image, il la divise en une grille S × S, chaque cellule de la grille étant responsable de la détection d’objets (dans ce cas, des gestes de mains) à l’intérieur de ses limites.

Alsharif et al., Franklin Open (2024)

Comment le système fonctionne réellement

Le processus est plus sophistiqué qu’il n’y paraît à première vue.

Voici ce qui se passe derrière la scène :

Étape de détection de la main

Lorsque vous faites un signe, MediaPipe identifie d’abord votre main dans le cadre et cartographie les 21 points clés. Ce ne sont pas juste des points aléatoires – ils correspondent à des articulations et des repères spécifiques sur votre main, des doigts jusqu’à la base de la paume.

Analyse spatiale

YOLOv8 prend ensuite ces informations et les analyse en temps réel. Pour chaque cellule de la grille dans l’image, il prédit :

• La probabilité de la présence d’un geste de main
• Les coordonnées précises de l’emplacement du geste
• Le score de confiance de sa prédiction

Classification

Le système utilise quelque chose appelé « prédiction de boîte de délimitation » – imaginez dessiner un rectangle parfait autour de votre geste de main. YOLOv8 calcule cinq valeurs cruciales pour chaque boîte : les coordonnées x et y du centre, la largeur, la hauteur et un score de confiance.

Alsharif et al., Franklin Open (2024)

Pourquoi cette combinaison fonctionne si bien

L’équipe de recherche a découvert que, en combinant ces technologies, ils ont créé quelque chose de plus grand que la somme de ses parties. Le suivi précis de MediaPipe combiné à la détection d’objets avancée de YOLOv8 a produit des résultats remarquablement précis – nous parlons d’un taux de précision de 98 % et d’un score F1 de 99 %.

Ce qui rend cela particulièrement impressionnant, c’est la façon dont le système gère la complexité de la langue des signes. Certains signes peuvent sembler très similaires aux yeux non formés, mais le système peut repérer des différences subtiles.

Résultats record

Lorsque les chercheurs développent de nouvelles technologies, la grande question est toujours : « Comment ça fonctionne réellement ? » Pour ce système de reconnaissance de la langue des signes, les résultats sont impressionnants.

L’équipe de la FAU a soumis leur système à des tests rigoureux, et voici ce qu’ils ont trouvé :

• Le système identifie correctement les signes 98 % du temps
• Il détecte 98 % de tous les signes faits devant lui
• Le score de performance global atteint un impressionnant 99 %

« Les résultats de notre recherche démontrent la capacité de notre modèle à détecter et à classifier avec précision les gestes de la langue des signes américaine avec très peu d’erreurs », explique Alsharif.

Le système fonctionne bien dans des situations quotidiennes – différentes lumières, positions de main variées et même avec différentes personnes qui font des signes.

Cette percée pousse les limites de ce qui est possible dans la reconnaissance de la langue des signes. Les systèmes précédents ont lutté pour l’exactitude, mais en combinant le suivi des mains de MediaPipe avec les capacités de détection de YOLOv8, l’équipe de recherche a créé quelque chose de spécial.

« Le succès de ce modèle est largement dû à l’intégration soigneuse de l’apprentissage de transfert, à la création méticuleuse de la base de données et au réglage précis », déclare Mohammad Ilyas, l’un des co-auteurs de l’étude. Cette attention aux détails a payé en termes de performance remarquable du système.

Ce que cela signifie pour la communication

Le succès de ce système ouvre des possibilités excitantes pour rendre la communication plus accessible et plus inclusive.

L’équipe ne s’arrête pas à la reconnaissance des lettres. Le prochain grand défi est d’enseigner au système à comprendre un éventail encore plus large de formes de mains et de gestes. Pensez à ces moments où les signes semblent presque identiques – comme les lettres « M » et « N » en langue des signes. Les chercheurs travaillent à aider leur système à repérer ces différences subtiles encore mieux. Comme le dit le Dr Alsharif : « Il est important de noter que les résultats de cette étude soulignent non seulement la robustesse du système, mais également son potentiel à être utilisé dans des applications pratiques et en temps réel. »

L’équipe se concentre maintenant sur :

• Faire fonctionner le système sur des appareils réguliers
• Le rendre suffisamment rapide pour des conversations en temps réel
• S’assurer qu’il fonctionne de manière fiable dans n’importe quel environnement

Le doyen Stella Batalama de la faculté d’ingénierie et de sciences informatiques de la FAU partage la vision plus large : « En améliorant la reconnaissance de la langue des signes américaine, ce travail contribue à la création d’outils qui peuvent améliorer la communication pour la communauté sourde et malentendante. »

Imaginez que vous entrez dans un cabinet médical ou que vous assistez à un cours où cette technologie comble les lacunes de communication instantanément. C’est l’objectif réel ici – rendre les interactions quotidiennes plus fluides et plus naturelles pour tous les participants. C’est créer une technologie qui aide réellement les gens à se connecter. Que ce soit dans l’éducation, les soins de santé ou les conversations quotidiennes, ce système représente un pas vers un monde où les barrières de la communication continuent de diminuer.