Intelligence artificielle développée pour traduire l’activité cérébrale en mots

Les chercheurs de l’Université de Californie, San Francisco ont développé une intelligence artificielle (IA) capable de traduire l’activité cérébrale en texte. Le système fonctionne sur des modèles neuronaux détectés lorsque quelqu’un parle, mais les experts espèrent qu’il pourra éventuellement être utilisé pour les personnes incapables de parler, comme celles souffrant du syndrome de verrouillage.

Le Dr Joseph Makin était co-auteur de la recherche.

« Nous n’y sommes pas encore, mais nous pensons que cela pourrait être la base d’une prothèse de parole », a déclaré Makin.

La recherche a été publiée dans la revue Nature Neuroscience.

Test du système

Joseph Makin et son équipe ont utilisé des algorithmes d’apprentissage profond pour étudier les signaux cérébraux de quatre femmes alors qu’elles parlaient. Toutes les femmes ont l’épilepsie, et des électrodes ont été attachées à leur cerveau pour surveiller les crises.

Après que les électrodes aient été attachées, chaque femme a lu à haute voix un ensemble de phrases tandis que son activité cérébrale était mesurée. Le plus grand nombre de mots uniques utilisés était de 250. Elles pouvaient choisir parmi un ensemble de 50 phrases différentes, notamment « Tina Turner est une chanteuse pop », et « Ces voleurs ont volé 30 bijoux ».

Les données d’activité cérébrale ont ensuite été alimentées dans un algorithme de réseau neuronal, et celui-ci a été formé pour identifier des modèles régulièrement récurrents. Ces modèles pouvaient ensuite être liés à des aspects répétitifs de la parole comme les voyelles ou les consonnes. Ils ont ensuite été alimentés dans un second réseau neuronal qui a tenté de les convertir en mots pour former une phrase.

Chaque femme a été invitée à répéter les phrases au moins deux fois, avec la dernière répétition qui n’a pas été incluse dans les données d’entraînement. Cela a permis aux chercheurs de tester le système.

« Mémoriser l’activité cérébrale de ces phrases ne servirait à rien, donc le réseau doit apprendre ce qui est similaire entre elles afin qu’il puisse généraliser à cet exemple final », déclare Makin.

Résultats

Les premiers résultats du système n’ont pas produit de phrases qui ont un sens, mais il s’est amélioré à mesure que le système comparait chaque séquence de mots avec les phrases lues à haute voix.

L’équipe a ensuite testé le système en générant uniquement du texte écrit à partir de l’activité cérébrale pendant la parole.

Il y avait de nombreuses erreurs dans la traduction, mais le taux de précision était encore très impressionnant et bien meilleur que les approches précédentes. La précision variait d’une personne à l’autre, mais pour une personne, seulement 3 % de chaque phrase en moyenne nécessitaient des corrections.

L’équipe a également appris que l’algorithme d’entraînement sur les données d’un individu a permis au dernier utilisateur de fournir beaucoup moins de données.

Selon le Dr Christian Herff, de l’Université de Maastricht, mais qui n’a pas participé à l’étude, il est impressionnant que le système ait nécessité moins de 40 minutes de données d’entraînement pour chaque participant et une collection limitée de phrases, par rapport aux millions d’heures normalement nécessaires.

« En faisant cela, ils atteignent des niveaux de précision qui n’ont pas été atteints jusqu’à présent », a-t-il déclaré.

« Bien sûr, c’est une recherche fantastique, mais ces personnes pourraient simplement utiliser « OK Google (GOOGL ) » », a-t-il déclaré. « Ce n’est pas la traduction de la pensée [mais de l’activité cérébrale impliquée dans la parole]. »

Un autre défi pourrait être que les personnes ayant des déficiences de parole pourraient avoir une activité cérébrale différente.

« Nous voulons déployer cela chez un patient ayant une déficience de parole réelle », déclare Makin, « bien que cela soit possible que leur activité cérébrale puisse être différente de celle des femmes dans cette étude, ce qui rend les choses plus difficiles ».

Il reste encore un long chemin à parcourir pour traduire de manière exhaustive les données de signal cérébral. Les humains utilisent un nombre massif de mots, et l’étude n’a utilisé qu’un ensemble très restreint de parole.