AR, XR et interfaces cerveau-machine
Percée majeure dans la communication télépathique humain-AI : MindSpeech décode les pensées continues en texte
Dans un bond en avant révolutionnaire dans l’interaction humain-AI, les scientifiques de MindPortal ont développé avec succès MindSpeech, le premier modèle d’IA capable de décoder la parole imaginaire continue en texte cohérent sans aucune procédure invasive. Cette avancée marque un jalon important dans la quête d’une communication intuitive et sans faille entre les humains et les machines.
L’étude pionnière : décodage de pensées non invasif
La recherche, menée par une équipe d’experts de premier plan et publiée sur arXiv et ResearchGate, démontre comment MindSpeech peut décoder des pensées complexes et libres en texte dans des conditions de test contrôlées. Contrairement aux efforts précédents qui nécessitaient une chirurgie invasive ou étaient limités à des indices verbaux simples et mémorisés, cette étude montre que l’IA peut interpréter dynamiquement la parole imaginaire à partir de l’activité cérébrale de manière non invasive.
Les chercheurs ont utilisé un système portable de spectroscopie fonctionnelle proche infrarouge (fNIRS) à haute densité pour surveiller l’activité cérébrale tandis que les participants imaginaient des phrases sur divers sujets. La nouvelle approche consistait en une tâche de « nuage de mots », où les participants étaient présentés avec des mots et invités à imaginer des phrases liées à ces mots. Cette tâche couvrait plus de 90 % des mots les plus fréquemment utilisés en anglais, créant ainsi un riche ensemble de données de 433 à 827 phrases par participant, avec une longueur moyenne de 9,34 mots.
Utilisation de l’IA avancée : Llama2 et signaux cérébraux
La composante IA de MindSpeech était alimentée par le modèle de langage Llama2 (LLM), un outil de génération de texte sophistiqué guidé par des embeddings générés à partir de signaux cérébraux. Ces embeddings ont été créés en intégrant les signaux cérébraux avec du texte d’entrée contextuel, permettant ainsi à l’IA de générer du texte cohérent à partir de la parole imaginaire.
Des métriques clés telles que BLEU-1 et BERT P scores ont été utilisées pour évaluer la précision du modèle d’IA. Les résultats étaient impressionnants, montrant des améliorations statistiquement significatives de la précision de décodage pour trois des quatre participants. Par exemple, le score BLEU-1 du participant 1 était nettement plus élevé à 0,265 par rapport à 0,224 avec des entrées permutées, avec une valeur p de 0,004, indiquant une performance robuste dans la génération de texte étroitement aligné sur les pensées imaginées.
Cartographie de l’activité cérébrale et formation du modèle
L’étude a également cartographié l’activité cérébrale liée à la parole imaginaire, se concentrant sur des zones telles que le cortex temporal latéral, le cortex préfrontal dorsolatéral (DLPFC) et les zones de traitement visuel dans la région occipitale. Ces résultats s’alignent sur les recherches antérieures sur le codage de la parole et soulignent la faisabilité de l’utilisation de la fNIRS pour la surveillance non invasive du cerveau.
La formation du modèle d’IA a impliqué un processus complexe d’ajustement de l’invite, où les signaux cérébraux ont été transformés en embeddings qui ont ensuite été utilisés pour guider la génération de texte par le LLM. Cette approche a permis la génération de phrases non seulement linguistiquement cohérentes mais également sémantiquement similaires à la parole imaginaire originale.
Un pas vers une communication humain-AI sans faille
MindSpeech représente une réalisation innovante dans la recherche en IA, démontrant pour la première fois qu’il est possible de décoder la parole imaginaire continue à partir du cerveau sans procédures invasives. Ce développement ouvre la voie à une communication plus naturelle et intuitive avec les systèmes d’IA, pouvant potentiellement transformer la façon dont les humains interagissent avec la technologie.
Le succès de cette étude met également en évidence le potentiel pour de nouvelles avancées dans le domaine. Même si la technologie n’est pas encore prête pour une utilisation généralisée, les résultats offrent un aperçu d’un avenir où la communication télépathique avec l’IA pourrait devenir une réalité.
Implications et recherches futures
Les implications de cette recherche sont vastes, allant de l’amélioration des technologies d’assistance pour les personnes ayant des troubles de la communication à l’ouverture de nouvelles frontières dans l’interaction humain-ordinateur. Cependant, l’étude souligne également les défis qui se posent, tels que l’amélioration de la sensibilité et de la généralisabilité du modèle d’IA et son adaptation à un éventail plus large d’utilisateurs et d’applications.
Les recherches futures se concentreront sur l’affinement des algorithmes d’IA, l’élargissement de l’ensemble de données avec plus de participants et l’exploration d’applications en temps réel de la technologie. L’objectif est de créer une véritable interface cerveau-ordinateur sans faille et universelle capable de décoder un large éventail de pensées et d’idées en texte ou d’autres formes de communication.
Conclusion
MindSpeech est une percée innovante dans la communication humain-AI, mettant en évidence le potentiel incroyable des interfaces cerveau-ordinateur non invasives.
Les lecteurs qui souhaitent en savoir plus sur cette entreprise devraient lire notre entretien avec Ekram Alam, PDG et co-fondateur de MindPortal, où nous discutons de la façon dont MindPortal interface avec les grands modèles de langage via des processus mentaux.












