AI dezvoltat pentru a traduce activitatea creierului în cuvinte 

Cercetători de la Universitatea din California, San Francisco au dezvoltat inteligența artificială (AI) care poate traduce activitatea creierului în text. Sistemul funcționează pe modele neuronale care sunt detectate atunci când cineva vorbește, dar experții speră că poate fi folosit în cele din urmă asupra persoanelor care nu pot vorbi, cum ar fi persoanele care suferă de sindromul blocat. 

Dr. Joseph Makin a fost co-autor al cercetării. 

„Nu suntem încă acolo, dar credem că aceasta ar putea fi baza unei proteze de vorbire”, a spus Makin.

Cercetarea a fost publicat în jurnal Natură Neuroștiință.

Testarea sistemului

Joseph Makin și echipa sa s-au bazat pe algoritmi de învățare profundă pentru a studia semnalele creierului a patru femei în timp ce vorbeau. Toate femeile au epilepsie, iar electrozi au fost atașați la creier pentru a monitoriza crizele. 

După ce electrozii au fost atașați, fiecare femeie a citit apoi cu voce tare un set de propoziții în timp ce activitatea creierului ei era măsurată. Cea mai mare cantitate de cuvinte unice folosite a fost 250. Au putut alege dintr-un set de 50 de propoziții diferite, inclusiv „Tina Turner este o cântăreață pop” și „Acei hoți au furat 30 de bijuterii”. 

Datele despre activitatea creierului au fost apoi transmise unui algoritm de rețea neuronală și au fost antrenate pentru a identifica modele care apar în mod regulat. Aceste modele ar putea fi apoi legate de aspecte repetate ale vorbirii, cum ar fi vocalele sau consoanele. Ei au fost apoi alimentați la o a doua rețea neuronală care a încercat să le transforme în cuvinte pentru a forma o propoziție. 

Fiecare femeie a fost rugată să repete propozițiile de cel puțin două ori, iar repetarea finală nu a fost inclusă în datele de antrenament. Acest lucru a permis cercetătorilor să testeze sistemul. 

„Reținerea activității creierului a acestor propoziții nu ar ajuta, așa că rețeaua trebuie în schimb să învețe ce este similar la ele, astfel încât să se poată generaliza la acest exemplu final”, spune Makin.

REZULTATE

Primele rezultate din sistem nu au creat propoziții care să aibă sens, dar s-au îmbunătățit pe măsură ce sistemul a comparat fiecare secvență de cuvinte cu propozițiile care au fost citite cu voce tare. 

Echipa a testat apoi sistemul generând text scris doar din activitatea creierului în timpul vorbirii. 

Au existat o mulțime de greșeli în traducere, dar rata de precizie a fost încă foarte impresionantă și mult mai bună decât abordările anterioare. Precizia a variat de la persoană la persoană, dar pentru un individ doar 3% din fiecare propoziție au avut nevoie de corecții în medie. 

Echipa a mai aflat că algoritmul de antrenament pe datele unui individ a permis utilizatorului final să ofere mult mai puțin. 

Potrivit dr. Christian Herff, care este de la Universitatea Maastricht, dar nu este implicat în studiu, este impresionant că sistemul a necesitat mai puțin de 40 de minute de date de antrenament pentru fiecare participant și o colecție limitată de propoziții, comparativ cu milioanele de ore în mod normal. necesar. 

„Procedând astfel, ei ating niveluri de precizie care nu au fost atinse până acum”, a spus el.

„Desigur, aceasta este o cercetare fantastică, dar acești oameni ar putea folosi și „OK Google”,” a spus el. „Aceasta nu este o traducere a gândirii [ci a activității creierului implicată în vorbire].”

O altă provocare ar putea fi aceea că persoanele cu dizabilități de vorbire ar putea avea o activitate cerebrală diferită. 

„Vrem să implementăm acest lucru la un pacient cu o dizabilitate reală de vorbire”, spune Makin, „deși este posibil ca activitatea lor cerebrală să fie diferită de cea a femeilor din acest studiu, ceea ce face acest lucru mai dificil.”

Mai este un drum lung de parcurs pentru a traduce datele semnalului cerebral în mod cuprinzător. Oamenii folosesc o cantitate masivă de cuvinte, iar studiul a folosit doar un set foarte restrâns de vorbire.