Dezvoltat un sistem de inteligență artificială pentru a traduce activitatea cerebrală în cuvinte

Cercetătorii de la Universitatea din California, San Francisco au dezvoltat o inteligență artificială (IA) care poate traduce activitatea cerebrală în text. Sistemul funcționează pe modele neuronale detectate atunci când cineva vorbește, dar experții speră că în cele din urmă poate fi utilizat și pentru persoanele care nu pot vorbi, cum ar fi cele afectate de sindromul de încarcerare.

Dr. Joseph Makin a fost coautor al cercetării.

„Nu suntem încă acolo, dar credem că acesta ar putea fi baza unei proteze de vorbire”, a spus Makin.

Cercetarea a fost publicată în revista Nature Neuroscience.

Testarea sistemului

Joseph Makin și echipa sa au utilizat algoritmi de învățare profundă pentru a studia semnalele cerebrale ale patru femei în timp ce vorbeau. Toate femeile au epilepsie, iar electrozii au fost atașați la creierul lor pentru a monitoriza crizele.

După ce electrozii au fost atașați, fiecare femeie a citit cu voce tare un set de propoziții, în timp ce activitatea sa cerebrală a fost măsurată. Cel mai mare număr de cuvinte unice utilizate a fost de 250. Ele puteau alege dintr-un set de 50 de propoziții diferite, inclusiv „Tina Turner este o cântăreață de pop” și „Hoții aceia au furat 30 de bijuterii”.

Datele privind activitatea cerebrală au fost apoi introduse într-un algoritm de rețea neuronală și au fost antrenate pentru a identifica modelele care apar în mod regulat. Aceste modele puteau fi legate de aspecte repetate ale vorbirii, cum ar fi vocalele sau consoanele. Apoi, au fost introduse într-o a doua rețea neuronală care a încercat să le convertească în cuvinte pentru a forma o propoziție.

Fiecare femeie a fost rugată să repete propozițiile de cel puțin două ori, cu ultima repetiție care nu a făcut parte din datele de antrenament. Acest lucru a permis cercetătorilor să testeze sistemul.

„Memorizarea activității cerebrale a acestor propoziții nu ar fi de ajutor, așa că rețeaua trebuie să învețe ce este similar între ele, astfel încât să poată generaliza la acest exemplu final”, spune Makin.

Rezultate

Primele rezultate ale sistemului nu au produs propoziții care să aibă sens, dar s-a îmbunătățit pe măsură ce sistemul a comparat fiecare secvență de cuvinte cu propozițiile citite cu voce tare.

Echipa a testat apoi sistemul generând text scris doar din activitatea cerebrală în timpul vorbirii.

Au existat multe greșeli în traducere, dar rata de acuratețe a fost încă foarte impresionantă și mult mai bună decât abordările anterioare. Acuratețea a variat de la o persoană la alta, dar pentru una dintre indivizi, doar 3% din fiecare propoziție, în medie, a necesitat corecții.

Echipa a învățat, de asemenea, că algoritmul de antrenament pe datele unei singure persoane a permis utilizatorului final să furnizeze mult mai puțin.

Conform dr. Christian Herff, de la Universitatea Maastricht, dar care nu a fost implicat în studiu, este impresionant că sistemul a necesitat mai puțin de 40 de minute de date de antrenament pentru fiecare participant și o colecție limitată de propoziții, comparativ cu milioanele de ore obișnuite.

„Prin aceasta, ei realizează niveluri de acuratețe care nu au fost atinse până acum”, a spus el.

„Desigur, aceasta este o cercetare fantastică, dar acești oameni ar putea utiliza și „OK Google (GOOGL ) ””, a spus el. „Acesta nu este o traducere a gândirii [ci a activității cerebrale implicate în vorbire]”.

O altă provocare ar putea fi că persoanele cu dizabilități de vorbire ar putea avea o activitate cerebrală diferită.

„Vrem să implementăm acest sistem la un pacient cu o dizabilitate de vorbire reală”, spune Makin, „deși este posibil ca activitatea sa cerebrală să fie diferită de cea a femeilor din acest studiu, ceea ce ar face acest lucru mai dificil”.

Mai este un drum lung de parcurs pentru a traduce datele semnalelor cerebrale în mod cuprinzător. Oamenii utilizează o cantitate uriașă de cuvinte, iar studiul a utilizat doar un set foarte restrictiv de vorbire.