AI utviklet for å oversette hjernaktivitet til ord

Forskere ved University of California, San Francisco har utviklet kunstig intelligens (AI) som kan oversette hjernaktivitet til tekst. Systemet virker på neurale mønster som detekteres når noen snakker, men eksperter håper at det kan brukes på personer som ikke kan snakke, som mennesker med låst-inn-syndrom.

Dr. Joseph Makin var medforfatter av forskningen.

“Vi er ikke der enda, men vi tror at dette kan være grunnlaget for en taleprotese,” sa Makin.

Forskningen ble publisert i tidsskriftet Nature Neuroscience.

Testing av systemet

Joseph Makin og hans team brukte dyptlæring-algoritmer til å studere hjernesignalene til fire kvinner mens de snakket. Alle kvinnene har epilepsi, og elektroder var festet til deres hjerner for å overvåke anfall.

Etter at elektrodene var festet, leste hver kvinne høyt en sett med setninger mens hjernaktiviteten hennes ble målt. Det største antallet unike ord som ble brukt var 250. De kunne velge fra et sett med 50 forskjellige setninger, inkludert “Tina Turner er en pop-sanger,” og “Tyvene stjal 30 juveler.”

Hjernaktivitetsdataene ble deretter matet inn i en neural nettverksalgoritme, og den ble trent til å identifisere regelmessig forekommende mønster. Disse mønstrene kunne deretter kobles til gjentakende aspekter av tale som vokaler eller konsonanter. De ble deretter matet inn i en annen neural nettverksalgoritme som forsøkte å konvertere dem til ord for å danne en setning.

Hver kvinne ble bedt om å gjenta setningene minst to ganger, med den siste gjentakelsen som ikke ble inkludert i treningsdataene. Dette tillot forskerne å teste systemet.

“Å huske hjernaktiviteten til disse setningene ville ikke hjelpe, så nettverket måtte i stedet lære hva som er likt om dem så det kan generalisere til dette siste eksemplet,” sier Makin.

Resultater

De første resultater fra systemet gjorde ikke setninger som gjorde mening, men det ble bedre etter hvert som systemet sammenlignet hver sekvens av ord med setningene som ble lest høyt.

Teamet testet deretter systemet ved å generere skrevet tekst bare fra hjernaktiviteten under tale.

Det var mange feil i oversettelsen, men nøyaktighetsraten var likevel svært imponerende og mye bedre enn tidligere tilnærminger. Nøyaktigheten varierte fra person til person, men for en enkelt person trengte bare 3% av hver setning i gjennomsnitt korreksjoner.

Teamet lærte også at treningsalgoritmen på en enkelt persons data tillot den endelige brukeren å gi mye mindre.

Ifølge Dr. Christian Herff, som er fra Maastricht University, men ikke involvert i studien, er det imponerende at systemet krevde mindre enn 40 minutters treningsdata for hver deltager og en begrenset samling av setninger, sammenlignet med millioner av timer som vanligvis kreves.

“Ved å gjøre dette oppnår de nivåer av nøyaktighet som ikke har blitt oppnådd så langt,” sa han.

“Selvfølgelig er dette fantastisk forskning, men disse menneskene kunne bare bruke ‘OK Google’ (GOOGL ) også,” sa han. “Dette er ikke oversettelse av tanker [men av hjernaktivitet involvert i tale].”

En annen utfordring kan være at mennesker med talehandikap kan ha forskjellig hjernaktivitet.

“Vi ønsker å deployere dette i en pasient med et faktisk talehandikap,” sier Makin, “selv om det er mulig at deres hjernaktivitet kan være forskjellig fra kvinnene i denne studien, og gjøre dette mer vanskelig.”

Det er fortsatt langt igjen å oversette hjernsignaldata komprehensivt. Mennesker bruker en enorm mengde ord, og studien brukte bare et svært begrenset sett av tale.