AI udviklet til at oversætte hjernaktivitet til ord

Forskere ved University of California, San Francisco har udviklet kunstig intelligens (AI), der kan oversætte hjernaktivitet til tekst. Systemet virker på neurale mønstre, der detekteres, når nogen taler, men eksperter håber, at det kan bruges på personer, der ikke kan tale, som mennesker med låst syndrom.

Dr. Joseph Makin var medforfatter til forskningen.

“Vi er ikke der endnu, men vi mener, at dette kunne være grundlaget for en taleprotese,” sagde Makin.

Forskningen blev offentliggjort i tidsskriftet Nature Neuroscience.

Test af systemet

Joseph Makin og hans team afhængigt af dybe læringsalgoritmer til at studere hjernesignalerne fra fire kvinder, mens de talte. Alle kvinderne havde epilepsi, og elektroder var fastgjort til deres hjerner for at overvåge anfald.

Efter at elektroderne var fastgjort, læste hver kvinde en række sætninger højt, mens deres hjernaktivitet blev målt. Det største antal unikke ord, der blev brugt, var 250. De kunne vælge mellem en samling af 50 forskellige sætninger, herunder “Tina Turner er en popsanger” og “Tyvene stjal 30 juveler”.

Hjernaktivitetsdataene blev derefter ført ind i en neural netværksalgoritme, og den blev trænet til at identificere regelmæssigt forekommende mønstre. Disse mønstre kunne derefter kobles til gentagne aspekter af tale som vokaler eller konsonanter. De blev derefter ført ind i en anden neural netværksalgoritme, der forsøgte at konvertere dem til ord for at danne en sætning.

Hver kvinde blev bedt om at gentage sætningerne mindst to gange, med den sidste gentagelse, der ikke blev inkluderet i træningsdataene. Dette tillod forskerne at teste systemet.

“At huske hjernaktiviteten af disse sætninger ville ikke hjælpe, så netværket må i stedet lære, hvad der er ens om dem, så det kan generalisere til dette sidste eksempel,” siger Makin.

Resultater

De første resultater fra systemet gjorde ikke sætninger, der gjorde mening, men det forbedrede sig, da systemet sammenlignede hver sekvens af ord med de sætninger, der blev læst højt.

Holdet testede derefter systemet ved at generere skrevet tekst kun fra hjernaktiviteten under tale.

Der var mange fejl i oversættelsen, men nøjagtighedsraten var stadig meget imponerende og langt bedre end tidligere tilgange. Nøjagtigheden varierede fra person til person, men for en enkelt person behøvede kun 3% af hver sætning i gennemsnit korrektioner.

Holdet lærte også, at træningsalgoritmen på en enkelt persons data tillod den endelige bruger at give langt mindre.

Ifølge Dr. Christian Herff, der er fra Maastricht University, men ikke involveret i studiet, er det imponerende, at systemet krævede mindre end 40 minutters træningsdata for hver deltager og en begrænset samling af sætninger, i forhold til de millioner af timer, der normalt kræves.

“Ved at gøre det opnår de niveauer af nøjagtighed, der ikke er opnået før,” sagde han.

“Selvfølgelig er dette fantastisk forskning, men disse mennesker kunne bare bruge ‘OK Google’ (GOOGL ) også,” sagde han. “Dette er ikke oversættelse af tanker [men af hjernaktivitet involveret i tale].”

En anden udfordring kunne være, at personer med talehandicaps måske har anderledes hjernaktivitet.

“Vi ønsker at implementere dette i en patient med et reel talehandicap,” siger Makin, “selvom det er muligt, at deres hjernaktivitet kan være anderledes end den for kvinderne i denne studie, hvilket gør det mere svært.”

Der er stadig langt til at oversætte hjernsignaldata omfattende. Mennesker bruger en enorm mængde ord, og studiet brugte kun en meget begrænset samling af tale.