AI utvecklad för att översätta hjärnaktivitet till ord

Forskare vid University of California, San Francisco har utvecklat artificiell intelligens (AI) som kan översätta hjärnaktivitet till text. Systemet fungerar på neurala mönster som upptäcks när någon talar, men experter hoppas att det kan användas på individer som inte kan tala, som personer som lider av låst-in-syndrom.

Dr. Joseph Makin var medförfattare till forskningen.

“Vi är inte där än, men vi tror att detta kan vara grunden för en talprotes”, sa Makin.

Forskningen publicerades i tidskriften Nature Neuroscience.

Testning av systemet

Joseph Makin och hans team använde djupinlärningsalgoritmer för att studera hjärnsignalerna från fyra kvinnor när de talade. Alla kvinnorna har epilepsi, och elektroder var fästa vid deras hjärnor för att övervaka anfall.

Efter att elektroderna var fästa, läste varje kvinna sedan en uppsättning meningar högt medan deras hjärnaktivitet mättes. Det största antalet unika ord som användes var 250. De kunde välja mellan en uppsättning av 50 olika meningar, inklusive “Tina Turner är en pop-sångerska” och “Tjuvarna stal 30 juveler”.

Hjärnaktivitetsdata matades sedan in i en neurala nätverksalgoritm, och den tränades för att identifiera regelbundet förekommande mönster. Dessa mönster kunde sedan kopplas till upprepade aspekter av tal, som vokaler eller konsonanter. De matades sedan in i ett andra neurala nätverk som försökte omvandla dem till ord för att bilda en mening.

Varje kvinna ombads att upprepa meningarna minst två gånger, med den sista upprepningen som inte ingick i träningsdata. Detta tillät forskarna att testa systemet.

“Att memorera hjärnaktiviteten för dessa meningar skulle inte hjälpa, så nätverket måste istället lära sig vad som är likt dem så att det kan generalisera till detta slutliga exempel”, säger Makin.

Resultat

De första resultaten från systemet skapade inte meningar som gjorde mening, men det förbättrades när systemet jämförde varje sekvens av ord med meningarna som lästes högt.

Teamet testade sedan systemet genom att generera skriven text endast från hjärnaktiviteten under tal.

Det fanns många fel i översättningen, men noggrannhetsgraden var fortfarande mycket imponerande och betydligt bättre än tidigare tillvägagångssätt. Noggrannhetsgraden varierade från person till person, men för en individ behövde endast 3% av varje mening i genomsnitt korrigeras.

Teamet lärde sig också att träningsalgoritmen på en individs data tillät den slutliga användaren att tillhandahålla mycket mindre.

Enligt Dr. Christian Herff, som är från Maastricht University men inte involverad i studien, är det imponerande att systemet krävde mindre än 40 minuters träningsdata för varje deltagare och en begränsad samling meningar, jämfört med de miljontals timmar som normalt krävs.

“Genom att göra detta uppnår de nivåer av noggrannhet som inte har uppnåtts tidigare”, sa han.

“Naturligtvis är detta fantastisk forskning, men dessa människor kunde bara använda ‘OK Google’ också”, sa han. “Detta är inte översättning av tankar [utan av hjärnaktivitet involverad i tal]”.

En annan utmaning kan vara att personer med talsvårigheter kan ha annorlunda hjärnaktivitet.

“Vi vill använda detta i en patient med en verklig talsvårighet”, säger Makin, “även om det är möjligt att deras hjärnaktivitet kan skilja sig från de kvinnor som deltog i denna studie, vilket gör det svårare”.

Det finns fortfarande en lång väg att gå för att översätta hjärnsignalsdata helt. Människor använder en enorm mängd ord, och studien använde endast en mycket begränsad uppsättning tal.