Hjärnimplantat och AI-modell används för att översätta tankar till text

Forskare vid University of California, San Francisco har nyligen skapat ett AI-system som kan producera text genom att analysera en persons hjärnaktivitet, vilket i princip översätter deras tankar till text. AI-systemet tar emot neuralsignaler från en användare och avkodar dem, och det kan tyda upp till 250 ord i realtid baserat på en uppsättning av mellan 30 till 50 meningar.

Enligt en rapport i The Independent tränades AI-modellen på neuralsignaler som samlats in från fyra kvinnor. Deltagarna i experimentet hade elektroder implanterade i sina hjärnor för att övervaka förekomsten av epileptiska anfall. Deltagarna instruerades att läsa meningar högt, och deras neuralsignaler matades in i AI-modellen. Modellen kunde urskilja neural aktivitet som korrelerade med specifika ord, och mönstren stämde överens med de faktiska orden ungefär 97% av tiden, med en genomsnittlig felrate på cirka 3%.

Detta är inte första gången som neuralsignaler har korrelerats med meningar, neurovetenskapsmän har arbetat med liknande projekt i över ett decennium. Men AI-modellen som skapats av forskarna visar imponerande noggrannhet och fungerar i mer eller mindre realtid. Modellen använder ett rekurrent neuronnät för att koda den neurala aktiviteten till representationer som kan översättas till ord. Som författarna skriver i sin artikel:

“Vi tog en ledtråd från de senaste framstegen inom maskinöversättning och tränade ett rekurrent neuronnät för att koda varje mening-längd sekvens av neural aktivitet till en abstrakt representation, och sedan för att avkoda denna representation, ord för ord, till en engelsk mening.”

Enligt ArsTechnica experimenterade forskarna genom att inaktivera olika delar av systemet för att bättre förstå hur länkarna mellan neuralsignaler och ord skapades. Den systematiska inaktiveringen gjorde det klart att systemets noggrannhet berodde på den neurala representationen. Det konstaterades också att inaktivering av ljudinmatningarna till systemet gjorde att felen ökade, men den övergripande prestationen var fortfarande ansedd som tillförlitlig. Detta betyder naturligtvis att systemet potentiellt kan vara användbart som en enhet för de som inte kan tala.

När olika delar av elektrodinmatningen inaktiverades, konstaterades det att systemet uppmärksammade vissa nyckelhjärnområden som är associerade med talbearbetning och produktion. Till exempel var en anständig del av systemets prestanda baserad på hjärnområden som uppmärksammade ljudet av den egna rösten när man talade.

Även om de första resultaten verkar lovande är forskarteamet inte säkert på hur väl modellen kommer att fungera med större ordförråd. Det är viktigt att principen kan generaliseras till större ordförråd, eftersom den genomsnittlige engelsktalande personen har ett aktivt ordförråd på cirka 20 000 ord. Den nuvarande avkodningsmetoden fungerar genom att tolka den statiska strukturen i en mening och använda den strukturen för att göra utbildade gissningar om de ord som matchar en viss neural aktivitetsmönster. När ordförrådet växer kan den övergripande noggrannheten minskas eftersom fler neurala mönster kan tendera att se likadana ut.

Författarna till artikeln förklarar att även om de hoppas att avkodaren till slut kommer att lära sig att urskilja regelbundna, tillförlitliga mönster i språk, är de inte säkra på hur mycket data som krävs för att träna en modell som kan generalisera till det vardagliga engelska språket. En möjlig lösning på detta problem är att komplettera utbildningen med data som samlats in från andra hjärndatorgränssnitt som använder olika algoritmer och implantat.

Forskningen som utförts av forskarna vid University of California är bara ett nyligt framsteg i en växande våg av forskning och utveckling när det gäller neurala gränssnitt och datorer. The Royal Society släppte en rapport förra året som förutspådde att neurala gränssnitt som kopplar människor till datorer kommer att låta människor läsa varandras tankar. Rapporten hänvisar till Neuralink-startupen skapad av Elon Musk och teknologier utvecklade av Facebook (META ) som bevis på de kommande framstegen inom människo-orienterad datorteknik. The Royal Society noterar att människa-datorgränssnitt kommer att vara ett kraftfullt alternativ för att behandla neurodegenerativa sjukdomar som Alzheimers under de närmaste två decennierna.