Hjernimplantater og AI-modeller bruges til at oversætte tanker til tekst

Forskere ved University of California, San Francisco har nylig udviklet et AI-system, der kan producere tekst ved at analysere en persons hjernearbejde, og således oversætte deres tanker til tekst. AI-systemet tager neurale signaler fra en bruger og afkoder dem, og det kan tyde op til 250 ord i realtid baseret på en samling af mellem 30 til 50 sætninger.

Ifølge The Independent blev AI-modellen trænet på neurale signaler indsamlet fra fire kvinder. Deltagerne i eksperimentet havde elektroder implanteret i deres hjerner for at overvåge forekomsten af epileptiske anfald. Deltagerne blev bedt om at læse sætninger højt, og deres neurale signaler blev ført til AI-modellen. Modellen kunne skelne neurale aktiviteter, der korrelerede med bestemte ord, og mønstrene stemte overens med de faktiske ord omkring 97% af tiden, med en gennemsnitlig fejlrate på omkring 3%.

Dette er ikke første gang, at neurale signaler er blevet korreleret med sætninger, neuroforskere har arbejdet på lignende projekter i over et årti. Men AI-modellen, der er udviklet af forskerne, viser imponerende nøjagtighed og fungerer mere eller mindre i realtid. Modellen anvender et rekurrerende neuralt netværk til at kode den neurale aktivitet til repræsentationer, der kan oversættes til ord. Som forfatterne siger i deres artikel:

“Vi tog udgangspunkt i de seneste fremskridt inden for maskinoversættelse og trænede et rekurrerende neuralt netværk til at kode hver sætningslængde sekvens af neurale aktivitet til en abstrakt repræsentation, og derefter til at afkode denne repræsentation, ord for ord, til en engelsk sætning.”

Ifølge ArsTechnica eksperimenterede forskerne med at deaktivere forskellige dele af systemet for bedre at forstå, hvordan links blev lavet mellem neurale signaler og ord. Den systematiske deaktivering gjorde det klart, at systemets nøjagtighed skyldtes den neurale repræsentation. Det blev også fundet, at deaktivering af lydindgangene til systemet fik fejl til at springe, men den samlede præstation blev stadig betragtet som pålidelig. Det betyder åbenbart, at systemet potentielt kan være nyttigt som en enhed for dem, der ikke kan tale.

Når forskellige dele af elektrodenindgang blev deaktiveret, blev det fundet, at systemet var mest opmærksom på bestemte nøglehjerneregioner forbundet med talebehandling og -produktion. For eksempel var en anständig del af systemets præstation baseret på hjerneregioner, der opmærksommer sig på lyden af sin egen stemme, når man taler.

mens de første resultater synes lovende, er forskerholdet ikke sikre på, hvor godt modellen vil skaleres til større ordforråd. Det er vigtigt, at principperne kan generaliseres til større ordforråd, da den gennemsnitlige engelsktalende har et aktivt ordforråd på omkring 20.000 ord. Den nuværende afkodningsmetode fungerer ved at fortolke den statiske struktur af en sætning og bruge denne struktur til at gøre kyndige gæt om de ord, der matcher en bestemt neuralt aktivitetsmønster. Da ordforrådet vokser, kan den samlede nøjagtighed reduceres, da flere neurale mønstre kan ligne hinanden.

Artiklens forfattere forklarer, at selv om de håber, at afkodningen til sidst vil lære at skelne regelmæssige, pålidelige mønstre i sprog, er de ikke sikre på, hvor meget data der kræves for at træne en model, der kan generalisere til det daglige engelske sprog. En mulig måde at tackle dette problem på er at supplere træningen med data indsamlet fra andre hjernen-computer-grænseflader, der anvender forskellige algoritmer og implantater.

Forskningen udført af forskerne ved University of California er kun et nyt udviklingstrin i en voksende bølge af forskning og udvikling omkring neurale grænseflader og computere. Det Kongelige Selskab offentliggjorde for nylig en rapport, der forudsagde, at neurale grænseflader, der forbinder mennesker med computere, vil give mennesker mulighed for at læse hinandens tanker. Rapporten henviser til Neuralink-startup, grundlagt af Elon Musk, og teknologier udviklet af Facebook (META ) som bevis på de kommende fremskridt inden for menneske-orienteret computing. Det Kongelige Selskab påpeger, at menneske-computer-grænseflader vil være en kraftfuld mulighed for at behandle neurodegenerative sygdomme som Alzheimers sygdom i de næste to årtier.