Hjernimplantater og AI-modell brukt til å oversette tanker til tekst

Forskere ved University of California, San Francisco har nylig utviklet et AI-system som kan produsere tekst ved å analysere en persons hjernaktivitet, i praksis oversette tanker til tekst. AI-en tar imot neurale signaler fra en bruker og dekoderer dem, og den kan tyde opp til 250 ord i sanntid basert på en mengde mellom 30 og 50 setninger.

Ifølge Independent, ble AI-modellen trent på neurale signaler samlet inn fra fire kvinner. Deltagerne i eksperimentet hadde elektroder implantert i hjernene for å overvåke forekomsten av epileptiske anfall. Deltagerne ble bedt om å lese setninger høyt, og deres neurale signaler ble matet til AI-modellen. Modellen kunne skille neuralt aktivitet korrelert med bestemte ord, og mønsterene sammenfalt med de faktiske ordene omtrent 97% av tiden, med en gjennomsnittlig feilrate på rundt 3%.

Dette er ikke første gangen at neurale signaler har blitt korrelert med setninger, nevroforskere har arbeidet med lignende prosjekter i over et tiår. Imidlertid viser AI-modellen skapt av forskerne imponerende nøyaktighet og opererer i mer eller mindre sanntid. Modellen bruker et rekurrerende neuralt nettverk til å kode neuralt aktivitet inn i representasjoner som kan oversettes til ord. Som forfatterne sier i deres artikkel:

“Vi tok utgangspunkt i de nyeste fremskrittene i maskinoversettelse og trente et rekurrerende neuralt nettverk til å kode hver setning-lengde sekvens av neuralt aktivitet inn i en abstrakt representasjon, og deretter til å dekodere denne representasjonen, ord for ord, inn i en engelsk setning.”

Ifølge ArsTechnica, for å bedre forstå hvordan lenker ble gjort mellom neurale signaler og ord, eksperimenterte forskerne med å deaktivere forskjellige deler av systemet. Den systematiske deaktiveringen gjorde det klart at systemets nøyaktighet var på grunn av den neurale representasjonen. Det ble også funnet at deaktivering av audio-inngangene til systemet gjorde feilene øke, men den totale ytelsen ble likevel betraktet som pålitelig. Dette betyr at systemet potensielt kan være nyttig som en enhet for de som ikke kan snakke.

Når forskjellige deler av elektrodeninngangen ble deaktivert, ble det funnet at systemet var mest oppmerksom på bestemte nøkkelhjerneregioner assosiert med taleprosessering og -produksjon. For eksempel var en anstendig del av systemets ytelse basert på hjerneregioner som legger merke til lyden av en egen stemme når en snakker.

Mens de innledende resultater ser lovende ut, er forskningsteamet usikre på hvordan modellen vil skaleres til større vokabularer. Det er viktig at prinsippet kan generaliseres til større vokabularer, da den gjennomsnittlige engelske taleren har et aktivt vokabular på omtrent 20 000 ord. Den nåværende dekodemetoden opererer ved å tolke den statiske strukturen i en setning og bruke denne strukturen til å gjøre informerte gjetninger om ordene som matcher en bestemt neuralt aktivitetmønster. Ettersom vokabularet vokser, kan den totale nøyaktigheten reduseres ettersom flere neurale mønster kan ligne hverandre.

Forfatterne av artikkelen forklarer at selv om de håper dekoderen til slutt vil lære å skille vanlige, pålitelige mønster i språk, er de usikre på hvor mye data som er nødvendig for å trene en modell som kan generalisere til hverdagsengelsk. En mulig måte å håndtere dette problemet på er å supplere treningen med data samlet inn fra andre hjernen-datamaskin-grensesnitt som bruker ulike algoritmer og implantater.

Forskningen utført av forskerne ved University of California er bare et nytt utvikling i en voksende bølge av forskning og utvikling når det gjelder neurale grensesnitt og datamaskiner. Det kongelige selskapet ga ut en rapport i fjor som forutså at neurale grensesnitt som kobler mennesker til datamaskiner til slutt vil la mennesker lese hverandres tanker. Rapporten henviser til Neuralink-startupen skapt av Elon Musk og teknologier utviklet av Facebook (META ) som bevis på de kommende fremgangene i menneske-orientert datamaskinbruk. Det kongelige selskapet påpeker at menneske-datamaskin-grensesnitt vil være et kraftig alternativ i behandling av nevrodegenerative sykdommer som Alzheimers sykdom i løpet av de neste to tiårene.