Taleteknologi for gjenoppreting av taleevne hos pasienter med alvorlig lammelse

I en ny stor utvikling innen kunstig intelligens (AI) og proteser, har forskere ved University of California San Francisco utviklet en “tale-neuroprotese” som delvis har gjenopprettet taleevnen hos en mann med alvorlig lammelse. Den nye teknologien hjalp ham å snakke i setninger når den oversatte signaler fra hjernen hans til vokaltrakten. Ordene ble deretter vist som tekst på en skjerm.

Arbeidet involverte den første deltageren i en klinisk forskningsstudie, og det var en del av et større arbeid som har pågått i over ti år av UCSF-neurokirurgen Edward Chang, MD, som har forsøkt å utvikle en teknologi som gjør det mulig for mennesker med lammelse å kommunisere selv når de ikke kan snakke på egen hånd.

Studien ble publisert den 15. juli i New England Journal of Medicine.

Første system av sin type

Chang er Joan og Sanford Weill-stolen for nevrokirurgi ved UCSF og Jeanne Robertson-distinguished professor. Han er også seniorforfatter av studien.

“Så langt vi vet, er dette den første vellykkede demonstrasjonen av direkte dekoding av hele ord fra hjernens aktivitet hos noen som er lammet og ikke kan snakke,” sa Chang. “Det viser sterk løfte om å gjenopprette kommunikasjon ved å bruke hjernens naturlige talemaskineri.”

Arbeid i dette feltet dreier seg tradisjonelt om å gjenopprette kommunikasjon gjennom stavebaserte tilnærminger for å skrive ut bokstaver en etter en i tekst. Men den nye studien fokuserer på å oversette signaler som faktisk er ment å kontrollere muskler i vokalsystemet for å snakke ord. Dette er forskjellig fra det tradisjonelle arbeidet, som fokuserer på signalene som flytter armen eller hånden.

Ifølge Chang, utnytter den nye tilnærmingen de naturlige og flytende aspektene av tale, og det kan føre til langt flere fremgang i dette området. Han sa også at stavebaserte tilnærminger som avhenger av skriving, skrivning og kontroll av en markør, er mye langsommere.

“Med tale, kommuniserer vi vanligvis informasjon i en meget høy rate, opp til 150 eller 200 ord per minutt,” sa han. “Å gå rett til ord, som vi gjør her, har store fordeler fordi det er nærmere hvordan vi vanligvis snakker.”

Changs tidligere arbeid avhengig av pasienter ved UCSF Epilepsi-senteret som gjennomgikk nevrokirurgi for å påvise hva som forårsaket deres anfall, og det brukte elektrode-arrays som ble plassert på overflaten av pasientens hjerner. Pasientene hadde normal tale, og resultater hjalp til å føre til den nåværende studien for personer med lammelse.

Noen av de nye metodene som ble utviklet av teamet, inkluderte en måte å dekodere kortikale aktivitetsmønster og statistisk språk for å forbedre nøyaktigheten.

David Moses, PhD, er en postdoktorand i Chang Lab og en av de ledende forfatterne.

“Våre modeller måtte lære kartleggingen mellom komplekse hjernaktivitetsmønster og mentale tale,” sa Moses. “Det stiller en stor utfordring når deltageren ikke kan snakke.”

Den første deltageren

Studiens første deltager var en mann i slutten av 30-årene som led av en hjernestamme-infarkt for over 15 år siden, som hadde ført til at forbindelsen mellom hjernen og vokaltrakten og lemmer var alvorlig skadet.

Ved å utvikle en 50-ords vokabular som Changs team kunne bruke avanserte datamaskinalgoritmer til å gjenkjenne, kunne deltageren lage hundrevis av setninger som uttrykte daglige livskonsepter.

Han måtte ha en høytetthets-elektrode-array implantert over talemotor-cortex, og etter hans rekreasjon, ble over 22 timer med nevralt aktivitet i denne hjerneregionen innspilt over 48 sesjoner.

Sean Metzger, MS og Jessie Liu, BS, er begge bioingeniør-studenter i Chang Lab og var ansvarlige for å utvikle tilpassede neurale nettverksmodeller som kunne oversette mønster av innspilt nevralt aktivitet til bestemte mentale ord.

Etter testen, fant teamet at systemet kunne dekodere ord fra hjernaktivitet med en hastighet på opptil 18 ord per minutt, og det var 93 prosent nøyaktig. Teamet anvendte en “auto-rettelse”-funksjon til språkmodellen, som hjalp til å forbedre nøyaktigheten.

“Vi var begeistret for å se den nøyaktige dekodingen av en rekke meningsfulle setninger,” sa Moses. “Vi har vist at det er mulig å fasilitere kommunikasjon på denne måten og at det har potensial for bruk i samtale-situasjoner.”

Teamet vil nå utvide studien til å inkludere flere deltakere med alvorlig lammelse og kommunikasjonsproblemer. De arbeider også med å utvide antallet ord i vokabularet og å forbedre talehastigheten.

“Dette er en viktig teknologisk milepæl for en person som ikke kan kommunisere på naturlig måte,” sa Moses, “og det demonstrerer potensialet for denne tilnærmingen til å gi en stemme til mennesker med alvorlig lammelse og tale-tap.”