Hjärndatorgränssnittstyper för mental handstil

Forskare från Howard Hughes (HHH ) Medical Institute har lyckats aktivera ett hjärndatorgränssnitt för att skriva ut användarnas mentala handstil för första gången. Teamet tolkade hjärnaktiviteten associerad med handskrivning för att uppnå resultatet.

Deltagaren var en person med förlamning som hade sensorer implanterade i hjärnan, och teamet förlitade sig på en algoritm för att identifiera bokstäver när han försökte skriva dem. Systemet kunde analysera detta och visa texten på en skärm i realtid.

Enligt Krishna Shenoy, en Howard Hughes Medical Institute-utredare vid Stanford University, kan denna utveckling möjliggöra för personer med förlamning att snabbt skriva utan att behöva använda händerna. Shenoy samarbetade med Stanford-neurokirurgen Jaimie Henderson.

Arbetet publicerades i tidskriften Nature den 12 maj.

Deltagaren kunde skriva 90 tecken per minut, vilket är mer än dubbelt så mycket som tidigare registrerats med en typ av hjärndatorgränssnitt.

Jose Carmena, en neural ingenjör vid University of California, Berkeley, säger “det är ett stort framsteg inom området” som kan hjälpa många olika typer av personer med funktionshinder. Hjärndatorgränssnitt möjliggör att tankar kan omvandlas till handling.

“Denna artikel är ett perfekt exempel: gränssnittet avkodar tanken på att skriva och producerar handlingen.”

Skador och neural aktivitet

Även om en person kan drabbas av en skada eller sjukdom som gör att de inte kan gå, gripa eller tala, så förblir hjärnans neurala aktivitet för dessa handlingar oförändrad. På grund av detta kan forskare använda denna aktivitet för att skapa system som kan hjälpa dessa personer.

Shenoys team har arbetat med att avkoda neural aktivitet associerad med tal i flera år och har utvecklat ett sätt för deltagare att implantera sensorer och använda sina tankar för att flytta en markör på en skärm.

Men det har inte funnits någon verklig ansträngning att göra detsamma för handstil.

“Vi vill hitta nya sätt att låta människor kommunicera snabbare”, säger Frank Willett, en neurovetenskapsman i gruppen.

https://www.youtube.com/watch?v=pcApwQxbagg

BCI och implanterade sensorer

Teamet samarbetade med en 65-årig deltagare som var inskriven i en BrainGate2-klinisk prövning. BrainGate2 testar BCI-säkerhet för enheter som överför data direkt från hjärnan till en dator.

Två små sensorer implanterades av Henderson i den delen av hjärnan som styr handen och armen. Detta möjliggjorde för individen att flytta en robotarm eller markör genom att försöka flytta sin egen förlamade arm.

Sensorerna uppfångade signaler från enskilda neuroner när deltagaren föreställde sig att skriva, och maskinlärningsalgoritmen kände igen hjärnmönster när varje bokstav producerades. Detta system möjliggjorde för mannen att kopiera meningar och svara på frågor nästan lika snabbt som någon i hans ålder som skriver på en smartphone.

Enligt Willett fungerar BCI snabbt eftersom varje bokstav utlöser ett mycket distinkt aktivitetsmönster som lätt kan särskiljas av algoritmen.

Teamet kommer nu att rikta sin uppmärksamhet mot en deltagare som inte kan tala, och forskarna tror att detta nya system kan vara till stor nytta för personer som lider av förlamning orsakad av olika tillstånd.