Forskare använder generativa adversariala nätverk för att förbättra gränssnitt mellan hjärna och dator

Forskare vid University of Southern California (USC) Viterbi School of Engineering använder generativa adversariala nätverk (GAN) för att förbättra gränssnitt mellan hjärna och dator (BCI) för personer med funktionshinder.

GAN används också för att skapa deepfake-videor och fotorealistiska ansikten.

Forskningsartikeln publicerades i Nature Biomedical Engineering.

Gränssnitt mellan hjärna och dators kraft

Teamet kunde lära en AI att generera syntetisk hjärnaktivitetsdata med denna metod. Dessa data är i form av neurala signaler som kallas spike-träning, som kan matas in i maskinlärningsalgoritmer för att förbättra BCI för personer med funktionshinder.

BCI analyserar en persons hjärnsignaler innan de översätter den neurala aktiviteten till kommandon, vilket möjliggör för användaren att styra digitala enheter med bara sina tankar. Dessa enheter, som kan inkludera saker som datormus, kan förbättra livskvaliteten för patienter som lider av motorisk dysfunktion eller förlamning. De kan också gynna personer med låst-in-syndrom, som inträffar när personen inte kan röra sig eller kommunicera trots att de är fullt medvetna.

Det finns många olika typer av BCI på marknaden, såsom de som mäter hjärnsignaler och enheter som implanteras i hjärnvävnad. Teknologin förbättras ständigt och tillämpas på nya sätt, inklusive neurorehabilitering och depressionbehandling. Men det är fortfarande svårt att göra systemen tillräckligt snabba för att fungera effektivt i den verkliga världen.

BCI kräver stora mängder neurala data och långa träningsperioder, kalibreringar och inlärning för att förstå sina indata.

Laurent Itti är en professor i datavetenskap och medförfattare till forskningen.

“Att få tillräckligt med data för algoritmerna som driver BCI kan vara svårt, dyrt eller till och med omöjligt om förlamade personer inte kan producera tillräckligt robusta hjärnsignaler”, sa Itti.

Teknologin är användarspecifik, vilket innebär att den måste tränas för varje individ.

Generativa adversariala nätverk

GAN kan förbättra hela processen eftersom de kan skapa en obegränsad mängd nya, liknande bilder genom att gå igenom en prövning-och-fel-process.

Shixian Wen, en doktorsestuderande som handleds av Itti och är huvudförfattare till studien, beslutade att undersöka GAN och möjligheten att de kunde skapa träningsdata för BCI genom att generera syntetisk neurologisk data som är omöjlig att skilja från den riktiga motsvarigheten.

Teamet genomförde ett experiment där de tränade en deep-learning-spike-syntetisator med en sessions data som hade spelats in från en apa som sträckte sig efter ett föremål. De använde sedan syntetisatorn för att generera en stor mängd liknande, men falska, neurala data.

De syntetiserade data kombinerades sedan med små mängder nya riktiga data för att träna en BCI. Med denna metod kunde systemet komma igång mycket snabbare än nuvarande metoder. Mer specifikt förbättrades BCI:s totala träningshastighet med upp till 20 gånger med GAN-syntetiserade neurala data.

“Mindre än en minut av riktiga data kombinerat med de syntetiska data fungerar lika bra som 20 minuter av riktiga data”, sa Wen.

“Det är första gången vi har sett AI generera receptet för tanke eller rörelse via skapandet av syntetiska spike-träning. Denna forskning är ett kritiskt steg mot att göra BCI mer lämpliga för användning i den verkliga världen.”

Efter de första experimentella sessionerna kunde systemet anpassa sig till nya sessioner med begränsad ytterligare neural data.

“Det är den stora innovationen här – att skapa falska spike-träning som ser ut som om de kommer från denna person när de föreställer sig att göra olika rörelser, och sedan också använda dessa data för att hjälpa till med inlärning för nästa person”, sa Itti.

Dessa nya utvecklingar med GAN-genererade syntetiska data kan också leda till genombrott i andra områden inom fältet.

“När ett företag är redo att börja kommersialisera en robotisk skelett, robotarm eller tal-syntes-system, bör de titta på denna metod, eftersom den kan hjälpa dem med att accelerera tränings- och omträningsprocessen”, sa Itti. “När det gäller att använda GAN för att förbättra gränssnitt mellan hjärna och dator, tror jag att detta är bara början.”