Forskere bruger generative adversarial nets til at forbedre hjernen-computer-grænseflader

Forskere ved University of Southern California (USC) Viterbi School of Engineering bruger generative adversarial nets (GANs) til at forbedre hjernen-computer-grænseflader (BCIs) for mennesker med handicaper. 

GANs bruges også til at skabe deepfake-videoer og fotorealistiske menneskeansigter. 

Forskningsartiklen blev offentliggjort i Nature Biomedical Engineering. 

Kraften af BCIs

Holdet kunne lære en AI at generere syntetisk hjernaktivitetsdata gennem denne tilgang. Denne data er i form af neurale signaler kaldet spike-træn, som kan føres ind i maskinelæringsalgoritmer for at forbedre BCIs hos mennesker med handicaper. 

BCIs analyserer en persons hjernesignaler før de oversætter den neurale aktivitet til kommandoer, hvilket giver brugeren mulighed for at styre digitale enheder med bare deres tanker. Disse enheder, som kan omfatte ting som computermarkører, kan forbedre livskvaliteten for patienter med motorisk dysfunktion eller lammelse. De kan også være til fordel for personer med locked-in-syndrom, som opstår, når personen ikke kan bevæge sig eller kommunikere, selvom de er fuldstændigt bevidste.

Der findes mange forskellige typer af BCIs på markedet, såsom de, der måler hjernesignaler og enheder, der er indopereret i hjernevæv. Teknologien er konstant under udvikling og anvendes på nye måder, herunder neurorehabilitering og behandling af depression. Det er dog stadig svært at gøre systemerne tilstrækkeligt hurtige til at fungere effektivt i den virkelige verden.

BCIs kræver massive mængder af neural data og lange træningsperioder, kalibreringer og læring for at forstå deres input.

Laurent Itti er en professor i datalogi og medforfatter til forskningen. 

“At få nok data til algoritmerne, der driver BCIs, kan være svært, dyrt eller endda umuligt, hvis paralyserede personer ikke kan producere tilstrækkeligt robuste hjernesignaler,” sagde Itti. 

Teknologien er bruger-specifik, hvilket betyder, at den skal trænes for hver enkelt person. 

Generative Adversarial Nets

GANs kan forbedre hele processen, da de kan skabe en ubegrænset mængde af nye, lignende billeder gennem en prøve-og-fejl-proces.

Shixian Wen, en ph.d.-studerende, som blev vejledt af Itti og er hovedforfatter til studiet, besluttede at se på GANs og muligheden for, at de kunne skabe træningsdata til BCIs ved at generere syntetisk neurologisk data, der er umulig at skelne fra den virkelige modpart. 

Holdet udførte et eksperiment, hvor de trænede en deep-learning-spike-syntetiser med en session af data, der var optaget fra en abe, der rakte ud efter et objekt. De brugte derefter en syntetiser til at generere en stor mængde af lignende, men falske neurale data.

De syntetiserede data blev derefter kombineret med små mængder af nye, virkelige data for at træne en BCI. Med denne tilgang kunne systemet komme i gang meget hurtigere end med nuværende metoder. Mere specifikt forbedrede GAN-syntetiserede neurale data BCIs samlede træningstid med op til 20 gange.

“Mindre end et minuts virkelige data kombineret med de syntetiske data fungerer lige så godt som 20 minutters virkelige data,” sagde Wen.

“Det er første gang, vi har set AI generere recepten på tanke eller bevægelse via skabelsen af syntetiske spike-træn. Denne forskning er et kritisk skridt mod at gøre BCIs mere egnet til brug i den virkelige verden.” 

Efter de første eksperimentelle sessioner kunne systemet tilpasse sig til nye sessioner med begrænsede yderligere neurale data.

“Det er den store innovation her — at skabe falske spike-træn, der ser ud, som om de kommer fra denne person, mens de forestiller sig at udføre forskellige bevægelser, og derefter også bruge denne data til at hjælpe med læring på den næste person,” sagde Itti.

Disse nye udviklinger med GAN-genereret syntetisk data kan også føre til gennembrud i andre områder af feltet.

“Når et firma er klar til at starte kommerciel udnyttelse af en robotisk skelet, robotarm eller tale-syntese-system, skal de se på denne metode, fordi den måske kan hjælpe dem med at accelerere træningen og gen-træningen,” sagde Itti. “For hvad angår brug af GAN til at forbedre hjernen-computer-grænseflader, tror jeg, det er kun begyndelsen.”