Forskere bruker generative adversarial nettverk for å forbedre hjernen-datamaskin-grensesnitt

Forskere ved University of Southern California (USC) Viterbi School of Engineering bruker generative adversarial nettverk (GANs) for å forbedre hjernen-datamaskin-grensesnitt (BCIs) for mennesker med funksjonsnedsettelse.

GANs brukes også til å lage deepfake-videor og fotorealistiske menneskeansikter.

Forskningsartikkelen ble publisert i Nature Biomedical Engineering.

Kraften i BCIs

Teamet kunne lære en AI å generere syntetisk hjernaktivitetsdata gjennom denne tilnærmingen. Denne dataen er i form av neurale signaler kalt spike-trainer, som kan mates inn i maskinlæringsalgoritmer for å forbedre BCIs blant mennesker med funksjonsnedsettelse.

BCIs analyserer en persons hjernesignaler før de oversetter den neurale aktiviteten til kommandoer, som gjør det mulig for brukeren å kontrollere digitale enheter bare med tankene sine. Disse enhetene, som kan inkludere ting som datamus, kan forbedre livskvaliteten for pasienter som lider av motorisk dysfunksjon eller lammelse. De kan også være til nytte for mennesker med låst-inn-syndrom, som oppstår når personen ikke kan bevege seg eller kommunisere til tross for å være fullt bevisst.

Det finnes mange forskjellige typer BCIs allerede på markedet, som måler hjernesignaler og enheter som er implantert i hjernevæv. Teknologien utvikles konstant og brukes på nye måter, inkludert neurorehabilitering og behandling av depresjon. Det er likevel fortsatt vanskelig å gjøre systemene raske nok til å fungere effektivt i den virkelige verden.

BCIs krever enorme mengder med neurale data og lange treningsperioder, kalibreringer og læring for å forstå innputtene.

Laurent Itti er en professor i datavitenskap og medforfatter av forskningen.

“Å få nok data for algoritmene som driver BCIs kan være vanskelig, dyrt eller til og med umulig hvis mennesker med lammelse ikke kan produsere tilstrekkelig robuste hjernesignaler”, sa Itti.

Teknologien er brukerspesifikk, noe som betyr at den må trenes for hver enkelt person.

Generative Adversarial Networks

GANs kan forbedre hele prosessen ettersom de kan lage en ubegrenset mengde med nye, like bilder gjennom en prøve-og-feil-prosess.

Shixian Wen, en ph.d.-student som er veiledet av Itti og hovedforfatter av studien, bestemte seg for å se på GANs og muligheten for at de kunne lage treningsdata for BCIs ved å generere syntetisk nevrologisk data som er umulig å skille fra den ekte motparten.

Teamet gjennomførte et eksperiment der de trente en dyp-lærings-spike-syntetiserer med en sesjon med data som var innspilt fra en ape som nådde etter et objekt. De brukte deretter syntetisereren til å lage en stor mengde med like, men falske neurale data.

De syntetiske dataene ble deretter kombinert med små mengder med nye, ekte data for å trene en BCI. Med denne tilnærmingen kunne systemet settes i gang mye raskere enn med nåværende metoder. Mer spesifikt forbedret GAN-syntetisk neuralt data BCIs totale treningshastighet med opptil 20 ganger.

“Mindre enn en minutters virkelig data kombinert med de syntetiske dataene fungerer like godt som 20 minutters virkelig data”, sa Wen.

“Dette er første gangen vi har sett at AI genererer oppskriften for tenkning eller bevegelse gjennom å lage syntetiske spike-trainer. Denne forskningen er et kritisk skritt mot å gjøre BCIs mer egnet for virkelige anvendelser.”

Etter de første eksperimentelle sesjonene, kunne systemet tilpasse seg nye sesjoner med begrensede ekstra neurale data.

“Dette er den store innovasjonen her — å lage falske spike-trainer som ser ut som om de kommer fra denne personen når de forestiller seg å utføre forskjellige bevegelser, og også å bruke denne dataen til å hjelpe med læring på neste person”, sa Itti.

Disse nye utviklingene med GAN-generert syntetisk data kan også føre til gjennombrudd i andre områder av feltet.

“Når et selskap er klar til å starte kommersialisering av et robot-skeleton, robot-arm eller tale-syntese-system, bør de se på denne metoden, fordi den kan hjelpe dem med å akselerere trenings- og om-treningsprosessen”, sa Itti. “Når det gjelder å bruke GAN til å forbedre hjernen-datamaskin-grensesnitt, tror jeg dette er bare begynnelsen.”