Forskere bruger Generative Adversarial Networks til at forbedre hjernen-computer-grænseflader

Forskere ved University of Southern California (USC) Viterbi School of Engineering bruger generative adversarial networks (GANs) til at forbedre hjernen-computer-grænseflader (BCIs) for mennesker med handicaps.

GANs bruges også til at skabe deepfake-videoer og fotorealistiske menneskeansigter.

Forskningsartiklen blev offentliggjort i Nature Biomedical Engineering.

Hjernen-computer-grænsefladers kraft

Holdet kunne lære en AI til at generere syntetisk hjernaktivitetsdata gennem denne tilgang. Denne data er i form af neurale signaler kaldet spike-træn, som kan indføres i maskinelæringsalgoritmer for at forbedre BCIs hos mennesker med handicaps.

BCIs analyserer en persons hjernesignaler før de oversætter den neurale aktivitet til kommandoer, hvilket giver brugeren mulighed for at styre digitale enheder med sine tanker alene. Disse enheder, som kan omfatte ting som computermus, kan forbedre livskvaliteten for patienter med motorisk dysfunktion eller lammelse. De kan også være til fordel for personer med locked-in syndrom, som opstår, når personen er ude af stand til at bevæge sig eller kommunikere, på trods af at være fuldt bevidst.

Der findes mange forskellige typer BCIs på markedet, såsom de, der måler hjernesignaler, og enheder, der er indopereret i hjernevæv. Teknologien udvikles konstant og anvendes på nye måder, herunder neurorehabilitering og behandling af depression. Det er dog stadig svært at gøre systemerne tilstrækkeligt hurtige til at fungere effektivt i den virkelige verden.

BCIs kræver massive mængder neurale data og lange træningsperioder, kalibreringer og læring for at forstå deres input.

Laurent Itti er professor i datalogi og medforfatter til forskningen.

“At få nok data til algoritmerne, der driver BCIs, kan være svært, dyrt eller endda umuligt, hvis personer med lammelse ikke er i stand til at producere tilstrækkeligt robuste hjernesignaler,” sagde Itti.

Teknologien er bruger-specifik, hvilket betyder, at den skal trænes for hver enkelt person.

Generative Adversarial Networks

GANs kan forbedre hele processen, da de er i stand til at skabe en ubegrænset mængde nye, lignende billeder gennem en prøve-og-fejl-proces.

Shixian Wen, en ph.d.-studerende under vejledning af Itti og hovedforfatter til studiet, besluttede at se på GANs og muligheden for, at de kunne skabe træningsdata til BCIs ved at generere syntetisk neurologisk data, der er umulig at skelne fra den ægte modpart.

Holdet gennemførte et eksperiment, hvor de trænede en deep-learning-spike-syntetisator med en sessions data, der var optaget fra en abe, der rakte ud efter et objekt. De brugte derefter en syntetisator til at generere en stor mængde lignende, men falske neurale data.

De syntetiserede data blev derefter kombineret med små mængder nye ægte data til at træne en BCI. Med denne tilgang kunne systemet komme i gang meget hurtigere end nuværende metoder. Mere specifikt forbedrede GAN-syntetiserede neurale data BCIs samlede træningstid med op til 20 gange.

“Mindre end et minuts ægte data kombineret med de syntetiske data fungerer lige så godt som 20 minutters ægte data,” sagde Wen.

“Det er første gang, vi har set AI generere recepten for tanke eller bevægelse via skabelsen af syntetiske spike-træn. Denne forskning er et kritisk skridt mod at gøre BCIs mere egnede til brug i den virkelige verden.”

Efter de første eksperimentelle sessioner kunne systemet tilpasse sig til nye sessioner med begrænsede yderligere neurale data.

“Det er den store innovation her — at skabe falske spike-træn, der ser ud, som om de kommer fra denne person, mens de forestiller sig at udføre forskellige bevægelser, og derefter også bruge disse data til at hjælpe med læring på den næste person,” sagde Itti.

Disse nye udviklinger med GAN-genereret syntetisk data kunne også føre til gennembrud i andre områder af feltet.

“Når et firma er klar til at starte kommercialisering af et robotisk skelet, en robotarm eller et tale-syntesystem, skal de se på denne metode, fordi den måske kan hjælpe dem med at accelerere træning og gen-træning,” sagde Itti. “Og hvad angår brug af GAN til at forbedre hjernen-computer-grænseflader, tror jeg, det er kun begyndelsen.”