Onderzoekers gebruiken generatieve tegenstrijdige netwerken om hersen-computerinterfaces te verbeteren

Onderzoekers aan de University of Southern California (USC) Viterbi School of Engineering gebruiken generatieve tegenstrijdige netwerken (GANs) om hersen-computerinterfaces (BCIs) te verbeteren voor mensen met een handicap.

GANs worden ook gebruikt om diep vervalste video’s en foto-realistische menselijke gezichten te creëren.

Het onderzoeksartikel werd gepubliceerd in Nature Biomedical Engineering.

De kracht van BCIs

Het team kon een AI leren om synthetische hersenactiviteitsgegevens te genereren via deze aanpak. Deze gegevens zijn in de vorm van neurale signalen genaamd spike-trains, die kunnen worden gevoerd in machine learning-algoritmes om BCIs te verbeteren bij mensen met een handicap.

BCIs analyseren de hersensignalen van een individu voordat ze de neurale activiteit vertalen in opdrachten, waardoor de gebruiker digitale apparaten kan bedienen met alleen hun gedachten. Deze apparaten, die dingen zoals computermuiscursoren kunnen omvatten, kunnen de kwaliteit van leven verbeteren voor patiënten die lijden aan motorische dysfunctie of verlamming. Ze kunnen ook individuen met het locked-in-syndroom helpen, wat optreedt wanneer de persoon niet kan bewegen of communiceren, ondanks dat ze volledig bij bewustzijn zijn.

Er zijn veel verschillende soorten BCIs al op de markt, zoals die welke hersensignalen meten en apparaten die in hersenweefsel worden geïmplanteerd. De technologie wordt constant verbeterd en op nieuwe manieren toegepast, waaronder neurorevalidatie en depressiebehandeling. Het is echter nog steeds moeilijk om de systemen snel genoeg te maken om efficiënt te functioneren in de echte wereld.

BCIs vereisen enorme hoeveelheden neurale gegevens en lange trainingsperioden, kalibraties en leerprocessen om hun invoer te begrijpen.

Laurent Itti is een professor in de informatica en co-auteur van het onderzoek.

“Het verkrijgen van voldoende gegevens voor de algoritmes die BCIs aandrijven, kan moeilijk, duur of zelfs onmogelijk zijn als verlamde individuen niet in staat zijn om voldoende robuuste hersensignalen te produceren”, zei Itti.

De technologie is gebruikerspecifiek, wat betekent dat deze moet worden getraind voor elke individu.

Generatieve tegenstrijdige netwerken

GANs kunnen dit hele proces verbeteren, aangezien ze in staat zijn om een onbeperkt aantal nieuwe, soortgelijke afbeeldingen te creëren door middel van een trial-and-error-proces.

Shixian Wen, een PhD-student die wordt geadviseerd door Itti en de hoofdauteur van de studie, besloot om naar GANs te kijken en de mogelijkheid te onderzoeken dat ze trainingsgegevens voor BCIs konden creëren door synthetische neurologische gegevens te genereren die niet te onderscheiden zijn van de echte tegenhanger.

Het team voerde een experiment uit waarbij ze een diep lerend spike-synthesizer trainden met één sessie van gegevens die waren opgenomen van een aap die naar een object reikte. Ze gebruikten vervolgens een synthesizer om een grote hoeveelheid soortgelijke, maar valse neurale gegevens te genereren.

De gesynthetiseerde gegevens werden vervolgens gecombineerd met kleine hoeveelheden nieuwe echte gegevens om een BCI te trainen. Met deze aanpak kon het systeem veel sneller op gang komen dan met de huidige methoden. Meer specifiek verbeterde de GAN-gegenereerde neurale gegevens de totale trainsnelheid van de BCIs met maximaal 20 keer.

“Minder dan een minuut aan echte gegevens, gecombineerd met de synthetische gegevens, werkt net zo goed als 20 minuten aan echte gegevens”, zei Wen.

“Het is de eerste keer dat we AI hebben zien genereren van het recept voor gedachten of beweging via de creatie van synthetische spike-trains. Dit onderzoek is een kritische stap naar het maken van BCIs meer geschikt voor gebruik in de echte wereld.”

Na de eerste experimentele sessies kon het systeem zich aanpassen aan nieuwe sessies met beperkte additionele neurale gegevens.

“Dat is de grote innovatie hier — het creëren van valse spike-trains die eruitzien alsof ze van deze persoon komen terwijl ze verschillende bewegingen voorstellen, en vervolgens het gebruik van deze gegevens om te helpen bij het leren voor de volgende persoon”, zei Itti.

Deze nieuwe ontwikkelingen met GAN-gegenereerde synthetische gegevens kunnen ook leiden tot doorbraken in andere gebieden van het veld.

“Wanneer een bedrijf klaar is om een robotische skelet, robotarm of spraaksynthesesysteem te commercialiseren, moeten ze naar deze methode kijken, omdat het hen kan helpen bij het versnellen van de training en het opnieuw trainen”, zei Itti. “Wat betreft het gebruik van GAN om hersen-computerinterfaces te verbeteren, denk ik dat dit pas het begin is.”