AI brukes til å rekonstruere menneskelige hjernebølger i sanntid

Nylig skapte et team av forskere et nevralt nettverk som kan rekonstruere menneskelige hjernebølger i sanntid. Ifølge Futurism, bestod forskningsteamet av forskere fra Moskvas institutt for fysikk og teknologi (MIPT) og Neurobotics-korporasjonen, og de kunne visualisere en persons hjernebølger ved å oversette bølgene med et datavisjonsnevralt nettverk, og rendre dem som bilder.

Resultatene av studien ble publisert i bioRxiv, og en video ble lagt ut sammen med forskningsrapporten, som viste hvordan nettverket rekonstruerte bilder. MIPT-forskingsteamet håper at studien vil hjelpe dem å skape rehabiliteringssystemer for hjerneslagofre som styres av hjernebølger. For å skape rehabiliteringsenheter for hjerneslagofre, må nevrobiologer studere prosessene hjernen bruker til å kode informasjon. En kritisk del av å forstå disse prosessene er å studere hvordan mennesker oppfatter videoinformasjon. Ifølge ZME Science, analyserer de nåværende metodene for å trekke bilder fra hjernebølger vanligvis signalene fra nevronene, ved hjelp av implantater, eller trekker bilder ved hjelp av funksjonell MRI.

Forskingsteamet fra Neurbiotics og MIPT brukte elektroencefalografi, eller EEG, som logger hjernebølger samlet inn fra elektroder plassert på skallen. I slike situasjoner bærer mennesker ofte enheter som sporer deres nevronale signaler mens de ser på videoer eller bilder. Analyser av hjernaktivitet ga innputt-egenskaper som kunne brukes i et maskinlæringssystem. Maskinlæringssystemet kunne rekonstruere bildene en person så, og rendre bildene på en skjerm i sanntid.

Eksperimentet var delt inn i flere deler. I eksperimentets første fase, hadde forskerne deltakerne se på 10-sekunders klipp av YouTube-videor i omtrent 20 minutter. Det var fem forskjellige kategorier som videoene var delt inn i: motorsport, menneskeansikter, abstrakte former, fosser og bevegelige mekanismer. Disse forskjellige kategoriene kan inneholde en rekke objekter. For eksempel, inneholdt motorsportkategorien klipp av snøscootere og motorsyklere.

Forskingsteamet analyserte EEG-dataene som ble samlet inn mens deltakerne så på videoene. EEG-ene viste bestemte mønster for hver av de forskjellige video-klippene, og dette betydde at teamet potensielt kunne tolke hva innholdet deltakerne så på videoene i mer eller mindre sanntid.

I eksperimentets andre fase ble tre kategorier valgt tilfeldig. To nevronale nettverk ble skapt for å arbeide med disse to kategoriene. Det første nettverket genererte tilfeldige bilder som tilhørte en av de tre kategoriene, og skapte dem fra tilfeldig støy som ble finjustert til et bilde. Mens det andre nettverket genererte støy basert på EEG-scanninger. Dataene i begge nettverkene ble sammenlignet, og de tilfeldig genererte bildene ble oppdatert basert på EEG-støydataene, til de genererte bildene ble like de bildene testpersonene så.

Etter at systemet var designet, testet forskerne programvarens evne til å visualisere hjernebølger ved å vise testpersonene videoer de ikke hadde sett fra samme kategorier. EEG-ene som ble generert under den andre runden av visninger, ble gitt til nettverkene, og nettverkene kunne generere bilder som kunne lett plasseres i riktig kategori 90% av tiden.

Forskerne noterte at resultatene av deres eksperiment var overraskende, fordi det lenge var antatt at det ikke var tilstrekkelig informasjon i en EEG til å rekonstruere bildene som ble observert av mennesker. Men resultatene fra forskningsteamet beviste at det kan gjøres.

Vladimir Konyshev, lederen av Neurorobotics Lab ved MIPT, forklarte at selv om forskningsteamet for tiden fokuserer på å skape assistive teknologier for funksjonshemmede, kan teknologien de arbeider med potensielt brukes til å skape nevronale kontrollenheter for generell befolkning på et senere tidspunkt. Konyshev forklarte til TechXplore:

“Vi arbeider med Assistive Technologies-prosjektet Neuronet of the National Technology Initiative, som fokuserer på hjernen-datamaskin-grensesnittet som muliggjør post-stroke-pasienter å kontrollere en eksoskjelettarm for nevrorehabiliteringsformål, eller lammete pasienter å kjøre en elektrisk rullestol, for eksempel. Det ultimate målet er å øke nøyaktigheten av nevronal kontroll for friske individer også.”