Computer bruger menneskelige hjernesignaler til at modellere visuel perception

I det, der er det første af sin slags, har forskere ved Helsinki Universitet demonstreret en ny teknik, hvor en computer overvåger menneskelige hjernesignaler for at modellere visuel perception. Med andre ord forsøger computeren at genskabe, hvad et menneske tænker på i deres hoved. Denne nyudviklede teknik resulterer i, at computeren kan producere helt ny information og fiktive billeder, som aldrig var dukket op før. 

Den nye undersøgelse blev offentliggjort i september i Videnskabelige rapporter tidsskrift, som er et online-tidsskrift med åben adgang, der dækker flere discipliner.

Forskerne baserede teknikken på en ny hjerne-computer-grænseflade, som traditionelt kun er i stand til envejskommunikation fra hjernen til computeren. Dette resulterer for eksempel i, at bogstaver staves eller en markør flyttes. 

Værket var det første til at demonstrere både computerens præsentation af informationen og hjernesignaler, der modelleres på samme tid ved brug af kunstig intelligens (AI) metoder. Menneskelige hjernereaktioner og et generativt neuralt netværk interagerede og genererede billeder, der repræsenterede de visuelle egenskaber ved det, deltagerne fokuserede på.

Neuroadaptiv generativ modellering

Metoden kaldes neuroadaptive generative modellering, og dens effektivitet blev testet med 31 deltagere. Disse deltagere fik vist hundredvis af AI-genererede billeder af en bred vifte af mennesker, og deltagernes EEG blev optaget, mens de så billederne.

Deltagerne blev bedt om at fokusere på bestemte træk i billederne, såsom distinkte ansigter og udtryk. De blev derefter hurtigt præsenteret en række ansigtsbilleder, mens EEG'erne blev fodret til et neuralt netværk. Dette neurale netværk udledte derefter, om et billede blev opdaget af hjernen som matchende, hvad deltagerne fokuserede på.

Ved hjælp af disse data var det neurale netværk i stand til at foretage en vurdering af, hvilken slags ansigter folk tænkte på, og de computergenererede billeder blev evalueret af deltagerne. Resultaterne viste, at billederne næsten passede perfekt til det, de fokuserede på, og nøjagtigheden af ​​eksperimentet var 83 %. 

Tuukka Ruotsalo er en Academy of Finland Research Fellow ved Helsinki Universitet, Finland, samt lektor ved Københavns Universitet, Danmark.

”Teknikken kombinerer naturlige menneskelige reaktioner med computerens evne til at skabe ny information. I eksperimentet blev deltagerne kun bedt om at se på de computergenererede billeder. Computeren modellerede til gengæld de viste billeder og den menneskelige reaktion på billederne ved at bruge menneskelige hjernereaktioner. Ud fra dette kan computeren skabe et helt nyt billede, der matcher brugerens intention,” siger Ruotsalo.

Andre potentielle fordele

Udover at generere billeder af det menneskelige ansigt, viste denne nye undersøgelse, hvordan computere kunne øge den menneskelige kreativitet.

"Hvis du vil tegne eller illustrere noget, men ikke er i stand til det, kan computeren hjælpe dig med at nå dit mål. Den kunne bare observere opmærksomhedens fokus og forudsige, hvad du gerne vil skabe,” siger Ruotsalo. Forskerne mener dog, at teknikken kan bruges til at opnå forståelse for perception og de underliggende processer i vores sind.

”Teknikken genkender ikke tanker, men reagerer snarere på de associationer, vi har med mentale kategorier. Selvom vi ikke er i stand til at finde ud af identiteten af ​​en bestemt 'gammel person', som en deltager tænkte på, kan vi få en forståelse af, hvad de forbinder med alderdom. Vi mener derfor, at det kan give en ny måde at få indsigt i sociale, kognitive og følelsesmæssige processer på,” siger seniorforsker Michiel Spapé.

Spapé mener også, at disse resultater kunne bruges inden for psykologien.

”En persons idé om en ældre person kan være meget anderledes end en andens. Vi er i øjeblikket ved at afdække, om vores teknik kan afsløre ubevidste associationer, for eksempel ved at se om computeren altid gengiver gamle mennesker som for eksempel smilende mænd.”