Computeren bruger menneskelige hjernesignaler til at modelere visuel perception

I det, der er en verdenspremiere, har forskere ved Universitetet i Helsinki demonstreret en ny teknik, hvor en computer overvåger menneskelige hjernesignaler for at modelere visuel perception. Med andre ord forsøger computeren at genskabe, hvad en menneske tænker på i hovedet. Denne nyudviklede teknik resulterer i, at computeren kan producere helt ny information og fiktive billeder, der aldrig tidligere er set.

Den nye studie blev offentliggjort i september i tidsskriftet Scientific Reports , der er et online-tidsskrift med åben adgang, der dækker multiple discipliner.

Forskerne baserede teknikken på en ny hjernecomputer-grænseflade, der traditionelt kun er i stand til envejskommunikation fra hjernen til computeren. Dette resulterer f.eks. i, at bogstaver bliver stavet eller en markør bliver flyttet.

Arbejdet var det første, der demonstrerede både computerens præsentation af informationen og hjernesignaler, der blev modelleret på samme tid gennem brug af kunstig intelligens (AI)-metoder. Menneskelige hjerneresponser og en generativ neuralt netværk interagerede og genererede billeder, der repræsenterede de visuelle egenskaber af, hvad deltagere fokuserede på.

Neuroadaptiv generativ modellering

Metoden kaldes neuroadaptiv generativ modellering, og dens effektivitet blev testet med 31 deltagere. Disse deltagere blev vist hundredvis af AI-genererede billeder af en divers gruppe mennesker, og deltagernes EEG blev optaget, mens de så på billederne.

Deltagerne blev bedt om at fokusere på bestemte træk i billederne, som f.eks. distinkte ansigter og udtryk. De blev derefter hurtigt præsenteret for en række ansigtsbilleder, mens EEG’erne blev ført til et neuralt netværk. Dette neurale netværk kunne derefter slutte, om et billede blev opfanget af hjernen som svarende til, hvad deltagere fokuserede på.

Ved hjælp af disse data kunne det neurale netværk gøre en vurdering af, hvilken type ansigter mennesker tænkte på, og computer-genererede billeder blev vurderet af deltagere. Resultaterne viste, at billederne næsten perfekt svarede til, hvad de fokuserede på, og nøjagtighedsraten for eksperimentet var 83%.

Tuukka Ruotsalo er en Academy of Finland Research Fellow ved Universitetet i Helsinki, Finland, samt en lektor ved Københavns Universitet, Danmark.

“Teknikken kombinerer naturlige menneskelige responser med computerens evne til at skabe ny information. I eksperimentet blev deltagere kun bedt om at se på computer-genererede billeder. Computeren modellerede derefter billederne, der blev vist, og den menneskelige reaktion på billederne ved hjælp af menneskelige hjernesignaler. Derved kan computeren skabe et helt nyt billede, der svarer til brugerens intention,” siger Ruotsalo.

Andre potentielle fordele

Ud over at generere billeder af menneskeansigter demonstrerede denne nye studie, hvordan computere kan udvide menneskelig kreativitet.

“Hvis du ønsker at tegne eller illustrere noget, men er ikke i stand til det, kan computeren hjælpe dig med at opnå dit mål. Den kan blot observere fokus på opmærksomhed og forudsige, hvad du ønsker at skabe,” siger Ruotsalo. Forskerne mener dog, at teknikken kan bruges til at opnå forståelse for perception og de underliggende processer i vores sind.

“Teknikken genkender ikke tanker, men responderer på de associationer, vi har med mentale kategorier. Derfor kan vi ikke finde ud af identiteten af en bestemt ‘ældre person’, en deltager tænkte på, men vi kan opnå forståelse for, hvad de associerer med alderdom. Vi mener derfor, at det kan give en ny måde at opnå indsigt i sociale, kognitive og emotionelle processer,” siger seniorforsker Michiel Spapé.

Spapé mener også, at disse resultater kan bruges inden for psykologi.

“En persons idé om en ældre person kan være meget forskellig fra en andens. Vi er i øjeblikket ved at afklare, om vores teknik kan afsløre ubevidste associationer, f.eks. ved at se, om computeren altid render gamle mennesker som smileende mænd.”