Datamaskin bruker menneskelige hjernesignaler for å modellere visuell persepsjon

I det som er en første gang, har forskere ved Universitetet i Helsinki demonstrert en ny teknikk hvor en datamaskin overvåker menneskelige hjernesignaler for å modellere visuell persepsjon. Med andre ord, forsøker datamaskinen å rekonstruere hva en menneske tenker på i hodet sitt. Denne nyutviklede teknikken resulterer i at datamaskinen kan produsere helt ny informasjon og fiktive bilder som aldri tidligere har vært sett.

Den nye studien ble publisert i september i tidsskriftet Scientific Reports , som er et åpent tilgjengelig tidsskrift som dekker flere disipliner.

Forskerne baserte teknikken på en ny hjernen-datamaskin-grensesnitt, som tradisjonelt bare er i stand til énvegs kommunikasjon fra hjernen til datamaskinen. Dette resulterer i at for eksempel bokstaver blir stavede eller en markør blir flyttet.

Arbeidet var det første som viste både datamaskinens presentasjon av informasjonen og hjernesignaler som ble modellert samtidig gjennom bruk av kunstig intelligens (KI)-metoder. Menneskelige hjernerespons og en generativ neural nettverk interagerte og genererte bilder som representerte de visuelle egenskapene til hva deltakerne fokuserte på.

Neuroadaptiv generativ modellering

Metoden kalles neuroadaptiv generativ modellering, og dens effektivitet ble testet med 31 deltakere. Disse deltakerne ble vist hundredvis av KI-genererte bilder av en diversifisert rekke mennesker, og deltakernes EEG ble registrert mens de så på bildene.

Deltakerne ble bedt om å fokusere på bestemte trekk i bildene, som distinkte ansikter og uttrykk. De ble deretter raskt presentert en rekke ansiktsbilder mens EEG-ene ble matet inn i et neural nettverk. Dette neural nettverket infererte deretter om et bilde ble oppdaget av hjernen som matchet hva deltakerne fokuserte på.

Ved hjelp av denne dataen, kunne neural nettverket gjøre en estimat om hva slags ansikter menneskene tenkte på, og datamaskin-genererte bilder ble evaluert av deltakerne. Resultatene viste at bildene nesten perfekt matchet hva de fokuserte på, og nøyaktighetsraten for eksperimentet var 83%.

Tuukka Ruotsalo er en Academy of Finland Research Fellow ved Universitetet i Helsinki, Finland, samt en associate professor ved Universitetet i København, Danmark.

“Teknikken kombinerer naturlige menneskelige respons med datamaskinens evne til å skape ny informasjon. I eksperimentet, ble deltakerne bare bedt om å se på datamaskin-genererte bilder. Datamaskinen, på sin side, modellerte bildene som ble vist og den menneskelige reaksjonen mot bildene ved hjelp av menneskelige hjernerespons. Fra dette, kan datamaskinen skape et helt nytt bilde som matcher brukerens intensjon,” sier Ruotsalo.

Andre potensielle fordeler

Foruten å generere bilder av menneskelige ansikter, viste denne nye studien hvordan datamaskiner kunne øke menneskelig kreativitet.

“Hvis du ønsker å tegne eller illustrere noe, men er ikke i stand til å gjøre det, kan datamaskinen hjelpe deg å oppnå målet ditt. Den kan bare observere fokusområdet og forutsi hva du ville ønske å skape,” sier Ruotsalo. Forskerne tror imidlertid at teknikken kan brukes til å forstå persepsjon og de underliggende prosessene i vårt sinn.

“Teknikken gjenkjenner ikke tanker, men responderer på assosiasjonene vi har med mentale kategorier. Derfor, mens vi ikke kan finne ut identiteten til en bestemt ‘gammel person’ en deltaker tenkte på, kan vi få en forståelse av hva de assosierer med alderdom. Vi tror derfor at det kan gi en ny måte å få innsikt i sosiale, kognitive og emosjonelle prosesser,” sier seniorforsker Michiel Spapé.

Spapé tror også at disse resultater kan brukes innen psykologi.

“En persons idé om en eldre person kan være svært forskjellig fra en annens. Vi er nå i ferd med å avdekke om vår teknikk kan avsløre ubevisste assosiasjoner, for eksempel ved å se om datamaskinen alltid rendre gamle mennesker som, for eksempel, smilende menn.”