Datorn använder mänskliga hjärnsignaler för att modellera visuell perception

I ett banbrytande företag har forskare vid Helsingfors universitet demonstrerat en ny teknik där en dator övervakar mänskliga hjärnsignaler för att modellera visuell perception. Med andra ord försöker datorn återskapa vad en människa tänker på i sitt huvud. Denna nyligen utvecklade teknik resulterar i att datorn kan producera helt ny information och fiktiva bilder som aldrig tidigare har setts.

Den nya studien publicerades i september i tidskriften Scientific Reports, som är en öppen tillgänglig online-tidskrift som täcker flera discipliner.

Forskarna baserade tekniken på ett nytt gränssnitt mellan hjärna och dator, som traditionellt sett bara kan kommunicera på ett sätt från hjärnan till datorn. Detta resulterar till exempel i att bokstäver skrivs ut eller att en markör flyttas.

Arbetet var det första som demonstrerade både datorns presentation av informationen och hjärnsignaler som modellerades samtidigt med hjälp av artificiell intelligens (AI)-metoder. Mänskliga hjärnsvar och ett generativt neuronnätverk interagerade och genererade bilder som representerade de visuella egenskaperna hos det som deltagarna fokuserade på.

Neuroadaptiv generativ modellering

Metoden kallas neuroadaptiv generativ modellering, och dess effektivitet testades med 31 deltagare. Dessa deltagare visades hundratals AI-genererade bilder av en mångfaldig grupp människor, och deltagarnas EEG registrerades medan de tittade på bilderna.

Deltagarna instruerades att fokusera på vissa funktioner i bilderna, som distinkta ansikten och uttryck. De visades sedan en serie ansiktsbilder i snabb följd medan EEG-signalerna matades in i ett neuronnätverk. Detta neuronnätverk kunde sedan avgöra om en bild upptäcktes av hjärnan som matchande det som deltagarna fokuserade på.

Med hjälp av dessa data kunde neuronnätverket göra en uppskattning av vilken typ av ansikten människor tänkte på, och datorgenererade bilder utvärderades av deltagarna. Resultaten visade att bilderna nästan perfekt matchade det som de fokuserade på, och noggrannhetsgraden i experimentet var 83%.

Tuukka Ruotsalo är en forskare vid Finlands Akademi och biträdande professor vid Köpenhamns universitet i Danmark.

“Tekniken kombinerar naturliga mänskliga reaktioner med datorns förmåga att skapa ny information. I experimentet bad deltagarna bara att titta på de datorgenererade bilderna. Datorn modellerade i sin tur de visade bilderna och den mänskliga reaktionen på bilderna med hjälp av mänskliga hjärnsvar. Från detta kan datorn skapa en helt ny bild som matchar användarens avsikt”, säger Ruotsalo.

Andra potentiella fördelar

Förutom att generera bilder av mänskliga ansikten visade denna nya studie hur datorer kan förstärka mänsklig kreativitet.

“Om du vill rita eller illustrera något men inte kan, kan datorn hjälpa dig att uppnå ditt mål. Den kan observera fokuspunkten och förutsäga vad du vill skapa”, säger Ruotsalo. Forskarna tror dock att tekniken kan användas för att förstå perception och de underliggande processerna i vår hjärna.

“Tekniken känner inte igen tankar utan svarar på de associationer vi har med mentala kategorier. Således kan vi inte ta reda på identiteten på en specifik ‘äldre person’ som en deltagare tänkte på, men vi kan få en förståelse för vad de associerar med ålderdom. Vi tror därför att det kan ge en ny väg till insikt i sociala, kognitiva och emotionella processer”, säger seniorforskare Michiel Spapé.

Spapé tror också att resultaten kan användas inom psykologi.

“En persons idé om en äldre person kan vara mycket annorlunda än en annans. Vi undersöker för närvarande om vår teknik kan avslöja omedvetna associationer, till exempel genom att se om datorn alltid återger äldre människor som, säg, leende män.”