Datorn använder mänskliga hjärnans signaler för att modellera visuell perception

I vad som är det första i sitt slag har forskare vid Helsingfors universitet demonstrerat en ny teknik där en dator övervakar mänskliga hjärnans signaler för att modellera visuell perception. Datorn försöker med andra ord återskapa vad en människa tänker på i sitt huvud. Denna nyutvecklade teknik resulterar i att datorn kan producera helt ny information och fiktiva bilder som aldrig tidigare dykt upp. 

Den nya studien publicerades i september i Vetenskapliga rapporter journal, som är en onlinetidskrift med öppen tillgång som täcker flera discipliner.

Forskarna baserade tekniken på ett nytt hjärn-dator-gränssnitt, som traditionellt bara kan kommunicera i enväg från hjärnan till datorn. Detta resulterar till exempel i att bokstäver stavas eller att en markör flyttas. 

Arbetet var det första att demonstrera både datorns presentation av informationen och hjärnsignaler som modelleras samtidigt genom användning av artificiell intelligens (AI) metoder. Mänskliga hjärnans svar och ett generativt neuralt nätverk samverkade och genererade bilder som representerade de visuella egenskaperna hos det deltagarna fokuserade på.

Neuroadaptiv generativ modellering

Metoden kallas neuroadaptiv generativ modellering och dess effektivitet testades med 31 deltagare. Dessa deltagare visades hundratals AI-genererade bilder av en mängd olika människor, och deltagarnas EEG registrerades medan de tittade på bilderna.

Deltagarna blev tillsagda att fokusera på vissa funktioner i bilderna, som distinkta ansikten och uttryck. De presenterades sedan snabbt en serie ansiktsbilder medan EEG:n matades till ett neuralt nätverk. Detta neurala nätverk drog sedan slutsatsen om en bild upptäcktes av hjärnan som matchade vad deltagarna fokuserade på.

Med hjälp av dessa data kunde det neurala nätverket göra en uppskattning om vilken typ av ansikten folk tänkte på, och de datorgenererade bilderna utvärderades av deltagarna. Resultaten visade att bilderna nästan perfekt matchade det de fokuserade på, och experimentets noggrannhetsgrad var 83 %. 

Tuukka Ruotsalo är forskarassistent vid Finlands Akademi vid Helsingfors universitet, Finland, samt docent vid Köpenhamns universitet, Danmark.

”Tekniken kombinerar naturliga mänskliga svar med datorns förmåga att skapa ny information. I experimentet ombads deltagarna bara att titta på de datorgenererade bilderna. Datorn, i sin tur, modellerade bilderna som visades och den mänskliga reaktionen mot bilderna med hjälp av mänskliga hjärnans svar. Från detta kan datorn skapa en helt ny bild som matchar användarens avsikt”, säger Ruotsalo.

Andra potentiella fördelar

Förutom att skapa bilder av det mänskliga ansiktet, visade den här nya studien hur datorer kan öka mänsklig kreativitet.

"Om du vill rita eller illustrera något men inte kan göra det, kan datorn hjälpa dig att nå ditt mål. Det kunde bara observera fokus på uppmärksamheten och förutsäga vad du skulle vilja skapa, säger Ruotsalo. Men forskarna tror att tekniken kan användas för att få förståelse för perception och de underliggande processerna i vårt sinne.

”Tekniken känner inte igen tankar utan svarar snarare på de associationer vi har med mentala kategorier. Så även om vi inte kan ta reda på identiteten på en specifik "gammal person" som en deltagare tänkte på, kan vi få en förståelse för vad de associerar med ålderdom. Vi tror därför att det kan ge ett nytt sätt att få insikt i sociala, kognitiva och emotionella processer, säger seniorforskare Michiel Spapé.

Spapé tror också att dessa resultat skulle kunna användas inom psykologin.

”En persons uppfattning om en äldre person kan skilja sig mycket från en annans. Vi håller just nu på att avslöja om vår teknik kan avslöja omedvetna associationer, till exempel genom att se om datorn alltid återger gamla människor som till exempel leende män.”