Tietokone käyttää ihmisaivojen signaaleja visuaalisen havainnon mallintamiseen

Tutkijat Helsingin yliopistosta ovat osoittaneet uuden tekniikan, jossa tietokone seuraa ihmisaivojen signaaleja visuaalisen havainnon mallintamiseksi. Toisin sanoen, tietokone yrittää rekonstruioda, mitä ihminen ajattelee päässään. Tämä uusi tekniikka mahdollistaa tietokoneen tuottaa täysin uutta tietoa ja kuvia, jotka eivät ole aiemmin olleet olemassa.

Uusi tutkimus julkaistiin syyskuussa Scientific Reports -lehdessä, joka on avoimen pääsyn verkkolehti, joka kattaa useita tieteenaloja.

Tutkijat perustivat tekniikan uuteen aivokone-rajapintaan, joka perinteisesti on vain yksisuuntainen viestintä aivosta tietokoneelle. Tämä johtaa esimerkiksi siihen, että kirjaimet voidaan muodostaa tai kohdistin voidaan liikuttaa.

Työ oli ensimmäinen, joka osoitti sekä tietokoneen esittämän tiedon että aivosignaaleiden mallinnuksen samanaikaisesti tekoälymenetelmien avulla. Ihmisaivojen vastaukset ja generatiivinen neuronverkko vuorovaikuttivat ja tuottivat kuvia, jotka edustivat visuaalisia ominaisuuksia, joihin osallistujat keskittyivät.

Neuroadaptiivinen generatiivinen mallinnus

Menetelmä on kutsuttu neuroadaptiiviseksi generatiiviseksi mallinnukseksi, ja sen tehokkuutta testattiin 31 osallistujalla. Osallistujille näytettiin satoja tekoälyllä generoituja kuvia moninaisista ihmisistä, ja osallistujien EEG:tä tallennettiin kuvien katselun aikana.

Osallistujille kerrottiin keskittyvänsä tiettyihin piirteisiin kuvissa, kuten erottuvat kasvot ja ilmeet. Heille esitettiin nopeasti sarja kasvokuvia, ja EEG:t syötettiin neuroniverkkoon. Tämä neuroniverkko arvioi, onko kuva havaittu aivossa vastaamaan sitä, mihin osallistujat keskittyivät.

Tästä tiedosta neuroniverkko pystyi tekemään arvion siitä, minkälaisia kasvoja ihmiset ajattelivat, ja tietokoneella generoidut kuvat arvioitiin osallistujien toimesta. Tulokset osoittivat, että kuvat vastasivat lähes täydellisesti sitä, mihin osallistujat keskittyivät, ja kokeen tarkkuusaste oli 83%.

Tuukka Ruotsalo on Suomen Akatemian tutkijatohtori Helsingin yliopistossa, Suomessa, sekä apulaisprofessori Kööpenhaminan yliopistossa, Tanskassa.

“Tekniikka yhdistää luonnolliset ihmisten reaktiot tietokoneen kykyyn luoda uutta tietoa. Kokeessa osallistujilta pyydettiin vain katsomaan tietokoneella generoituja kuvia. Tietokone puolestaan mallinsi kuvia ja ihmisten reaktioita kuvien suhteen käyttäen ihmisaivojen signaaleja. Tästä tietokone pystyy luomaan täysin uuden kuvan, joka vastaa käyttäjän aikomusta”, sanoo Ruotsalo.

Muut mahdolliset hyödyt

Lisäksi ihmiskasvojen kuvien generoimisen, tämä uusi tutkimus osoitti, miten tietokoneet voivat parantaa ihmisten luovuutta.

“Jos haluat piirtää tai kuvittaa jotain, mutta et pysty siihen, tietokone voi auttaa sinua saavuttamaan tavoitteesi. Se voi vain havainnoida huomion kohteen ja ennustaa, mitä haluat luoda”, sanoo Ruotsalo. Tutkijat uskovat kuitenkin, että tekniikkaa voidaan käyttää ymmärtämään havaintoa ja sen taustalla olevia prosesseja.

“Tekniikka ei tunnista ajatuksia, vaan reagoi niiden assosiaatioihin, joita meillä on mielissämme. Emme siis voi selvittää, minkä tietyn vanhan ihmisen osallistuja ajatteli, mutta voimme ymmärtää, mitä he liittävät vanhuuteen. Uskomme, että tämä voi antaa uuden tavan saada tietoa sosiaalisista, kognitiivisista ja emotionaalisista prosesseista”, sanoo vanhempi tutkija Michiel Spapé.

Spapé uskoo myös, että nämä tulokset voivat olla hyödyllisiä psykologian alalla.

“Yhden ihmisen käsitys vanhuudesta voi olla hyvin erilainen kuin toisen. Olemme parhaillaan selvittämässä, voivatko tekniikkamme paljastaa tiedostamattomia assosiaatioita, esimerkiksi katsomalla, onko tietokone aina piirtänyt vanhoja ihmisiä esimerkiksi hymyilevinä miehinä.”