Meidän alitajuiset syväväärennös-havaintotaidot voivat mahdollistaa tulevaisuuden automaattiset järjestelmät

Uusi tutkimus Australiasta osoittaa, että aivot ovat taitavia tunnistamaan monimutkaisia syväväärennöksiä, vaikka uskomme tietoisesti, että näkemämme kuvat ovat aitoja.

Tutkimuksen mukaan on mahdollista käyttää ihmisten hermoston vastauksia syväväärennöksille (ei heidän ilmoittamia mielipiteitä) koulutettaessa automaattisia syväväärennösten havaitsemisjärjestelmiä. Nämä järjestelmät koulutettaisiin kuvien syväväärennöksen ominaisuuksien perusteella, ei niiden uskottavuuden arvioinnin perusteella.

‘[A]lthough aivot voivat ’tunnistaa’ eron aidon ja aidonkaltaisen kasvon välillä, havainnoitsijat eivät voi tietoisesti erottaa niitä toisistaan. Tutkimuksemme osoittaa, että aivojen ja käyttäytymisen välillä on ero syväväärennösten havaitsemisessa, ja tämä ero vaikuttaa siihen, miten tutkimme syväväärennösten havaitsemista ja miten voimme kehittää suojamekanismeja syväväärennösten väärinkäytön estämiseksi.’

Tulokset saatiin testien kautta, jotka suunniteltiin arvioimaan, miten ihmiset reagoivat vääriin kuviiin, mukaan lukien kuvat, jotka olivat ilmiselvästi vääriä, autot, sisätilat ja ylösalaisin olevat kasvot.

Eri iteroinnit ja lähestymistavat kokeille, joissa kaksi ryhmää testihenkilöitä tarvitsi luokitella nopeasti näytetty kuva ’vääriksi’ tai ’aidoksi’. Ensimmäinen kierros tehtiin Amazon Mechanical Turkilla, jossa oli 200 vapaaehtoista, kun taas toinen kierros käsitti pienemmän määrän vapaaehtoisia, jotka vastasivat kokeisiin EEG-laitteiden avulla. Lähde: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Tutkimusraportti toteaa:

‘Tutkimuksemme osoittaa, että kun ihmiset saavat vain lyhyen katseen, he voivat huomata vääriä kasvoja. Kuitenkin heillä on vaikeampi erottaa aitoja kasvoja vääristä, ja joissain tapauksissa he uskoivat vääriä kasvoja oikeammiksi kuin aitoja kasvoja.

‘Kuitenkin käyttämällä aikaresoluutio-EEG:tä ja monimuuttujaisia luokittelumenetelmiä, osoitimme, että oli mahdollista dekoodata sekä epäaidot että aidot kasvot aivotoiminnasta.

‘Tämä ero käyttäytymisen ja aivovasteiden välillä aidonkaltaisissa kasvoissa antaa tärkeää uutta näyttöä syväväärennösten havaitsemisesta sekä vaikutuksia, jotka liittyvät yhä aidonkaltaisempiin GAN-luotuihin kasvoihin.’

Tutkimus ehdottaa, että uusi tutkimus on soveltamiskelpoista sovelletussa kyberturvallisuudessa, ja että syväväärennösten oppimisluokittelijoiden kehittäminen tulisi perustua alitajuisiin vastauksiin, mitä mitataan EEG-lukemilla väärien kuvien suhteen, eikä katsojan tietoisen arvion mukaan kuvan aitoutta.
Tutkijat kommentoivat*:

‘Tämä muistuttaa havaintoja, jotka osoittavat, että yksilöt, joilla on prosopagnoosia eivätkä voi luokitella tai tunnistaa kasvoja tutuiksi tai tuntemattomiksi, näyttävät silti vahvempia autonomisia vastauksia tuttuihin kasvoihin kuin tuntemattomiin kasvoihin.

‘Vastaavasti, mitä olemme osoittaneet tässä tutkimuksessa, on se, että vaikka voimme dekoodata eron aidon ja aidonkaltaisen kasvon välillä hermoston toiminnasta, tämä ero ei näy käyttäytymisessä. Sen sijaan havainnoitsijat luokittelivat väärin 69 % aidoista kasvoista vääriksi.’

Uusi tutkimus on nimeltään Oletko aito? Dekoodaamalla aidonkaltaisia tekoälyluotuja kasvoja hermoston toiminnasta, ja se on tehty neljän tutkijan yhteistyönä Sydneyn yliopistosta, Macquarien yliopistosta, Länsi-Sydney yliopistosta ja Queenslandin yliopistosta.

Data

Tulokset saatiin laajemmasta tutkimuksesta, jossa arvioitiin ihmisten kykyä erottaa toisistaan ilmiselvästi vääriä, hyperrealistisia (mutta silti vääriä) ja aitoja kuvia, jotka tehtiin kahtena eri kokeena.

Tutkijat käyttivät kuvia, jotka oli luotu Generative Adversarial Networks (GAN) -menetelmällä, ja jotka NVIDIA jakoi.

NVIDIA:n GAN-luotujen ihmiskasvokuvat. Lähde: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data koostui 25 kasvosta, autosta ja makuuhuoneesta, joissa oli eri tasoja renderöintiä, aina ’epäaidosta’ ’aidoksi’. Kasvojen vertailuun (eli sopivan ei-väärän materiaalin) tutkijat käyttivät NVIDIA:n Flickr-Faces-HQ (FFHQ) -tietokannan alkuperäisiä tietoja tietokannasta. Muiden skenaarioiden vertailuun he käyttivät LSUN-tietokannan materiaalia tästä.

Kuvat esitettiin lopulta testihenkilölle joko oikein tai ylösalaisin, ja eri taajuuksilla, ja kaikki kuvat olivat 256×256 pikselin kokoisia.

Kaikki materiaali koottiin yhteen, ja 450 kuvaa valittiin testeihin.

Edustavat esimerkit testidatasta.

Tests

Kokeet tehtiin aluksi verkossa, jsPsych -alustalla pavlovia.orgissa, jossa 200 osanottajaa arvioi eri osia kokoelmaa. Kuvat esitettiin 200 millisekunnin ajan, ja sen jälkeen tyhjä ruutu, joka säilyi, kunnes katselija teki päätöksen siitä, oliko nopeasti esitetty kuva ’vääri’ vai ’aito’. Jokainen kuva esitettiin vain kerran, ja koko testi kesti 3-5 minuuttia.

Toinen, paljastavampi kierros tehtiin paikan päällä, jossa osanottajat olivat kytkettyinä EEG-laitteisiin, ja se esitettiin Psychopy2 -alustalla. Jokainen 20 jaksoa sisälsi 40 kuvaa, ja 18 000 kuvaa esitettiin koko testidatan aikana.

Kerätty EEG-data dekoodattiin MATLABilla CoSMoMVPA-työkalupakin avulla, jossa käytettiin leave-one-out cross-validation -menetelmää Lineaarisen Diskriminanttianalyysin (LDA) LDA -algoritmin avulla.

LDA-luokittelija oli se osa, joka pystyi tekemään eron aivovasteiden ja koehenkilön omien mielipiteiden välillä siitä, oliko kuva vääri vai aito.

Results

Tutkijat olivat kiinnostuneita siitä, voivatko EEG-testin osanottajat erottaa vääriä ja aitoja kasvoja, ja he kokosivat ja prosessoivat tulokset, ja löysivät, että osanottajat pystyivät helposti erottamaan aidoista epäaidoista kasvoista, mutta näyttivät kärsivän siinä, että he yrittivät erottaa aitoja kasvoja vääristä, GAN-luotujen kasvoista. Se, oliko kuva ylösalaisin, näytti tekemättä paljon eroa.

Käyttäytymisen erottelu aidoista ja synteettisistä kasvoista toisessa kierroksessa.

Kuitenkin EEG-data kertoi toisenlaisen tarinan.

Tutkimusraportti toteaa:

‘Vaikka havainnoitsijat kärsivät erottelussa aidoista ja vääristä kasvoista ja luokittelivat usein vääriä kasvoja, EEG-data sisälsi merkityksellistä tietoa, joka erosii aidon ja epäaidon välillä, ja tämä signaali näytti rajoittuvan suhteellisen lyhyeen prosessointivaiheeseen.’

Tässä on ero EEG-tarkan ja ilmoitetun mielipiteen välillä siitä, onko kasvokuva vääri vai aito, eikä ne ole identtisiä, EEG:n saadessa lähemmäs totuutta kuin osanottajien ilmoittama havainto.

Tutkijat toteavat, että vaikka havainnoitsijat voivat kärsiä vaikeuksia väärien kasvojen tunnistamisessa, näillä kasvoilla on ’erityinen edustus ihmisen visuaalisessa järjestelmässä’.

Tutkijat pohtivat mahdollista soveltamista tuloksilleen:

‘Soveltamisessa, kuten kyberturvallisuudessa tai syväväärennöksissä, tutkiminen väärien kasvojen havaitsemiskykyä voisi olla parasta lähestymistapaa käyttämällä koneoppimisluokittelijoita neuroimaging-dataan, eikä pyrkimällä parantamaan käyttäytymisen suorituskykyä.’

He toteavat:

‘Ymmärtäminen aivotoiminnan ja käyttäytymisen välisestä erosta väärien kasvojen havaitsemisessa johtaa käytännön sovellutuksiin, joilla voidaan torjua haitallinen ja yleinen leviäminen tekoälyllisesti luotuja tietoja.’

* Minun muunnos sisäisistä viittauksista hyperlinkkeihin.

Alun perin julkaistu 11. heinäkuuta 2022.