Andersonin kulma
Alitajuiset syväväärennösten tunnistamistaitomme voivat mahdollistaa tulevaisuuden automaattiset järjestelmät

Keskeiset kohdatEEG-tiedot paljastavat, että alitajuiset hermosignaalit voivat erottaa aidot kasvot…
Näytä lisää
- EEG-tiedot paljastavat, että alitajuiset hermosignaalit voivat erottaa aidot kasvot väärennetyistä, vaikka katsojat eivät tietoisesti onnistu siinä.
- Tutkimus ehdottaa, että syväväärennösten tunnistimien kouluttaminen aivotoiminnan perusteella subjektiivisten ihmisarvioiden sijaan parantaa tarkkuutta.
- Osallistujat tunnistivat virheellisesti 69 % oikeista kasvoista väärennöksiksi, mikä korostaa tietoisen havaitsemisen epäluotettavuutta syväväärennösten tunnistamisessa.
Uusi australialainen tutkimus viittaa siihen, että aivot ovat taitavia tunnistamaan monimutkaisia syväväärennöksiä, vaikka uskomme tietoisesti, että näkemämme kuvat ovat aitoja.
Tutkimuksen mukaan on mahdollista käyttää ihmisten hermoston vastauksia syväväärennöksille (eikä heidän ilmoittamiaan mielipiteitä) koulutettaessa automaattisia syväväärennösten havaitsemisjärjestelmiä. Tällaiset järjestelmät oppisivat kuvien syväväärennösominaisuuksia kasvojen identiteetin tunnistamiseen liittyvistä vaistonvaraisista havaintomekanismeistamme eivätkä epävarmoista uskottavuusarvioista.
‘Vaikka aivot voivat ’tunnistaa’ eron aidon ja aidonkaltaisen kasvon välillä, havainnoitsijat eivät voi tietoisesti erottaa niitä toisistaan. Tutkimuksemme osoittaa, että aivojen ja käyttäytymisen välillä on ero syväväärennösten havaitsemisessa, ja tämä ero vaikuttaa siihen, miten tutkimme väärennettyjen kasvojen havaitsemista, millaisia kysymyksiä esitämme väärennettyjen kuvien tunnistamisesta ja millaisia suojastandardeja voimme luoda niiden väärinkäytön estämiseksi.’
Tulokset saatiin testien kautta, jotka suunniteltiin arvioimaan, miten ihmiset reagoivat vääriin kuviin, mukaan lukien kuvat, jotka olivat ilmiselvästi vääriä, autot, sisätilat ja ylösalaisin olevat kasvot.

Eri iteroinnit ja lähestymistavat kokeille, joissa kaksi ryhmää testihenkilöitä tarvitsi luokitella nopeasti näytetty kuva ’vääriksi’ tai ’aidoksi’. Ensimmäinen kierros tehtiin Amazon Mechanical Turkilla, jossa oli 200 vapaaehtoista, kun taas toinen kierros käsitti pienemmän määrän vapaaehtoisia, jotka vastasivat kokeisiin EEG-laitteiden avulla. Lähde: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf
Tutkimusraportti toteaa:
‘Tutkimuksemme osoittaa, että vain lyhyen vilkaisun perusteella ihmiset saattavat pystyä tunnistamaan väärennettyjä kasvoja. Kuitenkin heillä on vaikeampi erottaa aitoja kasvoja vääristä, ja joissain tapauksissa he uskoivat vääriä kasvoja oikeammiksi kuin aitoja kasvoja.
‘Kuitenkin käyttämällä ajallisesti erottelevaa EEG:tä ja monimuuttujaista hahmoluokittelua havaitsimme, että aivotoiminnasta oli mahdollista erottaa sekä epärealistiset että realistiset väärennetyt kasvot aidoista kasvoista.
‘Tämä ero käyttäytymisen ja aivovasteiden välillä aidonkaltaisissa kasvoissa antaa tärkeää uutta näyttöä syväväärennösten havaitsemisesta sekä vaikutuksia, jotka liittyvät yhä aidonkaltaisempiin GAN-luotuihin kasvoihin.’
Tutkimus ehdottaa, että uusi tutkimus on soveltamiskelpoista sovelletussa kyberturvallisuudessa, ja että syväväärennösten oppimisluokittelijoiden kehittämisen pitäisi ehkä perustua alitajuisiin vastauksiin, mitä mitataan EEG-lukemilla väärien kuvien suhteen, eikä katsojan tietoisen arvion mukaan kuvan aitoutta.
Tutkijat kommentoivat*:
‘Tämä muistuttaa havaintoja, jotka osoittavat, että yksilöt, joilla on prosopagnoosia eivätkä voi luokitella tai tunnistaa kasvoja tutuiksi tai tuntemattomiksi, näyttävät silti vahvempia autonomisia vastauksia tuttuihin kasvoihin kuin tuntemattomiin kasvoihin.
‘Vastaavasti, mitä olemme osoittaneet tässä tutkimuksessa, on se, että vaikka voimme dekoodata eron aidon ja aidonkaltaisen kasvon välillä hermoston toiminnasta, tämä ero ei näy käyttäytymisessä. Sen sijaan havainnoitsijat luokittelivat väärin 69 % aidoista kasvoista vääriksi.’
Uusi tutkimus on nimeltään Oletko aito? Dekoodaamalla aidonkaltaisia tekoälyluotuja kasvoja hermoston toiminnasta, ja se on tehty neljän tutkijan yhteistyönä Sydneyn yliopistosta, Macquarien yliopistosta, Länsi-Sydneyn yliopistosta ja Queenslandin yliopistosta.
Aineisto
Tulokset saatiin laajemmasta tutkimuksesta, jossa arvioitiin ihmisten kykyä erottaa toisistaan ilmiselvästi vääriä, hyperrealistisia (mutta silti vääriä) ja aitoja kuvia, jotka tehtiin kahtena eri kokeena.
Tutkijat käyttivät kuvia, jotka oli luotu Generative Adversarial Networks (GAN) -menetelmällä, ja jotka NVIDIA jakoi.

NVIDIA:n GAN-luotujen ihmiskasvokuvat. Lähde: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam
Data koostui 25 kasvosta, autosta ja makuuhuoneesta, joissa oli eri tasoja renderöintiä, aina epärealistisesta realistiseen. Kasvojen vertailuun (eli sopivan aidon vertailumateriaalin saamiseksi) tutkijat käyttivät NVIDIA:n Flickr-Faces-HQ (FFHQ) -tietokannan alkuperäisiä tietoja tietokannasta. Muiden skenaarioiden vertailuun he käyttivät LSUN-tietokannan materiaalia tästä.
Kuvat esitettiin lopulta testihenkilölle joko oikein tai ylösalaisin, ja eri esitystaajuuksilla, ja kaikki kuvat olivat 256×256 pikselin kokoisia.
Kaikki materiaali koottiin yhteen, ja 450 kuvaa valittiin testeihin.
Testit
Kokeet tehtiin aluksi verkossa, jsPsych -alustalla pavlovia.orgissa, jossa 200 osanottajaa arvioi koostetun testiaineiston eri osajoukkoja. Kuvat esitettiin 200 millisekunnin ajan, ja sen jälkeen tyhjä ruutu, joka säilyi, kunnes katselija teki päätöksen siitä, oliko nopeasti esitetty kuva väärennös vai aito. Jokainen kuva esitettiin vain kerran, ja koko testi kesti 3-5 minuuttia.
Toinen, paljastavampi kierros tehtiin paikan päällä, jossa osanottajat olivat kytkettyinä EEG-laitteisiin, ja se esitettiin Psychopy2 -alustalla. Jokainen 20 jaksosta sisälsi 40 kuvaa, ja 18 000 kuvaa esitettiin koko testidatan aikana.
Kerätty EEG-data dekoodattiin MATLABilla CoSMoMVPA-työkalupakin avulla, jossa käytettiin jätä-yksi-pois-ristiinvalidointi -menetelmää lineaarisen diskriminanttianalyysin LDA -algoritmin avulla.
LDA-luokittelija oli se osa, joka pystyi tekemään eron aivovasteiden ja koehenkilön omien mielipiteiden välillä siitä, oliko kuva väärennetty vai aito.
Tulokset
Tutkijat olivat kiinnostuneita siitä, voivatko EEG-testin osanottajat erottaa vääriä ja aitoja kasvoja, ja he kokosivat ja prosessoivat tulokset, ja löysivät, että osanottajat pystyivät helposti erottamaan aidot kasvot epärealistisista kasvoista, mutta heidän oli ilmeisesti vaikea tunnistaa realistisia, GAN-menetelmällä luotuja väärennettyjä kasvoja. Kuvan kääntäminen ylösalaisin ei näyttänyt vaikuttavan juuri lainkaan.

Aitojen ja synteettisesti tuotettujen kasvojen erottelu käyttäytymisvasteiden perusteella toisella kierroksella.
Kuitenkin EEG-data kertoi toisenlaisen tarinan.
Tutkimusraportti toteaa:
‘Vaikka havainnoitsijoiden oli vaikea erottaa aidot kasvot väärennetyistä ja heillä oli taipumus luokitella liian monet kasvot väärennöksiksi, EEG-data sisälsi tähän erotteluun liittyvää signaalitietoa, joka erosi merkittävästi realististen ja epärealististen kasvojen välillä, ja tämä signaali näytti rajoittuvan suhteellisen lyhyeen prosessointivaiheeseen.’

Tässä on ero EEG-tarkkuuden ja ilmoitetun mielipiteen välillä siitä, onko kasvokuva väärennetty vai aito, eivätkä ne ole identtisiä, EEG:n saadessa lähemmäs totuutta kuin osanottajien ilmoittama havainto.
Tutkijat toteavat, että vaikka havainnoitsijat voivat kokea vaikeuksia väärien kasvojen tunnistamisessa, näillä kasvoilla on ’erityinen edustus ihmisen visuaalisessa järjestelmässä’.
Tutkijat pohtivat mahdollista soveltamista tuloksilleen:
‘Soveltamisessa, kuten kyberturvallisuudessa tai syväväärennöksissä, realististen väärennettyjen kasvojen havaitsemiskykyä voisi olla parasta tutkia soveltamalla koneoppimisluokittelijoita aivokuvantamisdataan sen sijaan, että keskityttäisiin käyttäytymisellä mitattuun suoriutumiseen.’
He toteavat:
‘Aivotoiminnan ja käyttäytymisen välisen eron ymmärtämisellä väärennettyjen kasvojen havaitsemisessa on käytännön merkitystä sille, miten torjumme keinotekoisesti tuotetun tiedon mahdollisesti haitallista ja kaikkialle ulottuvaa leviämistä.’
* Muutin tekstinsisäiset lähdeviitteet hyperlinkeiksi.
Alun perin julkaistu 11. heinäkuuta 2022.













