Andersons vinkel
Våre underbevisste ferdigheter i å oppdage deepfakes kan gi kraft til fremtidige automatiserte systemer

Viktige punkterEEG-data avslører at ubevisste nevrale signaler kan skille ekte fra falske ansikter…
Vis mer
- EEG-data avslører at ubevisste nevrale signaler kan skille ekte fra falske ansikter selv når seerne bevisst mislykkes.
- Studien antyder at trening av deepfake-detektorer på hjerneaktivitet fremfor subjektive menneskelige vurderinger gir bedre nøyaktighet.
- Deltakerne feilidentifiserte 69 % av ekte ansikter som falske, noe som understreker upåliteligheten til bevisst persepsjon for deepfake-deteksjon.
Nye forskningsresultater fra Australia tyder på at hjernen vår er dyktig til å gjenkjenne sofistikerte deepfakes, selv når vi bevisst tror at bildene vi ser er ekte.
Funnene antyder videre muligheten for å bruke menneskers neurale responser på deepfake-ansikter (i stedet for deres uttalte meninger) til å trene automatiserte deepfake-oppdagingssystemer. Slike systemer ville bli trenet på bilders deepfake-egenskaper, ikke fra forvirrede estimater av plausibilitet, men fra våre instinktive perseptuelle mekanismer for ansiktsgjenkjenning.
‘Selv om hjernen kan ‘gjenkjenne’ forskjellen mellom ekte og realistiske ansikter, kan observatørene ikke bevisst skille dem fra hverandre. Våre funn om dissociasjonen mellom hjerneaktivitet og atferd har implikasjoner for hvordan vi studerer oppfatning av falske ansikter, spørsmålene vi stiller når vi spør om identifikasjon av falske bilder, og de mulige måtene vi kan etablere beskyttende standarder mot misbruk av falske bilder.’
Resultatene oppstod i runder av testing designet for å evaluere måten mennesker reagerer på falske bilder, inkludert bilder av åpenbart falske ansikter, biler, innendørsrom og invertede (dvs. opp-ned) ansikter.

Ulike iterasjoner og tilnærminger for eksperimentene, som involverte to grupper av testpersoner som måtte klassifisere et kortvist bilde som ‘falskt’ eller ‘ekte’. Den første runden ble gjennomført på Amazon Mechanical Turk, med 200 frivillige, mens den andre runden involverte en mindre gruppe frivillige som svarte på testene mens de var koblet til EEG-maskiner. Kilde: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf
Artikkelen hevder:
‘Våre resultater viser at gitt bare et kort glimt, kan observatørene kanskje se falske ansikter. Men de har det vanskeligere å skille ekte ansikter fra falske ansikter og, i noen tilfeller, trodde falske ansikter var mer ekte enn ekte ansikter.
‘Men ved å bruke tidsoppløst EEG og multivariat mønsterklassifisering, fant vi at det var mulig å dekodere både urealistiske og realistiske ansikter fra ekte ansikter ved hjelp av hjerneaktivitet.
‘Denne dissociasjonen mellom atferd og neurale responser for realistiske ansikter gir viktig nytt bevis om oppfatning av falske ansikter, samt implikasjoner som involverer den stadig mer realistiske klassen av GAN-genererte ansikter.’
Artikkelen foreslår at den nye forskningen har ‘flere implikasjoner’ i anvendt cybersikkerhet, og at utviklingen av deepfake-læring klassifiserere bør kanskje drives av underbevisst respons, som måles på EEG-lesninger i respons til falske bilder, i stedet for av betrakterens bevisste estimat av bildets ekthet.
Forfatterne kommenterer*:
‘Dette er lignende funn som at personer med prosopagnosi som ikke kan atferdsmessig klassifisere eller gjenkjenne ansikter som kjente eller ukjente likevel viser sterkere autonome responser til kjente ansikter enn ukjente ansikter.
‘Liksom i denne studien, har vi vist at selv om vi kunne nøyaktig dekodere forskjellen mellom ekte og realistiske ansikter fra neural aktivitet, var denne forskjellen ikke sett atferdsmessig. I stedet identifiserte observatørene feilaktig 69% av de ekte ansiktene som falske.’
Den nye forskningen har tittelen Er du ekte? Dekodning av realistiske AI-genererte ansikter fra neural aktivitet, og kommer fra fire forskere ved University of Sydney, Macquarie University, Western Sydney University og The University of Queensland.
Data
Resultatene oppstod fra en bredere undersøkelse av menneskers evne til å skille manifest feilaktige, hyper-realistiske (men likevel feilaktige) og ekte bilder, gjennomført over to runder av testing.
Forskerne brukte bilder skapt av Generative Adversarial Networks (GANs), delt av NVIDIA.

GAN-genererte menneskeansiktsbilder gjort tilgjengelig av NVIDIA. Kilde: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam
Data bestod av 25 ansikter, biler og soverom, på ulike nivåer av rendering, fra ‘urealistiske’ til ‘realistiske’. For ansiktskomparasjon (dvs. for egnet ekte sammenligningsmateriale), brukte forfatterne utvalg fra kilde-dataene til NVIDIAs kilde Flickr-Faces-HQ (FFHQ) dataset. For komparasjon av de andre scenariene, brukte de materiale fra LSUN-dataset.
Bildene ville til slutt bli presentert for testpersonen enten rett vei opp eller opp ned, og i en rekke frekvenser, med alle bilder skalert til 256×256 piksler.
Etter at alt materiale var samlet, ble 450 stimuli-bilder kuratert for testene.
Tester
Testene selv ble først gjennomført online, gjennom jsPsych på pavlovia.org, med 200 deltakere som vurderte ulike undergrupper av den totale samlede testdata. Bildene ble presentert i 200 ms, fulgt av en blank skjerm som ville bestå til betrakteren avgjorde om bildet som ble vist kort var ‘falskt’ eller ‘ekte’. Hvert bilde ble bare presentert en gang, og hele testen tok 3-5 minutter å fullføre.
Den andre og mer avslørende runden brukte fysiske testpersoner koblet til EEG-monitorer, og ble presentert på Psychopy2-plattformen. Hver av de tjue sekvensene inneholdt 40 bilder, med 18 000 bilder presentert over hele testdatasettet.
De samlede EEG-dataene ble dekodet via MATLAB med CoSMoMVPA-verktøyet, ved hjelp av et leave-one-out-kryssvalideringsskjema under Lineær Diskriminant Analyse (LDA).
LDA-klassifikatoren var komponenten som kunne skille mellom hjernereaksjonen på falske stimuli og testpersonens egen mening om hvorvidt bildet var falskt.
Resultater
Interessert i å se om EEG-testpersonene kunne skille mellom feilaktige og ekte ansikter, aggregerte og prosesserte forskerne resultatene, og fant at deltakerne kunne skille ekte fra urealistiske ansikter lett, men hadde det vanskeligere å identifisere realistiske, GAN-genererte falske ansikter. Om bildet var opp-ned syntes å ha liten betydning.

Atferdsmessig skille mellom ekte og syntetisk-genererte ansikter, i den andre runden.
Men EEG-dataene fortalte en annen historie.
Artikkelen sier:
‘Selv om observatørene hadde vanskelig for å skille ekte fra falske ansikter og tenderte til å overklassifisere falske ansikter, inneholdt EEG-dataene signalinformasjon relevant for denne forskjellen som skilte seg vesentlig mellom realistiske og urealistiske, og dette signalet syntes å være begrenset til et relativt kort behandlingsstadium.’

Her er forskjellen mellom EEG-nøyaktighet og de rapporterte meninger fra testpersonene (dvs. om bildene var feilaktige eller ikke) ikke identiske, med EEG-oppfangingene som kommer nærmere sannheten enn de manifeste persepsjonene til personene involvert.
Forskerne konkluderer med at selv om observatørene kan ha vanskelig for å identifisere falske ansikter, har disse ansiktene ‘distinkte representasjoner i det menneskelige visuelle systemet’.
Forskjellen funnet har ført til at forskerne spekulerer på den potensielle anvendeligheten av funnene for fremtidige sikkerhetsmekanismer:
‘I en anvendt setting som cybersikkerhet eller Deepfakes, kan undersøkelsen av oppdagingsevnen for realistiske ansikter være best forsøkt ved å bruke maskinlæringsklassifikatorer på hjerneavbildningsdata i stedet for å måle atferdsmessig ytelse.’
De konkluderer:
‘Forståelsen av dissociasjonen mellom hjerne og atferd for feilaktig ansiktsdeteksjon vil ha praktiske implikasjoner for måten vi håndterer den potensielt skadelige og universelle spredningen av kunstig generert informasjon.’
* Min konvertering av kildehenvisninger i teksten til hyperlenker.
Først publisert 11. juli 2022.













