Våre underbevisste ferdigheter i å oppdage deepfakes kan gi kraft til fremtidige automatiserte systemer

Nye forskningsresultater fra Australia viser at hjernen vår er dyktig til å gjenkjenne sofistikerte deepfakes, selv når vi bevisst tror at bildene vi ser er ekte.

Funnene antyder videre muligheten for å bruke menneskers neurale responser på deepfake-ansikter (i stedet for deres uttalte meninger) til å trene automatiserte deepfake-oppdagingssystemer. Slike systemer ville bli trenet på bilders deepfake-egenskaper, ikke fra forvirrede estimater av plausibilitet, men fra våre instinktive perseptuelle mekanismer for ansiktsgjenkjenning.

‘[A]lthough hjernen kan ‘gjenkjenne’ forskjellen mellom ekte og realistiske ansikter, kan observatørene ikke bevisst skille dem fra hverandre. Våre funn om dissociasjonen mellom hjerneaktivitet og atferd har implikasjoner for hvordan vi studerer fake-ansiktspersepsjon, spørsmålene vi stiller når vi spør om fake-bildeidentifikasjon, og de mulige måtene vi kan etablere beskyttende standarder mot fake-bildemisbruk.’

Resultatene oppstod i runder av testing designet for å evaluere måten mennesker reagerer på feilaktig bilde, inkludert bilde av åpenbart feilaktige ansikter, biler, innendørsrom og invertede (dvs. opp-ned) ansikter.

Ulke iterasjoner og tilnærminger for eksperimentene, som involverte to grupper av testpersoner som måtte klassifisere et kortvist bilde som ‘feil’ eller ‘ekte’. Den første runden ble gjennomført på Amazon Mechanical Turk, med 200 frivillige, mens den andre runden involverte en mindre gruppe frivillige som svarte på testene mens de var koblet til EEG-maskiner. Kilde: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Artikkelen hevder:

‘Våre resultater viser at gitt bare et kort glimt, kan observatørene kanskje se feilaktige ansikter. Men de har det vanskeligere å skille ekte ansikter fra feilaktige ansikter og, i noen tilfeller, trodde feilaktige ansikter var mer ekte enn ekte ansikter.

‘Men ved å bruke tid-resolvert EEG og multivariat mønsterklassifisering, fant vi at det var mulig å dekodere både urealistiske og realistiske ansikter fra ekte ansikter ved hjelp av hjerneaktivitet.

‘Denne dissociasjonen mellom atferd og neurale responser for realistiske ansikter gir viktig nytt bevis om fake-ansiktspersepsjon, samt implikasjoner som involverer den stadig mer realistiske klassen av GAN-genererte ansikter.’

Artikkelen foreslår at den nye forskningen har ‘flere implikasjoner’ i anvendt cybersecurity, og at utviklingen av deepfake-læring klassifiserere bør kanskje drives av underbevisst respons, som måles på EEG-lesninger i respons til feilaktige bilder, i stedet for av betrakterens bevisste estimat av bildets ekthet.

Forfatterne kommenterer*:

‘Dette er lignende funn som at personer med prosopagnosi som ikke kan atferdsmessig klassifisere eller gjenkjenne ansikter som kjente eller ukjente likevel viser sterkere autonome responser til kjente ansikter enn ukjente ansikter.

‘Liksom i denne studien, har vi vist at selv om vi kunne nøyaktig dekodere forskjellen mellom ekte og realistiske ansikter fra neural aktivitet, var denne forskjellen ikke sett atferdsmessig. I stedet identifiserte observatørene feilaktig 69% av de ekte ansiktene som feilaktige.’

Den nye forskningen har tittelen Er du ekte? Dekodning av realistiske AI-genererte ansikter fra neural aktivitet, og kommer fra fire forskere ved University of Sydney, Macquarie University, Western Sydney University og The University of Queensland.

Data

Resultatene oppstod fra en bredere undersøkelse av menneskers evne til å skille manifest feilaktige, hyper-realistiske (men likevel feilaktige) og ekte bilder, gjennomført over to runder av testing.

Forskerne brukte bilder skapt av Generative Adversarial Networks (GANs), delt av NVIDIA.

GAN-genererte menneskeansiktsbilder gjort tilgjengelig av NVIDIA. Kilde: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data bestod av 25 ansikter, biler og soverom, på ulike nivåer av rendering, fra ‘urealistiske’ til ‘realistiske’. For ansiktskomparasjon (dvs. for egnet ikke-feilaktig materiale), brukte forfatterne utvalg fra kilde-dataene til NVIDIA’s kilde Flickr-Faces-HQ (FFHQ) dataset. For komparasjon av de andre scenariene, brukte de materiale fra LSUN-dataset.

Bildene ville til slutt bli presentert for testpersonen enten rett vei opp eller inverted, og i en rekke frekvenser, med alle bilder resizet til 256×256 piksler.

Etter at all materiale var samlet, ble 450 stimuli-bilder kuratert for testene.

Representative eksempler på testdata.

Tester

Testene selv ble først gjennomført online, gjennom jsPsych på pavlovia.org, med 200 deltakere som vurderte ulike undergrupper av den totale samlede testdata. Bildene ble presentert i 200 ms, fulgt av en blank skjerm som ville bestå til vurderingen avgjorde om det flerte bildet var ‘feil’ eller ‘ekte’. Hvert bilde ble bare presentert en gang, og hele testen tok 3-5 minutter å fullføre.

Den andre og mer avslørende runden brukte fysiske testpersoner koblet til EEG-monitorer, og ble presentert på Psychopy2-plattformen. Hver av de tjue sekvensene inneholdt 40 bilder, med 18 000 bilder presentert over hele testdata-transjansen.

De samlede EEG-dataene ble dekodet via MATLAB med CoSMoMVPA-verktøyet, ved hjelp av en leave-one-out cross-validation-skjema under Lineær Diskriminant Analyse (LDA).

LDA-klassifikatoren var komponenten som kunne skille mellom hjernereaksjonen på feilaktige stimuli og testpersonens egen mening om hvorvidt bildet var feilaktig.

Resultater

Interessert i å se om EEG-testpersonene kunne skille mellom feilaktige og ekte ansikter, aggregerte og prosesserte forskerne resultatene, og fant at deltakerne kunne skille ekte fra urealistiske ansikter lett, men hadde det vanskeligere å identifisere realistiske, GAN-genererte feilaktige ansikter. Om bildet var opp-ned syntes å ha liten betydning.

Atferdsmessig skille mellom ekte og syntetisk-genererte ansikter, i den andre runden.

Men EEG-dataene fortalte en annen historie.

Artikkelen sier:

‘Selv om observatørene hadde vanskelig for å skille ekte fra feilaktige ansikter og tenderte til å overklassifisere feilaktige ansikter, inneholdt EEG-dataene signalinformasjon relevant for denne forskjellen som meningsfullt forskjell mellom realistiske og urealistiske, og denne signalen syntes å være begrenset til en relativt kort prosesseringstadie.’

Her er forskjellen mellom EEG-nøyaktighet og de rapporterte meninger fra testpersonene (dvs. om bildene var feilaktige eller ikke) ikke identiske, med EEG-oppfangingene som kommer nærmere sannheten enn de manifeste persepsjonene til personene involvert.

Forskerne konkluderer med at selv om observatørene kan ha vanskelig for å identifisere feilaktige ansikter, har disse ansiktene ‘distinkte representasjoner i det menneskelige visuelle systemet’.

Forskjellen funnet har ført til at forskerne spekulerer på den potensielle anvendeligheten av funnene for fremtidige sikkerhetsmekanismer:

‘I en anvendt setting som cybersecurity eller Deepfakes, kan undersøkelsen av oppdagingsevnen for realistiske ansikter være best forsøkt ved å bruke maskinlæringsklassifikatorer på neuroimaging-data i stedet for å måle atferdsmessig ytelse.’

De konkluderer:

‘Forståelsen av dissociasjonen mellom hjerne og atferd for feilaktig ansiktsdeteksjon vil ha praktiske implikasjoner for måten vi tackler den potensielt skadelige og universelle spredningen av kunstig generert informasjon.’

* Min konvertering av inline-citater til hyperlenker.

Først publisert 11. juli 2022.