Vores underbevidste evner til at detektere deepfakes kan være med til at udvikle fremtidige automatiserede systemer

Nyt forskning fra Australien viser, at vores hjerner er dygtige til at genkende sofistikerede deepfakes, selv når vi bevidst tror, at billederne vi ser, er ægte.

Fundet antyder desuden, at det er muligt at bruge menneskers neurale reaktioner på deepfake-ansigter (i stedet for deres udtalte mening) til at træne automatiserede deepfake-detektionssystemer. Sådanne systemer ville blive trænet på billeders deepfake-karakteristika, ikke fra forvirrede skøn over troværdigheden, men fra vores instinktive perceptuelle mekanismer for ansigtsgenkendelse.

‘[A]lthough hjernen kan ’genkende’ forskellen mellem ægte og realistiske ansigter, kan observatørerne ikke bevidst fortælle dem fra hinanden. Vores fund om dissociationen mellem hjernereaktion og adfærd har implikationer for, hvordan vi studerer fake-ansigtsperception, de spørgsmål, vi stiller, når vi beder om fake-billedeidentifikation, og de mulige måder, vi kan etablere beskyttende standarder mod misbrug af fake-billeder.’

Resultaterne opstod i runder af test, der var designet til at evaluere, hvordan mennesker reagerer på falsk billedmateriale, herunder billeder af åbenlyst falske ansigter, biler, indendørsrum og vendte (dvs. upside-down) ansigter.

Forskellige iterationer og tilgange for eksperimenterne, der involverede to grupper af testpersoner, der skulle klassificere et kortvarigt vist billede som ‘falsk’ eller ‘ægte’. Den første runde fandt sted på Amazon Mechanical Turk, med 200 frivillige, mens den anden runde involverede en mindre gruppe frivillige, der reagerede på testene, mens de var tilsluttet EEG-maskiner. Kilde: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Artiklen fastslår:

‘Vore resultater viser, at givet kun et kort glimt, kan observatørerne måske spotte falske ansigter. Men de har svært ved at skelne mellem ægte og falske ansigter, og i visse tilfælde troede de, at falske ansigter var mere ægte end ægte ansigter.

‘Men ved hjælp af tidsopløste EEG og multivariante mønsterklassificeringsmetoder fandt vi, at det var muligt at dekodere både urealistiske og realistiske ansigter fra ægte ansigter ved hjælp af hjernearbejde.

‘Denne dissociation mellem adfærd og neurale reaktioner for realistiske ansigter giver vigtig ny viden om fake-ansigtsperception samt implikationer vedrørende den stadig mere realistiske klasse af GAN-genererede ansigter.’

Artiklen foreslår, at det nye arbejde har ‘flere implikationer’ i anvendt cybersikkerhed, og at udviklingen af deepfake-læringsklassificatorer måske burde drives af underbevidst respons, som måles på EEG-optagelser i respons til fake-billeder, snarere end af betragterens bevidste skøn over billedets sandhed.

Forfatterne kommenterer:

‘Dette minder om fund, der viser, at personer med prosopagnosi, der ikke kan klassificere eller genkende ansigter som kendte eller ukendte, alligevel viser stærkere autonome reaktioner på kendte ansigter end ukendte ansigter.

‘Ligesom hvad vi har vist i denne studie, kan vi selvom hjernen kan ’genkende’ forskellen mellem ægte og realistiske ansigter, ikke bevidst fortælle dem fra hinanden. I stedet identificerede observatørerne forkert 69% af de ægte ansigter som værende falske.’

Den nye arbejde har titlen Are you for real? Decoding realistic AI-generated faces from neural activity, og kommer fra fire forskere på University of Sydney, Macquarie University, Western Sydney University og The University of Queensland.

Data

Resultaterne opstod fra en bredere undersøgelse af menneskers evne til at skelne mellem åbenlyst falske, hyperrealistiske (men stadig falske) og ægte billeder, gennemført over to runder af test.

Forskerne brugte billeder skabt af Generative Adversarial Networks (GANs), delt af NVIDIA.

GAN-genererede menneskeansigtsbilleder til rådighed for NVIDIA. Kilde: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data bestod af 25 ansigter, biler og soveværelser, på niveauer af rendering fra ‘urealistisk’ til ‘realistisk’. Til ansigtskomparation (dvs. for passende ikke-falsk materiale) brugte forfatterne udvalg fra kilden til NVIDIAs kildedatabase Flickr-Faces-HQ (FFHQ) dataset. Til sammenligning af de andre scenarier brugte de materiale fra LSUN-datasettet.

Billederne ville til sidst blive præsenteret for testpersonen enten på den rigtige måde eller vendt, og i en række frekvenser, med alle billeder skaleret til 256×256 pixels.

Efter at alle materialer var samlet, blev 450 stimuli-billeder kurateret til testene.

Repræsentative eksempler på testdata.

Tests

Testene selv blev først gennemført online gennem jsPsych på pavlovia.org, med 200 deltagere, der bedømte forskellige undermængder af den samlede testdata. Billederne blev præsenteret i 200 ms, efterfulgt af en blank skærm, der ville bestå, indtil betragteren tog en beslutning om, hvorvidt det flittede billede var ægte eller falsk. Hvert billede blev kun præsenteret én gang, og hele testen tog 3-5 minutter at gennemføre.

Den anden og mere afslørende runde brugte in-person-testpersoner udstyret med EEG-monitore, og blev præsenteret på Psychopy2-platformen. Hver af de tyve sekvenser indeholdt 40 billeder, med 18.000 billeder præsenteret over hele testdatamængden.

De indsamlede EEG-data blev dekodet via MATLAB med CoSMoMVPA-værktøjskassen, ved hjælp af en leave-one-out-cross-validation-skema under Lineær Diskriminantanalyse (LDA).

LDA-klassificatoren var den komponent, der kunne skelne mellem hjernereaktionen på falske stimuli og testpersonens egen mening om, hvorvidt billedet var falsk.

Results

Interesserede i at se, om EEG-testpersonerne kunne skelne mellem de falske og ægte ansigter, aggregatede og behandlede forskerne resultaterne og fandt, at deltagerne kunne skelne mellem ægte og urealistiske ansigter let, men åbenbart havde svært ved at identificere realistiske, GAN-genererede falske ansigter. Om billedet var vendt, syntes at have lille betydning.

Adfærdsdiskrimination af ægte og syntetisk-genererede ansigter i den anden runde.

Men EEG-data fortalte en anden historie.

Artiklen fastslår:

‘Selvom observatørerne havde svært ved at skelne mellem ægte og falske ansigter og tilbøjelighed til at overklassificere falske ansigter, indeholdt EEG-data signalinformation relevant for denne forskel, som betydeligt adskilte sig mellem realistiske og urealistiske, og denne signal syntes at være begrænset til en relativt kort processtage.’

Her er forskellen mellem EEG-nøjagtighed og de rapporterede meninger fra testpersonerne (dvs. om billederne var falske eller ej) ikke identiske, med EEG-optagelser, der kommer tættere på sandheden end den manifeste perception af personerne involveret.

Forskerne konkluderer, at selvom observatørerne måske har svært ved at identificere falske ansigter, har disse ansigter ‘distinkte repræsentationer i det menneskelige visuelle system’.

Forskellen fundet har fået forskerne til at spekulere over den potentielle anvendelighed af deres fund for fremtidige sikkerhedsmechanismer:

‘I en anvendt kontekst som cybersikkerhed eller Deepfakes, kan undersøgelsen af detektionsfunktionen for realistiske ansigter måske bedst forfølges ved hjælp af maskinlæringsklassificatorer anvendt på neuroimaging-data snarere end på adfærdspræstation.’

De konkluderer:

‘At forstå dissociationen mellem hjernen og adfærden for fake-ansigtsgenkendelse vil have praktiske implikationer for, hvordan vi tackler den potentielt skadelige og universelle spredning af kunstigt genereret information.’

* Min konvertering af inline-citationer til hyperlinks.

Først udgivet den 11. juli 2022.