Onze onderbewuste vaardigheden voor het detecteren van deepfakes kunnen toekomstige geautomatiseerde systemen aandrijven

Nieuw onderzoek uit Australië suggereert dat ons brein zeer bedreven is in het herkennen van geavanceerde deepfakes, zelfs als we ons bewust zijn dat de afbeeldingen die we zien, echt zijn.

Het onderzoek impliceert verder de mogelijkheid om mensen’s neurale reacties op deepfake-gezichten (in plaats van hun uitgesproken meningen) te gebruiken om geautomatiseerde deepfake-detectiesystemen te trainen. Dergelijke systemen zouden getraind worden op de deepfake-karakteristieken van afbeeldingen, niet op basis van verwarde schattingen van geloofwaardigheid, maar op onze instinctieve perceptuele mechanismen voor gezichtsherkenning.

‘[A]lthough het brein het verschil tussen echte en realistische gezichten kan ‘herkennen’, kunnen waarnemers dit verschil niet bewust zien. Onze bevindingen over de dissociatie tussen breinreactie en gedrag hebben implicaties voor de manier waarop we fake-gezichtsperceptie bestuderen, de vragen die we stellen over fake-afbeeldingsidentificatie en de mogelijke manieren waarop we beschermingsnormen tegen misbruik van fake-afbeeldingen kunnen vaststellen.’

De resultaten kwamen naar voren in rondes van tests die waren ontworpen om de manier te evalueren waarop mensen reageren op valse beelden, waaronder beelden van manifest fake-gezichten, auto’s, interieurruimtes en omgekeerde (d.w.z. ondersteboven) gezichten.

Verschillende iteraties en benaderingen voor de experimenten, die twee groepen testpersonen nodig hadden om een kort getoonde afbeelding te classificeren als ‘fake’ of ‘echt’. De eerste ronde vond plaats op Amazon Mechanical Turk, met 200 vrijwilligers, terwijl de tweede ronde een kleinere groep vrijwilligers omvatte die op EEG-machines waren aangesloten. Bron: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Het artikel beweert:

‘Onze resultaten laten zien dat, gegeven een korte blik, waarnemers mogelijk in staat zijn om fake-gezichten te herkennen. Echter, ze hebben moeite om echte gezichten van fake-gezichten te onderscheiden en, in sommige gevallen, geloofden ze dat fake-gezichten echter waren dan echte gezichten.

‘Echter, met behulp van time-resolved EEG en multivariate pattern classificatiemethoden, vonden we dat het mogelijk was om zowel onrealistische als realistische gezichten van echte gezichten te decoderen met behulp van hersenactiviteit.

‘Deze dissociatie tussen gedrag en neurale reacties voor realistische gezichten levert belangrijke nieuwe bewijzen over fake-gezichtsperceptie, evenals implicaties met betrekking tot de steeds realistischer wordende klasse van GAN-gegenereerde gezichten.’

Het artikel suggereert dat het nieuwe onderzoek ‘verschillende implicaties’ heeft in toegepaste cybersecurity en dat de ontwikkeling van deepfake-leren classificatoren mogelijk moet worden aangedreven door onderbewuste reacties, zoals gemeten op EEG-aflezingen in reactie op fake-afbeeldingen, in plaats van door de bewuste schatting van de geloofwaardigheid van een afbeelding.

De auteurs merken op*:

‘Dit is vergelijkbaar met bevindingen dat individuen met prosopagnosie die niet in staat zijn om gezichten te classificeren of te herkennen als vertrouwd of onvertrouwd, toch sterke autonome reacties vertonen op vertrouwde gezichten in vergelijking met onvertrouwde gezichten.

‘Soortgelijk, wat we in deze studie hebben aangetoond, is dat, hoewel we het verschil tussen echte en realistische gezichten uit neurale activiteit konden decoderen, dit verschil niet behavioraal zichtbaar was. In plaats daarvan identificeerden waarnemers 69% van de echte gezichten incorrect als fake.’

Het nieuwe onderzoek heeft de titel Are you for real? Decoding realistic AI-generated faces from neural activity en komt van vier onderzoekers van de University of Sydney, Macquarie University, Western Sydney University en de University of Queensland.

Gegevens

De resultaten kwamen naar voren uit een bredere onderzoek naar de menselijke capaciteit om manifeste valse, hyper-realistische (maar nog steeds valse) en echte afbeeldingen te onderscheiden, uitgevoerd in twee rondes van tests.

De onderzoekers gebruikten afbeeldingen gegenereerd door Generative Adversarial Networks (GANs), gedeeld door NVIDIA.

GAN-gegenereerde menselijke gezichtsafbeeldingen beschikbaar gesteld door NVIDIA. Bron: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

De gegevens bestonden uit 25 gezichten, auto’s en slaapkamers, op niveaus van rendering variërend van ‘onrealistisch’ tot ‘realistisch’. Voor gezichtsvergelijking (d.w.z. voor geschikt niet-fake materiaal) gebruikten de auteurs selecties uit de brondata van NVIDIA’s bron Flickr-Faces-HQ (FFHQ) dataset. Voor vergelijking van de andere scenario’s gebruikten ze materiaal uit de LSUN dataset.

Afbeeldingen zouden uiteindelijk aan de testpersoon worden getoond, hetzij met de goede kant omhoog, hetzij omgekeerd, en op een reeks frequenties, met alle afbeeldingen omgerekend tot 256×256 pixels.

Nadat alle materiaal was verzameld, werden 450 stimulusafbeeldingen geselecteerd voor de tests.

Vertegenwoordigende voorbeelden van de testgegevens.

Tests

De tests zelf werden aanvankelijk online uitgevoerd, via jsPsych op pavlovia.org, met 200 deelnemers die verschillende subsets van de totale verzamelde testgegevens beoordeelden. Afbeeldingen werden getoond voor 200ms, gevolgd door een leeg scherm dat zou aanhouden totdat de kijker een beslissing nam over of de getoonde afbeelding ‘fake’ of ‘echt’ was. Elke afbeelding werd slechts één keer getoond en de hele test duurde 3-5 minuten om te voltooien.

De tweede en meer openbaring ronde gebruikte in-person onderwerpen die waren aangesloten op EEG-monitoren en werd gepresenteerd op de Psychopy2 platform. Elke van de twintig sequenties bevatte 40 afbeeldingen, met 18.000 afbeeldingen die werden gepresenteerd in de hele reeks testgegevens.

De verzamelde EEG-gegevens werden gedecodeerd via MATLAB met de CoSMoMVPA-toolbox, met behulp van een leave-one-out-cross-validatie schema onder Lineaire Discriminant Analyse (LDA).

De LDA-classificator was het onderdeel dat in staat was om het onderscheid te maken tussen de hersenreactie op fake-stimuli en de mening van de onderwerp over of de afbeelding fake was.

Resultaten

Geïnteresseerd om te zien of de EEG-testonderwerpen konden onderscheiden tussen fake- en echte gezichten, agregen en verwerkten de onderzoekers de resultaten, en vonden dat de deelnemers gemakkelijk onderscheid konden maken tussen echte en onrealistische gezichten, maar blijkbaar moeite hadden om realistische, GAN-gegenereerde fake-gezichten te identificeren. Of de afbeelding omgekeerd was, leek weinig verschil te maken.

Gedragsmatige discriminatie van echte en synthetisch gegenereerde gezichten, in de tweede ronde.

Echter, de EEG-gegevens vertelden een ander verhaal.

Het artikel zegt:

‘Hoewel waarnemers moeite hadden om echte van fake-gezichten te onderscheiden en de neiging hadden om fake-gezichten te overclassificeren, bevatten de EEG-gegevens signaalgegevens die relevant waren voor dit onderscheid en die significant verschilden tussen realistische en onrealistische gezichten, en dit signaal leek beperkt te zijn tot een relatief korte verwerkingsfase.’

Hier is de dispariteit tussen EEG-nauwkeurigheid en de gerapporteerde mening van de onderwerpen (d.w.z. of de gezichtsafbeeldingen fake waren of niet) niet identiek, met de EEG-opnames die dichter bij de waarheid kwamen dan de manifeste perceptie van de mensen die betrokken waren.

De onderzoekers concluderen dat, hoewel waarnemers moeite kunnen hebben om fake-gezichten stilzwijgend te identificeren, deze gezichten ‘onderscheidende vertegenwoordigingen in het menselijk visueel systeem’ hebben.

De dispariteit die werd gevonden, heeft de onderzoekers doen speculeren over de potentiële toepasbaarheid van hun bevindingen voor toekomstige beveiligingsmechanismen:

‘In een toegepast kader zoals cybersecurity of Deepfakes, kan het onderzoeken van de detectievermogen voor realistische gezichten het beste worden nagestreefd door machine learning-classificatoren toe te passen op neuroimaging-gegevens in plaats van te richten op gedragsprestaties.’

Ze concluderen:

‘Het begrijpen van de dissociatie tussen brein en gedrag voor fake-gezichtsdetectie zal praktische implicaties hebben voor de manier waarop we de potentieel schadelijke en universele verspreiding van kunstmatig gegenereerde informatie aanpakken.’

* Mijn conversie van inline citaten naar hyperlinks.

Origineel gepubliceerd op 11 juli 2022.