Våra undermedvetna färdigheter för att upptäcka deepfakes kan driva framtida automatiserade system

Ny forskning från Australien tyder på att vår hjärna är skicklig på att känna igen sofistikerade deepfakes, även när vi medvetet tror att de bilder vi ser är äkta.

Fyndet antyder vidare att det kan vara möjligt att använda människors neurala svar på deepfake-ansikten (i stället för deras uttalade åsikter) för att träna automatiserade deepfake-detekteringssystem. Sådana system skulle träningas på bildernas deepfake-egenskaper, inte från förvirrade uppskattningar av sannolikhet, utan från våra instinktiva perceptuella mekanismer för ansiktsigenkänning.

‘[A]lthough hjärnan kan ‘känna igen’ skillnaden mellan äkta och realistiska ansikten, kan observatörerna inte medvetet skilja dem åt. Våra fynd om dissociationen mellan hjärnans svar och beteende har implikationer för hur vi studerar fake face-perception, de frågor vi ställer när vi frågar om fake-bildidentifiering och de möjliga sätten att etablera skyddande standarder mot missbruk av fake-bilder.’

Resultaten framkom i omgångar av tester som utformades för att utvärdera hur människor svarar på falsk bild, inklusive bilder av uppenbart falska ansikten, bilar, inomhusutrymmen och inverterade (dvs. upp-och-nedvända) ansikten.

Olika iterationer och tillvägagångssätt för experimenten, som involverade två grupper av testpersoner som behövde klassificera en kortvisad bild som ‘fake’ eller ‘äkta’. Den första omgången genomfördes på Amazon Mechanical Turk, med 200 volontärer, medan den andra omgången involverade ett mindre antal volontärer som svarade på testerna medan de var anslutna till EEG-maskiner. Källa: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Artikeln hävdar:

‘Våra resultat visar att givet endast en kort glimt, kan observatörerna kanske upptäcka falska ansikten. Men de har svårt att skilja äkta ansikten från falska ansikten och i vissa fall trodde de att falska ansikten var mer äkta än äkta ansikten.

‘Men med hjälp av tidssatta EEG och multivariata mönsterklassificeringsmetoder, kunde vi avkoda både orealistiska och realistiska ansikten från äkta ansikten med hjälp av hjärnaktivitet.

‘Denna dissociation mellan beteende och neurala svar för realistiska ansikten ger viktiga nya bevis om fake face-perception samt implikationer som involverar den alltmer realistiska klassen av GAN-genererade ansikten.’

Artikeln föreslår att den nya forskningen har “flera implikationer” inom tillämpad cybersäkerhet och att utvecklingen av deepfake-lärande klassificerare kanske bör drivas av undermedvetna svar, som mäts med EEG-avläsningar i svar på falska bilder, snarare än av betraktarens medvetna uppskattning av en bilds äkthet.

Författarna kommenterar:

‘Detta är liknande fynd som visar att individer med prosopagnosi som inte kan bete sig eller känna igen ansikten som bekanta eller obekanta ändå visar starkare autonoma svar på bekanta ansikten än obekanta ansikten.

‘På samma sätt har vi visat i denna studie att medan vi kunde avkoda skillnaden mellan äkta och realistiska ansikten från neural aktivitet, sågs denna skillnad inte beteendemässigt. I stället identifierade observatörerna felaktigt 69% av de äkta ansiktena som falska.’

Den nya forskningen har titeln Är du äkta? Avkodning av realistiska AI-genererade ansikten från neural aktivitet och kommer från fyra forskare vid University of Sydney, Macquarie University, Western Sydney University och University of Queensland.

Data

Resultaten framkom från en bredare undersökning av människors förmåga att skilja på uppenbart falska, hyperrealistiska (men fortfarande falska) och äkta bilder, som genomfördes i två omgångar.

Forskarna använde bilder skapade av Generative Adversarial Networks (GANs), delade av NVIDIA.

GAN-genererade mänskliga ansiktsbilder som gjorts tillgängliga av NVIDIA. Källa: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data bestod av 25 ansikten, bilar och sovrum, i nivåer av rendering som sträckte sig från ‘orealistiska’ till ‘realistiska’. För ansiktsjämförelse (dvs. för lämplig icke-falsk material) använde författarna urval från källdata för NVIDIA:s källa Flickr-Faces-HQ (FFHQ) dataset. För jämförelse av andra scenarier använde de material från LSUN-datasetet.

Bilderna presenterades slutligen för testpersonen antingen rättvända eller inverterade, och i en mängd olika frekvenser, med alla bilder som återställdes till 256×256 pixlar.

Efter att allt material hade samlats in, valdes 450 stimuli-bilder ut för testerna.

Representativa exempel på testdata.

Tester

Testerna genomfördes initialt online, genom jsPsych på pavlovia.org, med 200 deltagare som bedömde olika delmängder av den totala insamlade testdatan. Bilderna presenterades i 200 ms, följt av en tom skärm som skulle bestå tills betraktaren fattade ett beslut om huruvida den kortvisade bilden var “fake” eller “äkta”. Varje bild presenterades endast en gång, och hela testet tog 3-5 minuter att slutföra.

Den andra och mer avslöjande omgången använde fysiska testpersoner som var anslutna till EEG-maskiner, och presenterades på Psychopy2-plattformen. Var och en av de tjugo sekvenserna innehöll 40 bilder, med 18 000 bilder som presenterades över hela testdatamängden.

Den insamlade EEG-datans avkodades via MATLAB med CoSMoMVPA-verktyget, med en leave-one-out-cross-validation-schema under Linear Discriminant Analysis (LDA).

LDA-klassificeren var den komponent som kunde göra skillnad mellan hjärnans reaktion på falska stimuli och testpersonens egen uppfattning om huruvida bilden var falsk.

Resultat

Forskarna var intresserade av att se om EEG-testpersonerna kunde skilja på äkta och falska ansikten, och aggregerade och bearbetade resultaten, och fann att deltagarna kunde skilja äkta från orealistiska ansikten lätt, men hade svårt att identifiera realistiska, GAN-genererade falska ansikten. Om bilden var upp-och-nedvänd tycktes det ha liten betydelse.

Beteendemässig diskriminering av äkta och syntetiskt genererade ansikten, i den andra omgången.

Men EEG-datans berättade en annan historia.

Artikeln hävdar:

‘Även om observatörerna hade svårt att skilja på äkta och falska ansikten och tenderade att överklassificera falska ansikten, innehöll EEG-datans signalinformation som var relevant för denna skillnad och som meningsfullt skilde sig mellan realistiska och orealistiska, och denna signal tycktes vara begränsad till en relativt kort bearbetningsfas.’

Här är skillnaden mellan EEG-precision och de rapporterade åsikterna från testpersonerna (dvs. om ansiktsbilderna var falska eller inte) inte identiska, med EEG-avläsningarna som kom närmare sanningen än de medverkandes uppenbara perception.

Forskarna drar slutsatsen att även om observatörerna kan ha svårt att tyst identifiera falska ansikten, har dessa ansikten ‘distinkta representationer i det mänskliga visuella systemet’.

Skillnaden som hittades har fått forskarna att spekulera om den potentiella tillämpbarheten av deras fynd för framtida säkerhetsmekanismer:

‘I en tillämpad miljö som cybersäkerhet eller Deepfakes, kan undersökningen av detekteringsförmågan för realistiska ansikten vara bäst att följa med hjälp av maskinlärningsklassificerare som appliceras på neuroimagingdata snarare än att rikta in sig på beteendeprestanda.’

De slutsatsar:

‘Att förstå dissociationen mellan hjärna och beteende för fake face-detektion kommer att ha praktiska implikationer för hur vi hanterar den potentiellt skadliga och universella spridningen av artificiellt genererad information.’

* Min omvandling av inline-citationer till hyperlänkar.

Publicerad första gången den 11 juli 2022.