Andersons vinkel

Våra undermedvetna färdigheter för att upptäcka deepfakes kan driva framtida automatiserade system

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterEEG-data avslöjar att undermedvetna neurala signaler kan skilja verkliga från falska…
Visa mer
  • EEG-data avslöjar att undermedvetna neurala signaler kan skilja verkliga från falska ansikten även när betraktare medvetet misslyckas.
  • Studien föreslår att träna deepfake-detektorer på hjärnaktivitet snarare än subjektiva mänskliga bedömningar för bättre noggrannhet.
  • Deltagare misidentifierade 69% av verkliga ansikten som falska, vilket belyser opålitligheten hos medveten perception för deepfake-detektion.

Ny forskning från Australien tyder på att vår hjärna är skicklig på att känna igen sofistikerade deepfakes, även när vi medvetet tror att de bilder vi ser är äkta.

Fyndet antyder vidare att det kan vara möjligt att använda människors neurala svar på deepfake-ansikten (i stället för deras uttalade åsikter) för att träna automatiserade deepfake-detekteringssystem. Sådana system skulle tränas på bildernas deepfake-egenskaper, inte från förvirrade uppskattningar av sannolikhet, utan från våra instinktiva perceptuella mekanismer för ansiktsigenkänning.

‘Även om hjärnan kan ‘känna igen’ skillnaden mellan äkta och realistiska ansikten, kan observatörerna inte medvetet skilja dem åt. Våra fynd om dissociationen mellan hjärnans svar och beteende har implikationer för hur vi studerar uppfattningen av falska ansikten, de frågor vi ställer när vi frågar om identifiering av falska bilder och de möjliga sätten att etablera skyddande standarder mot missbruk av falska bilder.’

Resultaten framkom i omgångar av tester som utformades för att utvärdera hur människor svarar på falska bilder, inklusive bilder av uppenbart falska ansikten, bilar, inomhusutrymmen och inverterade (dvs. upp-och-nedvända) ansikten.

Olika iterationer och tillvägagångssätt för experimenten, som involverade två grupper av testpersoner som behövde klassificera en kortvisad bild som 'fake' eller 'äkta'. Den första omgången genomfördes på Amazon Mechanical Turk, med 200 volontärer, medan den andra omgången involverade ett mindre antal volontärer som svarade på testerna medan de var anslutna till EEG-maskiner. Källa: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Olika iterationer och tillvägagångssätt för experimenten, som involverade två grupper av testpersoner som behövde klassificera en kortvisad bild som ‘fake’ eller ‘äkta’. Den första omgången genomfördes på Amazon Mechanical Turk, med 200 volontärer, medan den andra omgången involverade ett mindre antal volontärer som svarade på testerna medan de var anslutna till EEG-maskiner. Källa: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Artikeln hävdar:

‘Våra resultat visar att givet endast en kort glimt, kan observatörerna kanske upptäcka falska ansikten. Men de har svårt att skilja äkta ansikten från falska ansikten och i vissa fall trodde de att falska ansikten var mer äkta än äkta ansikten.

‘Men med hjälp av tidsupplöst EEG och multivariata mönsterklassificeringsmetoder, kunde vi avkoda både orealistiska och realistiska ansikten från äkta ansikten med hjälp av hjärnaktivitet.

‘Denna dissociation mellan beteende och neurala svar för realistiska ansikten ger viktiga nya bevis om uppfattningen av falska ansikten samt implikationer som involverar den alltmer realistiska klassen av GAN-genererade ansikten.’

Artikeln föreslår att den nya forskningen har “flera implikationer” inom tillämpad cybersäkerhet och att utvecklingen av deepfake-lärande klassificerare kanske bör drivas av undermedvetna svar, som mäts med EEG-avläsningar i svar på falska bilder, snarare än av betraktarens medvetna uppskattning av en bilds äkthet.

Författarna kommenterar*:

‘Detta är liknande fynd som visar att individer med prosopagnosi som inte kan klassificera eller känna igen ansikten som bekanta eller obekanta i beteendetester ändå visar starkare autonoma svar på bekanta ansikten än obekanta ansikten.

‘På samma sätt har vi visat i denna studie att medan vi kunde avkoda skillnaden mellan äkta och realistiska ansikten från neural aktivitet, sågs denna skillnad inte beteendemässigt. I stället identifierade observatörerna felaktigt 69% av de äkta ansiktena som falska.’

Den nya forskningen har titeln Är du äkta? Avkodning av realistiska AI-genererade ansikten från neural aktivitet och kommer från fyra forskare vid University of Sydney, Macquarie University, Western Sydney University och University of Queensland.

Data

Resultaten framkom från en bredare undersökning av människors förmåga att skilja på uppenbart falska, hyperrealistiska (men fortfarande falska) och äkta bilder, som genomfördes i två omgångar.

Forskarna använde bilder skapade av Generative Adversarial Networks (GANs), delade av NVIDIA.

GAN-genererade mänskliga ansiktsbilder som gjorts tillgängliga av NVIDIA. Källa: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

GAN-genererade mänskliga ansiktsbilder som gjorts tillgängliga av NVIDIA. Källa: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data bestod av 25 ansikten, bilar och sovrum, i nivåer av rendering som sträckte sig från ‘orealistiska’ till ‘realistiska’. För ansiktsjämförelse (dvs. för lämpligt äkta jämförelsematerial) använde författarna urval från källdata för NVIDIA:s källa Flickr-Faces-HQ (FFHQ) dataset. För jämförelse av andra scenarier använde de material från LSUN-datasetet.

Bilderna presenterades slutligen för testpersonen antingen rättvända eller inverterade, och i en mängd olika frekvenser, med alla bilder som skalades om till 256×256 pixlar.

Efter att allt material hade samlats in, valdes 450 stimuli-bilder ut för testerna.

Representativa exempel på testdata.

Representativa exempel på testdata.

Tester

Testerna genomfördes initialt online, genom jsPsych på pavlovia.org, med 200 deltagare som bedömde olika delmängder av den totala insamlade testdatan. Bilderna presenterades i 200 ms, följt av en tom skärm som skulle bestå tills betraktaren fattade ett beslut om huruvida den kortvisade bilden var “fake” eller “äkta”. Varje bild presenterades endast en gång, och hela testet tog 3-5 minuter att slutföra.

Den andra och mer avslöjande omgången använde fysiska testpersoner som var anslutna till EEG-maskiner, och presenterades på Psychopy2-plattformen. Var och en av de tjugo sekvenserna innehöll 40 bilder, med 18 000 bilder som presenterades över hela testdatamängden.

Insamlade EEG-data avkodades via MATLAB med CoSMoMVPA-verktyget, med ett leave-one-out-schema för korsvalidering under Linear Discriminant Analysis (LDA).

LDA-klassificeraren var den komponent som kunde göra skillnad mellan hjärnans reaktion på falska stimuli och testpersonens egen uppfattning om huruvida bilden var falsk.

Resultat

Forskarna var intresserade av att se om EEG-testpersonerna kunde skilja på äkta och falska ansikten, och aggregerade och bearbetade resultaten, och fann att deltagarna kunde skilja äkta från orealistiska ansikten lätt, men hade svårt att identifiera realistiska, GAN-genererade falska ansikten. Om bilden var upp-och-nedvänd tycktes det ha liten betydelse.

Beteendemässig diskriminering av äkta och syntetiskt genererade ansikten, i den andra omgången.

Beteendemässig diskriminering av äkta och syntetiskt genererade ansikten, i den andra omgången.

Men EEG-data berättade en annan historia.

Artikeln hävdar:

‘Även om observatörerna hade svårt att skilja på äkta och falska ansikten och tenderade att överklassificera falska ansikten, innehöll EEG-data signalinformation som var relevant för denna skillnad och som meningsfullt skilde sig mellan realistiska och orealistiska, och denna signal tycktes vara begränsad till en relativt kort bearbetningsfas.’

Här är skillnaden mellan EEG-precision och de rapporterade åsikterna från testpersonerna (dvs. om ansiktsbilderna var falska eller inte) inte identiska, med EEG-avläsningarna som kom närmare sanningen än de medverkandes uppenbara perception.

Här är skillnaden mellan EEG-precision och de rapporterade åsikterna från testpersonerna (dvs. om ansiktsbilderna var falska eller inte) inte identiska, med EEG-avläsningarna som kom närmare sanningen än de medverkandes uppenbara perception.

Forskarna drar slutsatsen att även om observatörerna kan ha svårt att omedvetet identifiera falska ansikten, har dessa ansikten ‘distinkta representationer i det mänskliga visuella systemet’.

Skillnaden som hittades har fått forskarna att spekulera om den potentiella tillämpbarheten av deras fynd för framtida säkerhetsmekanismer:

‘I en tillämpad miljö som cybersäkerhet eller Deepfakes, kan undersökningen av detekteringsförmågan för realistiska ansikten vara bäst att följa med hjälp av maskinlärningsklassificerare som appliceras på neuroimagingdata snarare än att rikta in sig på beteendeprestanda.’

De drar slutsatsen:

‘Att förstå dissociationen mellan hjärna och beteende för detektion av falska ansikten kommer att ha praktiska implikationer för hur vi hanterar den potentiellt skadliga och universella spridningen av artificiellt genererad information.’

 

* Min omvandling av löpande källhänvisningar till hyperlänkar.

Publicerad första gången den 11 juli 2022.

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai