Abilitățile noastre subconștiente de detectare a deepfake-urilor ar putea alimenta sisteme automate viitoare

Cercetări recente din Australia sugerează că creierul nostru este priceput în a recunoaște deepfake-uri sofisticate, chiar și atunci când credem conștient că imaginile pe care le vedem sunt reale.

Acest lucru implică, de asemenea, posibilitatea de a utiliza răspunsurile neuronale ale oamenilor la fețe deepfake (în loc de opinia lor declarată) pentru a antrena sisteme automate de detectare a deepfake-urilor. Astfel de sisteme ar fi antrenate pe caracteristicile deepfake ale imaginilor, nu pe estimările confuze ale plauzibilității, ci pe mecanismele noastre instinctive de recunoaștere a identității faciale.

‘[D]eși creierul poate «recunoaște» diferența dintre fețe reale și fețe realistice, observatorii nu pot să le distingă conștient. Rezultatele noastre privind disocierea dintre răspunsul creierului și comportament au implicații pentru modul în care studiem percepția fețelor false, întrebările pe care le punem atunci când întrebăm despre identificarea imaginilor false și modalitățile posibile în care putem stabili standarde de protecție împotriva utilizării abuzive a imaginilor false.’

Rezultatele au apărut în urma unor teste menite să evalueze modul în care oamenii răspund la imagini false, inclusiv imagini cu fețe evident false, mașini, spații interioare și fețe răsturnate (adică cu susul în jos).

Diverse iterații și abordări pentru experimente, care au implicat două grupuri de subiecți care au trebuit să clasifice o imagine prezentată pe scurt ca «falsă» sau «reală». Prima rundă a avut loc pe Amazon Mechanical Turk, cu 200 de voluntari, în timp ce a doua rundă a implicat un număr mai mic de voluntari care au răspuns la teste în timp ce erau conectați la mașini EEG. Sursă: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Articolul afirmă:

‘Rezultatele noastre demonstrează că, dată fiind doar o scurtă privire, observatorii pot să identifice fețe false. Cu toate acestea, ei au mai multă dificultate în a distinge fețele reale de fețele false și, în unele cazuri, au crezut că fețele false sunt mai reale decât fețele reale.

‘Cu toate acestea, utilizând EEG cu rezoluție temporală și metode de clasificare multivariată, am găsit că a fost posibil să decodăm atât fețele nerealistice, cât și pe cele realistice, de la fețele reale, utilizând activitatea creierului.

‘Această disociere între comportament și răspunsuri neuronale pentru fețele realistice oferă dovezi importante noi despre percepția fețelor false, precum și implicații care implică clasa din ce în ce mai realistă a fețelor generate de GAN.’

Articolul sugerează că noua lucrare are «mai multe implicații» în domeniul securității cibernetice aplicate și că dezvoltarea clasificatorilor de deepfake ar trebui să fie condusă de răspunsul subconștient, așa cum se măsoară pe citiri EEG în răspuns la imagini false, și nu de estimarea conștientă a veridicității unei imagini.

Autorii comentă:

‘Acest lucru este asemănător cu descoperirile care arată că indivizii cu prosopagnozie care nu pot să clasifice sau să recunoască fețe ca fiind familiare sau nefamiliare, totuși, afișează răspunsuri autonome mai puternice la fețele familiare decât la fețele nefamiliare.

‘La fel, ceea ce am demonstrat în acest studiu este că, deși am putut decoda cu acuratețe diferența dintre fețele reale și cele realistice din activitatea neurală, această diferență nu a fost văzută comportamental. În schimb, observatorii au identificat greșit 69% din fețele reale ca fiind false.’

Noua lucrare se intitulează Sunteți reali? Decodarea fețelor realistice generate de IA din activitatea neurală și provine de la patru cercetători de la Universitatea din Sydney, Universitatea Macquarie, Universitatea Western Sydney și Universitatea din Queensland.

Date

Rezultatele au apărut în urma unei examinări mai ample a capacității umane de a distinge imagini manifest fals, hiper-realiste (dar totuși false) și reale, desfășurate în două runde de testare.

Cercetătorii au utilizat imagini create de Rețele Adversative Generative (GAN), împărtășite de NVIDIA.

Imagini de fețe umane generate de GAN, puse la dispoziție de NVIDIA. Sursă: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Datele au cuprins 25 de fețe, mașini și dormitoare, la niveluri de randare care variază de la «nerealist» la «realist». Pentru comparația fețelor (adică pentru materialul non-fals), autorii au utilizat selecții din datele sursă ale setului de date Flickr-Faces-HQ (FFHQ) al NVIDIA. Pentru comparația celorlalte scenarii, au utilizat material din setul de date LSUN.

Imaginile au fost prezentate subiecților fie cu susul în sus, fie răsturnate, și la o varietate de frecvențe, cu toate imaginile redimensionate la 256×256 de pixeli.

În cele din urmă, 450 de imagini de stimulare au fost selectate pentru teste.

Exemple reprezentative ale datelor de test.

Teste

Testele în sine au fost efectuate inițial online, prin jsPsych pe pavlovia.org, cu 200 de participanți care au evaluat diverse subseturi de date de testare. Imaginile au fost prezentate timp de 200ms, urmate de un ecran alb care a persistat până când privitorul a făcut o decizie cu privire la faptul că imaginea prezentată pe scurt era «falsă» sau «reală». Fiecare imagine a fost prezentată doar o dată, iar întregul test a durat 3-5 minute pentru a fi finalizat.

A doua rundă, mai revelatoare, a utilizat subiecți care au fost conectați la monitoare EEG și a fost prezentată pe platforma Psychopy2. Fiecare dintre cele douăzeci de secvențe a conținut 40 de imagini, cu 18.000 de imagini prezentate în întregul set de date de test.

Datele EEG colectate au fost decodificate prin MATLAB cu cutia de instrumente CoSMoMVPA, utilizând un schema de validare încrucișată leave-one-out sub Analiză Discriminantă Lineară (LDA).

Clasificatorul LDA a fost componenta care a putut să facă distincția între reacția creierului la stimuli falși și opinia subiectului cu privire la faptul că imaginea era falsă.

Rezultate

Interesați să vadă dacă subiecții testului EEG pot să distingă între fețele false și cele reale, cercetătorii au agregat și procesat rezultatele, constatând că participanții au putut să distingă fețele reale de cele nerealistice cu ușurință, dar au avut dificultăți în a identifica fețele realistice, generate de GAN, false. Faptul că imaginea era sau nu cu susul în jos părea să nu aibă o mare importanță.

Discriminarea comportamentală a fețelor reale și a fețelor generate sintetic, în a doua rundă.

Cu toate acestea, datele EEG au spus o altă poveste.

Articolul afirmă:

‘Deși observatorii au avut dificultăți în a distinge fețele reale de cele false și au tendința de a supraclasifica fețele false, datele EEG conțin informații semnificative privind această distincție, care diferă semnificativ între fețele realistice și nerealistice, și acest semnal pare să fie limitat la o etapă relativ scurtă de procesare.’

Aici disparitatea dintre acuratețea EEG și opinia raportată a subiecților (adică cu privire la faptul că imaginile cu fețe erau false) nu sunt identice, cu capturile EEG care se apropie mai mult de adevăr decât percepția manifestă a persoanelor implicate.

Cercetătorii concluzionează că, deși observatorii pot avea dificultăți în a identifica tacit fețele false, aceste fețe au «reprezentări distincte în sistemul vizual uman».

Disparitatea găsită i-a determinat pe cercetători să speculeze cu privire la posibila aplicabilitate a descoperirilor lor pentru mecanisme de securitate viitoare:

‘Într-un mediu aplicat, cum ar fi securitatea cibernetică sau Deepfakes, examinarea capacității de detectare a fețelor realistice ar putea fi urmărită cel mai bine utilizând clasificatori de învățare automată aplicați la date de neuroimagine, mai degrabă decât vizând performanța comportamentală.’

Ei concluzionează:

‘Înțelegerea disociării dintre creier și comportament pentru detectarea fețelor false va avea implicații practice pentru modul în care abordăm răspândirea potențial dăunătoare și universală a informațiilor generate artificial.’

* Conversia mea a citatelor inline în legături.

Publicat pentru prima dată pe 11 iulie 2022.