Cercetătorii Identifică o Trăsătură Rezilientă a Deepfake-urilor care Ar Putea Ajuta la Detectarea pe Termen Lung

De la apariția primelor soluții de detectare a deepfake-urilor în 2018, sectorul cercetării în domeniul viziunii computaționale și securității a căutat să definească o caracteristică esențială a videourilor deepfake – semnale care ar putea fi rezistente la îmbunătățirile tehnologiilor de sinteză facială (cum ar fi pachetele deepfake bazate pe autoencoder, cum ar fi DeepFaceLab și FaceSwap, și utilizarea Rețelelor Adversative Generative pentru a recrea, simula sau modifica fețele umane).

Multe dintre “indicii” cum ar fi lipsa clipeșului, au devenit inutile datorită îmbunătățirilor aduse deepfake-urilor, în timp ce utilizarea tehnicilor de proveniență digitală (cum ar fi Inițiativa de Autenticitate a Conținutului condusă de Adobe ) – inclusiv abordări bazate pe blockchain și marcarea digitală a watermark a fotografiilor sursă potențiale – ar necesita schimbări masive și costisitoare ale corpului existent de imagini sursă disponibile pe internet, sau ar necesita un efort cooperativ semnificativ între națiuni și guverne pentru a crea sisteme de supraveghere și autentificare.

Prin urmare, ar fi foarte util dacă o trăsătură fundamentală și rezilientă ar putea fi descoperită în conținutul de imagine și video care prezintă fețe umane modificate, inventate sau schimbate de identitate; o caracteristică care ar putea fi dedusă direct din videourile falsificate, fără verificare la scară largă, hasharea activelor criptografice, verificarea contextului, evaluarea plauzibilității, rutinele de detectare a artefactelor sau alte abordări greoaie pentru detectarea deepfake-urilor.

Deepfake-uri în Cadru

O nouă colaborare de cercetare între China și Australia crede că a găsit acest “sfânt graal”, sub forma întreruperii regularității.

Autorii au conceput o metodă de comparare a integrității spațiale și a continuității temporale a videourilor reale cu cele care conțin conținut deepfake, și au descoperit că orice fel de interferență deepfake perturbă regularitatea imaginii, oricât de imperceptibil.

Acest lucru se datorează în parte faptului că procesul de deepfake descompune videoul țintă în cadre și aplică efectul unui model de deepfake antrenat în fiecare cadru (înlocuit). Distribuțiile populare de deepfake acționează în același mod ca animatorii, în acest sens, acordând mai multă atenție autenticității fiecărui cadru decât contribuției fiecărui cadru la integritatea spațială și continuitatea temporală a videoului.

Din articol: A) Diferențele dintre tipurile de date. Aici vedem că perturbațiile p-fake schimbă calitatea spațio-temporală a imaginii în același mod ca și un deepfake, fără a înlocui identitatea. B) Analiza zgomotului celor trei tipuri de date, arătând cum p-fake imită perturbarea deepfake. C) O vizualizare temporală a celor trei tipuri de date, cu datele reale demonstrând o integritate mai mare în fluctuație. D) Vizualizarea T-SNE a caracteristicilor extrase pentru videourile reale, falsificate și p-falsificate. Sursă: https://arxiv.org/pdf/2207.10402.pdf

Acest lucru nu este modul în care un codec de video tratează o serie de cadre atunci când se face o înregistrare originală sau se procesează. Pentru a economisi spațiu pe disc sau pentru a face un video potrivit pentru streaming, o cantitate uriașă de informații este eliminată de codec. Chiar și la setările de calitate superioară, codec-ul va aloca cadre cheie (o variabilă care poate fi setată de utilizator) – imagini complete, practic necomprimate, care apar la un interval prestabilit în video.

Cadrele interstițiale dintre cadrele cheie sunt, într-o anumită măsură, estimate ca o variantă a cadrelor, și vor reutiliza cât mai multe informații posibile din cadrele cheie adiacente, în loc de a fi cadre complete în sine.

În stânga, un cadru cheie complet, sau ‘i-cadru’, este stocat în video-ul comprimat, la un anumit cost de spațiu pe disc; în dreapta, un cadru interstițial ‘delta’ reutilizează orice parte aplicabilă a cadrelor cheie mai bogate în date. Sursă: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

În acest fel, blocul (care conține x număr de cadre, în funcție de setările de cadre cheie) este, în mod evident, cea mai mică unitate considerată într-un video comprimat tipic, și nu orice cadru individual. Chiar și cadru cheie în sine, cunoscut sub numele de i-cadru, face parte din acea unitate.

În ceea ce privește animația tradițională de desene animate, un codec efectuează o specie de întrerupere, cu cadrele cheie care funcționează ca stâlpi pentru cadrele interstițiale derivate, cunoscute sub numele de cadre delta.

În contrast, suprapunerea deepfake acordă o atenție și resurse enorme fiecărui cadru individual, fără a lua în considerare contextul mai larg, și fără a face nicio concesie pentru modul în care compresia și codarea pe bază de blocuri afectează caracteristicile videourilor “autentice”.

O privire mai atentă asupra discontinuității dintre calitatea temporală a unui video autentic (stânga) și același video atunci când este perturbat de deepfake-uri (dreapta).

Deși unele dintre cele mai bune deepfake-uri utilizează o post-procesare extinsă, în pachete cum ar fi After Effects, și deși distribuția DeepFaceLab are o anumită capacitate nativă de a aplica proceduri de “amalgamare” cum ar fi blur-ul de mișcare, o astfel de abilitate nu afectează nepotrivirea dintre calitatea spațială și temporală a videourilor autentice și a celor deepfake.

Articolul nou se intitulează Detectarea Deepfake prin Crearea Întreruperii Regularității Spațio-Temporale și provine de la cercetători de la Universitatea Tsinghua, Departamentul de Tehnologie a Viziunii Computaționale (VIS) de la Baidu Inc. și Universitatea Melbourne

Deepfake-uri “Falsificate”

Cercetătorii din spatele articolului au integrat funcționalitatea cercetării într-un modul plug-and-play numit Generator de Deepfake Falsificate ( Generator P-fake ), care transformă videourile reale în videouri deepfake falsificate, perturbându-le în același mod în care procesul real de deepfake o face, fără a efectua nicio operațiune de deepfake.

Testele indică faptul că modulul poate fi adăugat la toate sistemele de detectare a deepfake-urilor existente la un cost practic zero de resurse, și că îmbunătățește semnificativ performanța acestora.

Descoperirea ar putea ajuta la abordarea uneia dintre celelalte obstacole din cercetarea detectării deepfake-urilor: lipsa seturilor de date autentice și actualizate. Deoarece generarea de deepfake-uri este un proces elaborat și consumator de timp, comunitatea a dezvoltat o serie de seturi de date deepfake în ultimii cinci ani, multe dintre acestea fiind destul de învechite.

Prin izolarea întreruperii regularității ca semnal deepfake-agnostic pentru videourile modificate post-factum, noua metodă face posibilă generarea de mostre și seturi de date nelimitate care se concentrează pe acest aspect al deepfake-urilor.

Prezentarea generală a blocului STE, unde convoluția temporală canalului este utilizată ca o scânteie pentru a genera codări spațio-temporale îmbunătățite, rezultând același semnal pe care chiar și un deepfake foarte convingător l-ar putea oferi.

Teste

Cercetătorii au efectuat experimente pe șase seturi de date notabile utilizate în cercetarea detectării deepfake-urilor: FaceForensics++ (FF++); WildDeepFake; Prezentarea provocării de detectare a deepfake-urilor (DFDCP); Celeb-DF; Detectarea Deepfake (DFD); și Face Shifter (FSh).

Pentru FF++, cercetătorii au antrenat modelul lor pe setul de date original și au testat fiecare dintre cele patru subseturi separate. Fără utilizarea niciunui material deepfake în antrenament, noua metodă a reușit să depășească rezultatele actuale.

Metoda a ocupat, de asemenea, primul loc atunci când a fost comparată cu setul de date FF++ C23 comprimat, care oferă exemple care prezintă artefacte de compresie credibile în medii de vizualizare a deepfake-urilor din lumea reală.

Autorii menționează:

‘Performanțele din FF++ validează fezabilitatea ideii noastre principale, în timp ce generalizabilitatea rămâne o problemă majoră a metodelor de detectare a deepfake-urilor existente, deoarece performanța nu este garantată atunci când se testează deepfake-uri generate de tehnici nevăzute.

‘Considerați, de asemenea, realitatea cursei armelor dintre detectori și creatori de deepfake-uri, generalizabilitatea este un criteriu important pentru a măsura eficacitatea unei metode de detectare în lumea reală.’

Deși cercetătorii au efectuat o serie de sub-teste (a se vedea articolul pentru detalii) cu privire la “robustitate” și la varierea tipurilor de videouri introduse (de exemplu, reale, false, p-falsificate etc.), cele mai interesante rezultate sunt cele de la testul pentru performanța cross-dataset.

Pentru aceasta, autorii au antrenat modelul lor pe versiunea “reală” c23 a FF++ și l-au testat împotriva a patru seturi de date, obținând, după cum afirmă autorii, o performanță superioară în toate acestea.

Rezultatele testului cross-dataset. Articolul menționează că SBI utilizează o abordare similară cu a noastră, în timp ce, susțin cercetătorii, p-fake arată o performanță mai bună pentru perturbarea regularității spațio-temporale.

Articolul afirmă:

‘În Deepwild, metoda noastră depășește metoda SOTA cu aproximativ 10 puncte procentuale în ceea ce privește AUC%. Credem că acest lucru se datorează diversității mari a deepfake-urilor din Deepwild, care face ca alte metode să nu se generalizeze bine din deepfake-urile văzute.’

Metricile utilizate pentru testele au fost Scorul de Acuratețe (ACC), Aria de Sub Curba Caracteristică a Receptorului (AUC) și Rata de Egalitate a Erorilor (EER).

Contraatacuri?

Deși mass-media caracterizează tensiunea dintre dezvoltatorii de deepfake-uri și cercetătorii de detectare a deepfake-urilor în termeni de război tehnologic, este posibil ca aceștia din urmă să încerce pur și simplu să creeze o ieșire mai convingătoare, și că dificultatea crescută a detectării deepfake-urilor este un produs secundar al acestor eforturi.

Întrebarea este dacă dezvoltatorii vor încerca să abordeze această nouă slăbiciune descoperită, ceea ce depinde, poate, de faptul dacă simt că întreruperea regularității poate fi percepută într-un video deepfake de ochiul liber, ca un semn de neautenticitate, și că, prin urmare, această metrică este valoroasă pentru a fi abordată dintr-un punct de vedere pur calitativ.

Deși au trecut cinci ani de la apariția primelor deepfake-uri online, tehnologia de deepfake este încă relativ nouă, iar comunitatea este, probabil, mai obsedată de detalii și rezoluție decât de contextul corect sau de potrivirea semnăturilor videourilor comprimate, ceea ce necesită o anumită “degradare” a ieșirii – exact ceea ce comunitatea de deepfake-uri se luptă în prezent.

Dacă consensul general acolo se dovedește a fi că întreruperea regularității este o semnătură nouă care nu afectează calitatea, nu va exista niciun efort pentru a compensa – chiar dacă poate fi “anulat” prin anumite proceduri de post-procesare sau de arhitectură, ceea ce este departe de a fi clar.

Publicat pentru prima dată pe 22 iulie 2022.