Fidelitate vs. Realism în videourile Deepfake

Nu toți practicanții de deepfake au același obiectiv: impulsul sectorului de cercetare a sintezei de imagini – sprijinit de susținători influenți, cum ar fi Adobe, NVIDIA și Facebook – este de a avansa stadiul actual al tehnicii, astfel încât tehnicile de învățare automată să poată recrea sau sintetiza activități umane la rezoluție înaltă și în condiții dificile (fidelitate).

În schimb, obiectivul celor care doresc să utilizeze tehnologiile de deepfake pentru a răspândi informații false este de a crea simulări plauzibile ale unor persoane reale prin metode mult mai diverse decât simpla veridicitate a fețelor deepfake. În acest scenariu, factorii auxiliari, cum ar fi contextul și plauzibilitatea, sunt aproape la fel de importanți ca și potențialul unui videoclip de a simula fețe (realism).

Acest “truc de mână” se extinde și la degradarea calității finale a imaginii unui videoclip deepfake, astfel încât întregul videoclip (și nu doar porțiunea deșănțată reprezentată de o față deepfake) are un aspect coerent care este precis pentru calitatea așteptată pentru mediul respectiv.

‘Coerent’ nu înseamnă neapărat ‘bun’ – este suficient ca calitatea să fie consistentă pe tot parcursul conținutului original și al conținutului inserat, adulterat, și să se conformeze așteptărilor. În ceea ce privește ieșirile de streaming VOIP pe platforme precum Skype și Zoom, bara poate fi remarcabil de scăzută, cu imagini tremurătoare, jerky, și o gamă largă de artefacte de compresie potențiale, precum și algoritmi de ‘netezire’ concepuți pentru a reduce efectele lor – care, la rândul lor, constituie o gamă suplimentară de efecte ‘neautentice’ pe care le-am acceptat ca corolare ale constrângerilor și excentricităților streaming-ului live.

DeepFaceLive în acțiune: această versiune de streaming a software-ului premier de deepfake DeepFaceLab poate oferi realism contextual prin prezentarea de falsuri în contextul unei calități a imaginii limitate, completate cu probleme de redare și alte artefacte de conexiune recurente. Sursă: https://www.youtube.com/watch?v=IL517EgYH8U

Degradare Încorporată

Într-adevăr, cele două pachete de deepfake cele mai populare (ambele derivate din codul sursă controversat din 2017) conțin componente destinate să integreze fața deepfake în contextul unui videoclip ‘istoric’ sau de calitate inferioară, prin degradarea feței generate. În DeepFaceLab, parametrul bicubic_degrade_power realizează acest lucru, iar în FaceSwap, setarea ‘grain’ din configurația Ffmpeg ajută la integrarea feței false prin păstrarea granulației în timpul codării*.

Setarea ‘grain’ din FaceSwap ajută la integrarea autentică în conținutul video non-HQ și în conținutul moștenit, care poate prezenta efecte de granulație a filmului, relativ rare în zilele noastre.

Adesea, în loc de un videoclip deepfake complet și integrat, deepfakers vor produce o serie izolată de fișiere PNG cu canale alfa, fiecare imagine arătând doar fața sintetică generată, astfel încât fluxul de imagini poate fi convertit în videoclip pe platforme cu capacități de efecte de degradare mai sofisticate, cum ar fi Adobe After Effects, înainte ca elementele false și reale să fie reunite pentru videoclipul final.

Pe lângă aceste degradări intenționate, conținutul muncii de deepfake este adesea recomprimat, fie algoritmic (unde platformele de social media încearcă să economisească lățimea de bandă prin producerea de versiuni mai ușoare ale încărcărilor utilizatorilor) pe platforme precum YouTube și Facebook, sau prin reprocesarea lucrării originale în GIF-uri animate, secțiuni de detalii sau alte fluxuri de lucru divers motivate, care tratează lansarea originală ca punct de plecare și introduc ulterior compresii suplimentare.

Contexte Realiste de Detectare a Deepfake-urilor

Având în vedere acest lucru, o nouă lucrare din Elveția a propus o revizuire a metodologiei din spatele abordărilor de detectare a deepfake-urilor, prin învățarea sistemelor de detectare să învețe caracteristicile conținutului deepfake atunci când este prezentat în contexte degradate intenționat.

Augmentarea datelor stocastice aplicate uneia dintre seturile de date utilizate în noua lucrare, prezentând zgomot gaussian, corecție gamma și blur gaussian, precum și artefacte de compresie JPEG. Sursă: https://arxiv.org/pdf/2203.11807.pdf

În noua lucrare, cercetătorii argumentează că pachetele de detectare a deepfake-urilor de avangardă se bazează pe condiții de referință nerealiste pentru contextul metricilor pe care le aplică și că ieșirile deepfake ‘degradate’ pot cădea sub pragul minim de calitate pentru detectare, deși conținutul lor ‘murdar’ realist este probabil să înșele spectatorii datorită unei atenții corecte la context.

Cercetătorii au instituit un proces de degradare a datelor ‘realiste’ care reușește să îmbunătățeze generalizabilitatea detectoarelor de deepfake de top, cu o pierdere marginală a preciziei pe ratele de detectare originale obținute prin date ‘curate’. Ei oferă, de asemenea, un cadru de evaluare nou care poate evalua robustețea detectoarelor de deepfake în condiții reale, sprijinit de studii de ablație extinse.

Lucrarea se intitulează O Abordare Nouă pentru Îmbunătățirea Detectării Bazate pe Învățare a Deepfake-urilor în Condiții Realiste și provine de la cercetători de la Grupul de Procesare a Semnalelor Multimedia (MMSPG) și École Polytechnique Fédérale de Lausanne (EPFL), ambele cu sediul în Lausanne.

Confuzie Utilă

Eforturile anterioare de a incorpora ieșiri degradate în abordările de detectare a deepfake-urilor includ rețeaua neurală Mixup, o ofertă din 2018 de la MIT și FAIR, și AugMix, o colaborare din 2020 între DeepMind și Google, ambele fiind metode de augmentare a datelor care încearcă să ‘încurce’ materialul de antrenare într-un mod care ar putea ajuta la generalizare.

Cercetătorii noii lucrări notează, de asemenea, studii anterioare care au aplicat zgomot gaussian și artefacte de compresie datelor de antrenare pentru a stabili limitele relației dintre o caracteristică derivată și zgomotul în care este încorporată.

Noua studiu oferă o cale care simulează condițiile compromise ale procesului de achiziție pentru imagini și algoritmi de compresie și distribuție care pot degrada ulterior ieșirile de imagine. Prin incorporarea acestui flux de lucru real într-un cadru de evaluare, este posibil să se producă date de antrenare pentru detectoarele de deepfake care sunt mai rezistente la artefacte.

Logica conceptuală și fluxul de lucru pentru noua abordare.

Procesul de degradare a fost aplicat la două seturi de date populare și de succes utilizate pentru detectarea deepfake-urilor: FaceForensics++ și Celeb-DFv2. De asemenea, cadrele de detectare a deepfake-urilor de top Capsule-Forensics și XceptionNet au fost antrenate pe versiunile alterate ale celor două seturi de date.

Detectoarele au fost antrenate cu optimizerul Adam timp de 25 și 10 epoci, respectiv. Pentru transformarea setului de date, au fost selectate aleator 100 de cadre din fiecare videoclip de antrenare, cu 32 de cadre extrase pentru testare, înainte de adăugarea proceselor de degradare.

Distrorsionările luate în considerare pentru fluxul de lucru au fost zgomot, unde s-a aplicat zgomot gaussian cu medie zero la șase niveluri variate; redimensionare, pentru a simula rezoluția redusă a filmărilor obișnuite în aer liber, care poate afecta detectoarele; compresie, unde s-au aplicat niveluri variate de compresie JPEG pe date; netezire, unde s-au evaluat trei filtre de netezire tipice utilizate în ‘denoising’; îmbunătățire, unde s-au ajustat contrastul și luminozitatea; și combinații, unde orice combinație a trei dintre metodele menționate anterior a fost aplicată simultan unei singure imagini.

Testare și Rezultate

La testarea datelor, cercetătorii au adoptat trei metrice: Precizie (ACC); Aria de sub Curba Caracteristicii Receiver (AUC); și scor F1.

Cercetătorii au testat versiunile standard antrenate ale celor două detectoare de deepfake împotriva datelor alterate și au găsit că acestea sunt lipsite:

‘În general, majoritatea distorsiunilor și prelucrărilor realiste sunt extrem de dăunătoare detectoarelor de deepfake bazate pe învățare normal antrenate. De exemplu, metoda Capsule-Forensics arată scoruri AUC foarte ridicate pe ambele seturi de test FFpp și Celeb-DFv2, după antrenarea pe seturile de date respective, dar apoi suferă de o scădere drastică a performanței pe datele modificate din cadrul nostru de evaluare. Tendințe similare au fost observate și cu detectorul XceptionNet.’

În schimb, performanța celor două detectoare a fost îmbunătățită semnificativ prin antrenarea pe datele transformate, fiecare detector devenind mai capabil să detecteze media deșănțată neatinsă.

‘Schema de augmentare a datelor îmbunătățește semnificativ robustețea celor două detectoare și, în același timp, acestea mențin performanțe ridicate pe datele originale, nealterate.’

Comparații de performanță între seturile de date brute și augmentate utilizate pe cele două detectoare de deepfake evaluate în studiu.

Lucrarea concluzionează:

‘Metodele actuale de detectare sunt concepute pentru a obține o performanță cât mai bună pe anumite benchmark-uri. Acest lucru duce adesea la sacrificarea capacității de generalizare pentru scenarii mai realiste. În acest articol, o schemă de augmentare a datelor bazată pe procesul natural de degradare a imaginilor este propusă.

‘Experimentele extinse arată că tehnica simplă, dar eficientă, îmbunătățește semnificativ robustețea modelului împotriva diverselor distorsiuni și operațiuni de prelucrare realiste în fluxurile de lucru de imagistică tipice.’

* Corespondența granulației în fața generată este o funcție a transferului de stil în timpul procesului de conversie.

Publicat pentru prima dată pe 29 martie 2022. Actualizat la 8:33 pm EST pentru a clarifica utilizarea granulației în Ffmpeg.