Identificarea surselor de date Deepfake cu etichetare bazată pe IA

O colaborare între cercetători din China, Singapore și SUA a produs un sistem rezilient pentru “etichetarea” fotografiilor cu fețe, astfel încât markerii de identificare să nu fie distruși în timpul unui proces de deepfake, deschizând calea pentru revendicări de proprietate intelectuală care ar putea afecta capacitatea sistemelor de generare de imagini sintetice de a “anonimiza” datele sursă extrase ilegal.

Sistemul, intitulat FakeTagger, utilizează un proces de codificare/decodificare pentru a încorpora informații de identificare vizual nearătoare în imagini la un nivel suficient de jos pentru ca informațiile injectate să fie interpretate ca caracteristici faciale esențiale și, prin urmare, să fie transmise intacte prin procese de abstracție, în același mod, de exemplu, ca datele despre ochi sau gură.

O prezentare generală a arhitecturii FakeTagger. Datele sursă sunt utilizate pentru a genera o caracteristică facială “redundantă”, ignorând elementele de fundal care vor fi mascate printr-un flux de lucru tipic de deepfake. Mesajul poate fi recuperat la capătul procesului și identificat prin intermediul unui algoritm de recunoaștere adecvat. Sursă: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Cercetarea provine de la Școala de Științe și Inginerie Cibernetică de la Wuhan, Laboratorul Cheie de Securitate a Informației Aerospațiale și Calculatoare de Încredere al Ministerului Educației din China, Grupul Alibaba din SUA, Universitatea Northeastern din Boston și Universitatea Tehnologică Nanyang din Singapore.

Rezultatele experimentale cu FakeTagger indică o rată de reidentificare de până la aproape 95% în cazul a patru tipuri comune de metodologii de deepfake: schimb de identitate (de exemplu, DeepFaceLab, FaceSwap); reînregistrare a feței; editare a atributelor; și sinteză totală.

Limitările detectării Deepfake

Deși ultimii trei ani au adus o serie de abordări noi pentru metodologii de identificare a deepfake-urilor, toate aceste abordări se bazează pe deficiențe remediable ale fluxurilor de lucru de deepfake, cum ar fi strălucirea din ochi în modele subantrenate și lipsa clipei în deepfake-urile mai vechi cu seturi de fețe insuficient de diverse. Pe măsură ce sunt identificate noi chei, depozitele de software gratuit și cu sursă deschisă au eliminat aceste deficiențe, fie intenționat, fie ca urmare a îmbunătățirii tehnicilor de deepfake.

Articolul observă că cea mai eficientă metodă de detectare post-facto produsă de concursul recent de detectare a deepfake-urilor de la Facebook (DFDC) este limitată la o acuratețe de 70%, în ceea ce privește detectarea deepfake-urilor în sălbăticie. Cercetătorii atribuie această eșuare reprezentativă lipsei de generalizare împotriva noilor și inovatoare sisteme de deepfake GAN și encoder/decoder, precum și calității adesea degradate a înlocuirilor de deepfake.

În ultimul caz, acest lucru poate fi cauzat de munca de calitate scăzută a deepfaker-ilor sau de artefactele de compresie atunci când videoclipurile sunt încărcate pe platforme de partajare care încearcă să limiteze costurile cu lățimea de bandă și să reîncodeze videoclipurile la rate de biți drastic mai mici decât cele de încărcare. Ironia face că această degradare a imaginii nu interferează cu autenticitatea aparentă a unui deepfake, ci poate chiar să întărească iluzia, deoarece videoclipul de deepfake este asimilat într-un idiom vizual comun de calitate scăzută, care este perceput ca autentic.

Etichetarea supraviețuitoare ca ajutor pentru inversarea modelului

Identificarea datelor sursă din ieșirile de învățare automată este un domeniu relativ nou și în creștere, care face posibilă o nouă eră de litigii bazate pe drepturi de proprietate intelectuală, pe măsură ce reglementările actuale ale guvernelor privind extragerea de date de pe ecran (destinate să nu împiedice excelența națională în cercetare în fața unui “război” global al IA) evoluează către legislații mai stricte pe măsură ce sectorul se comercializează.

Inversarea modelului se ocupă de cartografierea și identificarea datelor sursă din ieșirile generate de sistemele de sinteză într-un număr de domenii, inclusiv Generarea Naturală a Limbajului (NLG) și sinteza de imagini. Inversarea modelului este deosebit de eficientă la reidentificarea fețelor care au fost estompate, pixelate sau care au trecut prin procesul de abstracție al unei rețele antagoniste generative sau al unui sistem de transformare encoder/decoder, cum ar fi DeepFaceLab.

Adăugarea de etichetare țintită la noile sau existentele imagini cu fețe este un potențial nou ajutor pentru tehnicile de inversare a modelului, cu marcarea cu apă ca un domeniu emergent.

Etichetarea post-facto

FakeTagger este destinat să fie o abordare post-procesare. De exemplu, atunci când un utilizator încarcă o fotografie pe o rețea socială (care implică de obicei un proces de optimizare și rareori o transfer direct și neatins a imaginii originale), algoritmul ar procesa imaginea pentru a aplica caracteristici presupus indelibile feței.

Alternativ, algoritmul ar putea fi aplicat asupra colecțiilor istorice de imagini, așa cum s-a întâmplat de mai multe ori în ultimii douăzeci de ani, atunci când site-urile de stoc de fotografii și colecțiile comerciale de imagini au căutat metode pentru a identifica conținutul care a fost reutilizat fără permisiune.

FakeTagger încearcă să încorporeze caracteristici de identificare recuperabile din diverse procese de deepfake.

Dezvoltare și testare

Cercetătorii au testat FakeTagger împotriva unor aplicații de software de deepfake din cele patru abordări menționate, inclusiv repository-ul cel mai utilizat, DeepFaceLab; Face2Face de la Stanford, care poate transfera expresii faciale între imagini și identități; și STGAN, care poate edita atribute faciale.

Testarea a fost efectuată cu CelebA-HQ, o colecție publică populară de 30.000 de imagini cu fețe de celebrități la diverse rezoluții, până la 1024 x 1024 de pixeli.

Ca punct de referință, cercetătorii au testat inițial tehnici convenționale de marcarea a imaginilor, pentru a vedea dacă etichetele impuse ar supraviețui proceselor de antrenare ale fluxurilor de lucru de deepfake, dar metodele au eșuat în toate cele patru abordări.

Datele încorporate de FakeTagger au fost injectate la etapa de codificare în imaginile cu fețe utilizând o arhitectură bazată pe rețeaua convoluvională U-Net pentru segmentarea de imagini biomedicale, lansată în 2015. Ulterior, secțiunea decodificator a cadrului a fost antrenată pentru a găsi informațiile încorporate.

Procesul a fost testat într-un simulator GAN care a utilizat aplicațiile/algoritmii FOSS menționați anterior, într-un mediu cu cutie neagră, fără acces discret sau special la fluxurile de lucru ale fiecărui sistem. Semnale aleatoare au fost atașate la imaginile cu celebrități și înregistrate ca date conexe pentru fiecare imagine.

Într-un mediu cu cutie neagră, FakeTagger a reușit să atingă o acuratețe de peste 88,95% asupra celor patru abordări ale aplicațiilor. Într-un scenariu paralel cu cutie albă, acuratețea a crescut la aproape 100%. Cu toate acestea, deoarece acest lucru sugerează iterații viitoare de software de deepfake care incorporează FakeTagger direct, este un scenariu puțin probabil în viitorul apropiat.

Calcularea costului

Cercetătorii notează că scenariul cel mai provocator pentru FakeTagger este sinteza completă a imaginilor, cum ar fi generarea abstractă bazată pe CLIP, deoarece datele de antrenare sunt supuse celor mai profunde niveluri de abstracție într-un astfel de caz. Cu toate acestea, acest lucru nu se aplică fluxurilor de lucru de deepfake care au dominat știrile în ultimii ani, deoarece acestea se bazează pe reproducerea fidelă a caracteristicilor definitorii ale identității.

Articolul notează, de asemenea, că atacatorii adversariali ar putea încerca să adauge perturbații, cum ar fi zgomotul artificial și granulația, pentru a înșela un astfel de sistem de etichetare, deși acest lucru ar fi probabil să aibă un efect dăunător asupra autenticității ieșirii de deepfake.

În plus, ei notează că FakeTagger trebuie să adauge date redundante la imaginile pentru a asigura supraviețuirea etichetelor pe care le încorporează, și că acest lucru ar putea avea un cost computațional semnificativ la scară.

Autorii concluzionează prin a nota că FakeTagger ar putea avea potențial pentru urmărirea provenienței în alte domenii, cum ar fi atacuri de ploaie adversară și alte tipuri de atacuri bazate pe imagini, cum ar fi expunerea adversară, ceața, încețoșarea, vigneta și schimbarea culorilor, și că acest lucru ar putea avea un cost computațional semnificativ la scară. Autorii concluzionează prin a nota că FakeTagger ar putea avea potențial pentru urmărirea provenienței în alte domenii, cum ar fi atacuri de ploaie adversară și alte tipuri de atacuri bazate pe imagini, cum ar fi expunerea adversară, ceața, încețoșarea, vigneta și schimbarea culorilor, și că acest lucru ar putea avea un cost computațional semnificativ la scară.