Revoluția Următoare a Deepfake-urilor: Dezlegarea

Augmentarea datelor CGI este utilizată într-un proiect nou pentru a obține un control mai mare asupra imaginilor deepfake. Deși încă nu puteți utiliza eficient capete CGI pentru a completa lacunele din seturile de date deepfake faciale, o nouă valură de cercetare privind dezlegarea identității de context înseamnă că, în curând, s-ar putea să nu mai fie nevoie.

Creatorii unor dintre cele mai de succes videoclipuri deepfake virale din ultimii ani selectează cu atenție videoclipurile sursă, evitând cadrele de profil prelungite (adică tipul de cadre laterale popularizate de procedurile de arestare a poliției), unghiurile acute și expresiile neobișnuite sau exagerate. În mod din ce în ce mai mult, videoclipurile demonstrative produse de deepfakers virali sunt compilații editate care selectează “unghiurile și expresiile cele mai ușoare” pentru a face deepfake.

În fapt, videoclipul țintă cel mai potrivit pentru a insera un deepfake al unei celebrități este acela în care persoana originală (a cărei identitate va fi ștearsă de deepfake) se uită direct la cameră, cu un interval minim de expresii.

Majoritatea deepfake-urilor populare din ultimii ani au arătat subiecți care se uită direct la cameră și poartă doar expresii populare (cum ar fi zâmbind), care pot fi ușor extrase din output-ul paparazzi de pe covorul roșu, sau (cum ar fi în cazul deepfake-ului lui Sylvester Stallone din 2019, prezentat în imaginea din stânga), ideal, fără nicio expresie, deoarece expresiile neutre sunt extrem de comune, făcându-le ușor de integrat în modelele deepfake.

Deoarece tehnologiile deepfake, cum ar fi DeepFaceLab și FaceSwap, efectuează aceste schimbări simple foarte bine, suntem suficient de impresionați de ceea ce realizează pentru a nu observa ce nu pot face și, adesea, nici măcar nu încearcă:

Imagini dintr-un videoclip deepfake aclamat, în care Arnold Schwarzenegger este transformat în Sylvester Stallone – cu excepția unghiurilor prea dificile. Profilele rămân o problemă persistentă pentru abordările actuale deepfake, parțial din cauza faptului că software-ul open source utilizat pentru a defini pozele faciale în cadrele deepfake nu este optimizat pentru vedere laterală, dar în principal din cauza lipsei de material sursă adecvat în una sau ambele seturi de date necesare. Sursă: https://www.youtube.com/watch?v=AQvCmQFScMA

O nouă cercetare din Israel propune o metodă nouă de utilizare a datelor sintetice, cum ar fi capetele CGI, pentru a aduce deepfake-urile în anii 2020, separând în mod real identitățile faciale (adică caracteristicile faciale esențiale ale “Tom Cruise”) de contextul lor (adică uitându-se în sus, uitându-se lateral, încruntându-se, încruntându-se în întuneric, cu sprâncenele încruntate, cu ochii închiși, etc.).

Noul sistem separă discret poza și contextul (de exemplu, clipirea unui ochi) de codificarea identității, utilizând date faciale sintetice neconectate (prezentate în imaginea din stânga). În rândul superior, vedem un “clipire” transferat pe identitatea lui Barack Obama, declanșat de calea neliniară învățată a spațiului latent al unei GAN, reprezentat de imaginea CGI din stânga. În rândul de dedesubt, vedem colțul gurii întins transferat pe fostul președinte. În partea de jos din dreapta, vedem ambele caracteristici aplicate simultan. Sursă: https://arxiv.org/pdf/2111.08419.pdf

Acest lucru nu este doar păpușărie de deepfake, o tehnică mai potrivită pentru avatare și lip-sincronizare parțială a feței, și care are un potențial limitat pentru transformări complete de videoclip deepfake.

Dimpotrivă, aceasta reprezintă o cale înainte pentru o separare fundamentală a instrumentalității (cum ar fi ‘schimba unghiul capului’, ‘creează o sprâncene încruntată’) de la identitate, oferind o cale către un cadru de sinteză a imaginilor deepfake la nivel înalt, și nu doar “derivativ”.

Noul articol se intitulează Delta-GAN-Encoder: Codificarea schimbărilor semantice pentru editarea explicită a imaginilor, utilizând puține mostre sintetice și provine de la cercetători de la Technion – Israel Institute of Technology.

Pentru a înțelege ce înseamnă această lucrare, să aruncăm o privire asupra modului în care sunt produse în prezent deepfake-urile, de la site-urile de deepfake pentru adulți la Industrial Light and Magic (depuce depozitul open source DeepFaceLab este în prezent dominant atât în deepfaking “amator”, cât și în cel profesional).

Ce Împiedică Tehnologia Actuală Deepfake?

Deepfake-urile sunt create în prezent prin antrenarea unui model de învățare automată encoder/decoder pe două foldere de imagini cu fețe – persoana pe care doriți să o “pictați” (în exemplul anterior, este vorba de Arnold) și persoana pe care doriți să o suprapuneți peste filmarea (Sylvester).

Exemple de unghiuri și condiții de iluminare variate în două seturi de fețe diferite. Observați expresia distinctivă de la sfârșitul celui de-al treilea rând din coloana A, care este puțin probabil să aibă un echivalent apropiat în celălalt set de date.

Sistemul encoder/decoder compară apoi fiecare imagine din fiecare folder cu toate celelalte, menținând, îmbunătățind și repetând această operațiune pentru sute de mii de iterații (adesea timp de o săptămână), până când înțelege suficient de bine caracteristicile esențiale ale ambelor identități pentru a le schimba la voia lor.

Pentru fiecare dintre cele două persoane care sunt schimbate în proces, ceea ce învață arhitectura deepfake despre identitate este împletit cu contextul. Nu poate învăța și aplica principii despre o poziție generică “pentru totdeauna”, ci are nevoie de exemple abundente în setul de antrenare, pentru fiecare identitate care va fi implicată în schimbul de fețe.

Prin urmare, dacă doriți să schimbați două identități care fac ceva mai neobișnuit decât doar zâmbind sau uitându-se direct la cameră, veți avea nevoie de multe instanțe ale acelei poziții/identități în ambele seturi de fețe:

Deoarece caracteristicile de identificare facială și poziția capului sunt în prezent atât de strâns legate, o paritate largă a expresiilor, pozițiilor capului și (într-o măsură mai mică) a iluminării este necesară între două seturi de date faciale pentru a antrena un model deepfake eficient pe sisteme cum ar fi DeepFaceLab. Cu cât o anumită configurație (cum ar fi “vedere laterală/zâmbind/în lumina soarelui”) este mai puțin prezentă în ambele seturi de fețe, cu atât mai puțin precis va fi reprezentată într-un videoclip deepfake, dacă este necesar.

Dacă setul A conține poziția neobișnuită, dar setul B o lipsește, sunteți practic în impas; indiferent de cât timp antrenați modelul, nu va învăța niciodată să reproducă acea poziție bine între identități, deoarece a avut doar jumătate din informațiile necesare atunci când a fost antrenat.

Chiar dacă aveți imagini care se potrivesc, s-ar putea să nu fie suficient: dacă setul A conține poziția care se potrivește, dar cu iluminare laterală puternică, comparativ cu poziția similară, cu iluminare plată, din celălalt set de fețe, calitatea schimbului nu va fi la fel de bună ca și cum ambele ar fi avut caracteristici de iluminare comune.

De Ce Datele Sunt Insuficiente

Exceptând cazul în care sunteți arestat în mod regulat, probabil că nu aveți prea multe cadre laterale cu imaginea dvs. Orice astfel de cadre care au apărut probabil le-ați aruncat. Deoarece agențiile de fotografii fac la fel, cadrele laterale cu fețe sunt greu de găsit.

Deepfakers adesea includ multiple copii ale datelor limitate de profil pe care le au pentru o identitate într-un set de fețe, doar pentru ca acea poziție să primească măcar puțină atenție și timp în timpul antrenării, în loc să fie ignorată ca o valoare outlier.

Există însă mult mai multe tipuri de cadre laterale cu fețe decât sunt probabil să fie disponibile pentru includerea într-un set de date – zâmbind, încruntându-se, țipând, plângând, în lumina slabă, disprețuind, plictisindu-se, fiind vesel, în lumina puternică a flash-ului, uitându-se în sus, uitându-se în jos, cu ochii deschiși, cu ochii închiși… și așa mai departe. Orice dintre aceste poziții, în combinații multiple, ar putea fi necesare într-un videoclip deepfake țintă.

Și asta doar pentru profile. Câte poze aveți cu dvs. uitându-vă direct în sus? Aveți suficiente pentru a reprezenta în mod cuprinzător cele 10.000 de expresii posibile pe care le-ați putea purta în timp ce vă uitați în acea poziție exactă de la unghiul exact al camerei, acoperind măcar o parte din cele un milion de medii de iluminare posibile?

Probabil că nici măcar nu aveți o poză cu dvs. uitându-vă în sus. Și asta doar pentru două unghiuri din cele sute necesare pentru o acoperire completă.

Chiar dacă ar fi posibil să generați o acoperire completă a unei fețe din toate unghiurile, sub o varietate de condiții de iluminare, setul de date rezultat ar fi mult prea mare pentru a fi antrenat, de ordinul sutelor de mii de poze; și chiar dacă ar putea fi antrenat, natura procesului de antrenare pentru cadrele deepfake actuale ar arunca cea mai mare parte a acestor date suplimentare în favoarea unui număr limitat de caracteristici derivate, deoarece cadrele actuale sunt reduse și nu prea scalabile.

Substituția Sintetică

De la apariția deepfake-urilor, deepfakers au experimentat utilizarea de imagini CGI, capete create în aplicații 3D, cum ar fi Cinema4D și Maya, pentru a genera acele “poziții lipsă”.

Fără a fi nevoie de AI; o actriță este recreată într-un program CGI tradițional, Cinema 4D, utilizând rețele și texturi bitmap – tehnologie care datează din anii 1960, deși a devenit larg utilizată abia din anii 1990. În teorie, acest model de față ar putea fi utilizat pentru a genera date sursă deepfake pentru poziții, stiluri de iluminare și expresii faciale neobișnuite. În realitate, a fost de mică sau deloc utilitate în deepfaking, deoarece “falsitatea” renderărilor tinde să se strecoare în videoclipurile schimbate. Sursă: imaginea autorului articolului de la https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Această metodă este abandonată în general de către noii practicanți de deepfake, deoarece, deși poate furniza poziții și expresii care altfel nu sunt disponibile, aspectul sintetic al fețelor CGI se strecoară adesea în schimburi, datorită împletirii identității și informațiilor contextuale/semantice.

Acest lucru poate duce la apariția bruscă a fețelor “din valea neliniștitoare” într-un videoclip deepfake altfel convingător, pe măsură ce algoritmul începe să se bazeze pe singurele date pe care le are pentru o poziție sau expresie neobișnuită – fețe evident false.

Printre cele mai populare subiecte pentru deepfakers, un algoritm de deepfake 3D pentru actrița australiană Margot Robbie este inclus în instalația implicită a DeepFaceLive, o versiune a DeepFaceLab care poate efectua deepfake într-un flux live, cum ar fi o sesiune de webcam. O versiune CGI, așa cum se arată mai sus, ar putea fi utilizată pentru a obține unghiuri “lipsă” neobișnuite în seturile de date deepfake. Sursă: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Fețele CGI ca Ghiduri Conceptuale Separate

În schimb, noua metodă Delta-GAN Encoder (DGE) a cercetătorilor israelieni este mai eficientă, deoarece informațiile despre poziție și context din imaginile CGI au fost complet separate de informațiile despre “identitate” ale țintei.

Putem vedea acest principiu în acțiune în imaginea de mai jos, unde diverse orientări ale capului au fost obținute prin utilizarea imaginilor CGI ca ghid. Deoarece caracteristicile identității sunt nelegate de caracteristicile contextuale, nu există nicio “scurgere” a aspectului fals al feței CGI, nici a identității reprezentate în ea:

Cu noua metodă, nu trebuie să găsiți trei imagini separate cu viață reală pentru a efectua un deepfake din multiple unghiuri – puteți pur și simplu roti capul CGI, ale cărui caracteristici abstracte de nivel înalt sunt impuse asupra identității fără a scurge nicio informație de identificare.

Delta-GAN-Encoder. Grupul din stânga sus: unghiul unei imagini sursă poate fi schimbat într-o clipă pentru a renderiza o nouă imagine sursă, care este reflectată în ieșire; grupul din dreapta sus: iluminarea este și ea disentântată de la identitate, permițând suprapunerea stilurilor de iluminare; grupul din stânga jos: multiple detalii faciale sunt modificate pentru a crea o expresie “tristă”; grupul din dreapta jos: un singur detaliu al expresiei faciale este schimbat, astfel încât ochii să clipească.

Această separare a identității și contextului se realizează în etapa de antrenare. Pipeline-ul pentru noua arhitectură deepfake caută vectorul latent într-o rețea generativă adversarială (GAN) preantrenată care se potrivește cu imaginea care urmează a fi transformată – o metodologie Sim2Real care se bazează pe un proiect din 2018 de la secția de cercetare AI a IBM.

Cercetătorii observă:

‘Cu doar câteva mostre, care diferă printr-un anumit atribut, puteți învăța comportamentul disentântat al unui model generativ preantrenat împletit. Nu este nevoie de mostre reale exacte pentru a atinge acest obiectiv, ceea ce nu este neapărat fezabil.

‘Prin utilizarea de mostre de date nereale, același obiectiv poate fi atins mulțumită utilizării semanticilor vectorilor latenți codificați. Aplicarea schimbărilor dorite peste mostrele de date existente poate fi făcută fără explorarea explicită a comportamentului spațiului latent.’

Cercetătorii anticipează că principiile de bază ale disentângerii explorate în proiect ar putea fi transferate în alte domenii, cum ar fi simulările arhitecturii interioare, și că metoda Sim2Real adoptată pentru Delta-GAN-Encoder ar putea permite, în cele din urmă, instrumente deepfake bazate pe simple schițe, și nu pe intrări CGI.

Se poate argumenta că amploarea cu care noul sistem israelian ar putea sau nu să sintetizeze videoclipuri deepfake este mult mai puțin semnificativă decât progresul pe care l-a făcut cercetarea în disentântarea contextului de la identitate, obținând astfel un control mai mare asupra spațiului latent al unei GAN.

Disentângerarea este un domeniu activ de cercetare în sinteza de imagini; în ianuarie 2021, o lucrare de cercetare condusă de Amazon a demonstrat un control al poziției și disentângerare similară, și în 2018 o lucrare de la Institutul de Tehnologie Avansată Shenzhen de la Academia Chineză de Științe a făcut progrese în generarea de puncte de vedere arbitrare într-o GAN.