Identificarea Deepfake-urilor Celebrităților din Regiunile Feței Exterioare

O nouă colaborare între Microsoft și o universitate chineză a propus o metodă inovatoare de identificare a deepfake-urilor celebrităților, prin exploatarea limitărilor tehnicii actuale de deepfake pentru a recunoaște identitățile care au fost “proiectate” pe alte persoane.

Abordarea se numește Transformer de Consistență a Identității (ICT), și funcționează prin compararea părților exterioare ale feței (maxilar, oase ale feței, linia părului și alte linii marginale exterioare) cu interiorul feței. Sistemul exploatează datele de imagine publice disponibile ale persoanelor celebre, ceea ce limitează eficacitatea sa la celebritățile populare, ale căror imagini sunt disponibile în număr mare în seturile de date de vedere computerizată și pe internet.

Acoperirea falsificării fețelor în diferite tehnici: DeepFake în FF+; DeepFake în Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; și DF-VAE. Pachetele populare precum DeepFaceLab și FaceSwap oferă o acoperire similară limitată. Sursă: https://arxiv.org/pdf/2203.01318.pdf

Imaginea de mai sus ilustrează faptul că metodele actuale populare de deepfake sunt destul de limitate din punct de vedere al resurselor și se bazează pe fețe-gazdă compatibile pentru a minimiza dovezi de substituire a feței.

Deși diferite metode pot acoperi fruntea completă și o parte mare a zonei bărbiei și a oaselor feței, toate sunt mai mult sau mai puțin limitate în cadrul feței-gazdă.

O hartă de saliență care evidențiază identitățile ‘interioare’ și ‘exterioare’ calculate de ICT. În cazul în care o potrivire facială interioară este stabilită, dar o identitate exterioară nu corespunde, ICT evaluează imaginea ca fiind falsă.

În testele efectuate, ICT a demonstrat capacitatea de a detecta conținutul deepfake în medii prietenoase pentru deepfake, cum ar fi videoclipurile cu rezoluție scăzută, unde conținutul întregului videoclip este degradat de artefactele de compresie, ceea ce ajută la ascunderea dovezilor reziduale ale procesului de deepfake – o circumstanță care îi încurcă pe mulți dintre metodele de detectare a deepfake-urilor concurente.

ICT depășește metodele concurente în recunoașterea conținutului deepfake. Vezi videoclipul încorporat la sfârșitul articolului pentru mai multe exemple și o rezoluție mai bună. Vezi videoclipul sursă încorporat la sfârșitul articolului pentru exemple suplimentare. Sursă: https://www.youtube.com/watch?v=zgF50dcymj8

Articolul științific se numește Protejarea Celebrităților cu Transformer de Consistență a Identității și provine de la nouă cercetători afiliați la Universitatea de Știință și Tehnologie din China, Microsoft Research Asia și Microsoft Cloud + AI.

Lacuna de Credibilitate

Există cel puțin două motive pentru care algoritmii populari de schimbare a feței, cum ar fi DeepFaceLab și FaceSwap, neglijează zona exterioară a identităților schimbate.

În primul rând, antrenarea modelelor de deepfake este timp-consuming și critică din punct de vedere al resurselor, iar adoptarea fețelor-gazdă compatibile eliberează cicluri GPU și epoci pentru a se concentra pe zonele interioare relativ imutabile ale feței, pe care le folosim pentru a distinge identitatea (deoarece variabile precum fluctuațiile de greutate și îmbătrânirea sunt mai puțin probabil să schimbe aceste trăsături faciale de bază pe termen scurt).

În al doilea rând, majoritatea abordărilor de deepfake (și acesta este cu siguranță cazul cu DeepFaceLab, software-ul folosit de cei mai populari sau notorii practicieni) au o capacitate limitată de a replica marginile “de sfârșit” ale feței, cum ar fi zonele obrajilor și maxilarului, și sunt limitate de faptul că codul lor upstream (din 2017) nu a abordat extensiv această problemă.

În cazurile în care identitățile nu se potrivesc bine, algoritmul de deepfake trebuie să “închidă” zonele din jurul feței, ceea ce face în cel mai bun caz, chiar și în mâinile celor mai buni deepfakers, cum ar fi Ctrl Shift Face, a cărui ieșire a fost utilizată în studiile articolului.

Identificarea deepfake-urilor prin caracterizarea semnăturilor diferitelor tipuri de modele în cadrul FaceSwap. Sursă: https://arxiv.org/pdf/2202.12951.pdf

Prin contrast, arhitectura ICT creează două identități separate și încorporate pentru o persoană, fiecare dintre acestea trebuind să fie verificată înainte de a se concluziona că întreaga identitate este “adevărată” sau imagini.

Arhitectura pentru fazele de antrenare și testare a ICT.

Divizarea identităților este facilitată de un transformator de vedere, care efectuează identificarea facială înainte de a diviza regiunile supravegheate în token-uri care aparțin identităților interioare sau exterioare.

Distribuirea patch-urilor între cele două identități paralele.

Articolul afirmă:

‘Din nefericire, metodele actuale de verificare a feței tind să caracterizeze regiunea cea mai discriminativă, adică fața interioară, pentru verificare și nu reușesc să capteze informațiile de identitate din fața exterioară. Cu Transformer de Consistență a Identității, antrenăm un model pentru a învăța o pereche de vectori de identitate, unul pentru fața interioară și celălalt pentru fața exterioară, prin proiectarea unui transformator astfel încât identitățile interioare și exterioare să poată fi învățate simultan într-un model unitar.’

Deoarece nu există un model existent pentru acest protocol de identificare, autorii au conceput o nouă modalitate de pierdere a consistenței care poate acționa ca o metrică pentru autenticitate. Token-ul “interior” și token-ul “exterior” care rezultă din modelul de extragere a identității sunt adăugați la încorporările de patch-uri produse de cadrele de identificare facială.

Date și Antrenare

Rețeaua ICT a fost antrenată pe setul de date MS-Celeb-1M al Microsoft Research, care conține 10 milioane de imagini cu fețe de celebrități, acoperind un milion de identități, inclusiv actori, politicieni și multe alte tipuri de persoane publice. Conform procedurii metodei anterioare Face X-ray (o altă inițiativă a Microsoft Research), rutina de generare a deepfake-urilor ICT schimbă regiunile interioare și exterioare ale fețelor din acest set de date pentru a crea material pe care să se testeze algoritmul.

Pentru a efectua aceste schimburi interne, ICT identifică două imagini în setul de date care prezintă poziții și repere faciale similare, generează o mască de regiune a caracteristicilor centrale (în care se poate efectua un schimb) și efectuează un schimb de deepfake cu corecție de culoare RGB.

Motivul pentru care ICT este limitat la identificarea celebrităților este că se bazează (în varianta sa cea mai eficientă) pe un set de referință nou, care incorporează vectori faciali derivați dintr-un corpus central (în acest caz, MS-Celeb-1M, deși referințarea ar putea fi extinsă la imagini disponibile pe internet, care ar exista probabil doar în calitate și cantitate suficientă pentru persoane publice cunoscute).

Acești vectori-pereche derivați acționează ca token-uri de autenticitate pentru a verifica regiunile interioare și exterioare ale feței în tandem.

Autorii notează că token-urile obținute din aceste metode reprezintă “caracteristici de nivel înalt”, ceea ce duce la un proces de detectare a deepfake-urilor care este mai probabil să supraviețuiască în medii dificile, cum ar fi videoclipurile cu rezoluție scăzută sau degradate.

Este esențial că ICT nu caută dovezi bazate pe artefacte, ci se concentrează mai degrabă pe metode de verificare a identității mai în concordanță cu tehnicile de recunoaștere facială – o abordare care este dificilă cu volume mici de date, cum ar fi în cazul investigării incidentelor de deepfake revenge porn împotriva unor ținte necunoscute.

Teste

Antrenat pe MS-Celeb-1M, ICT a fost apoi divizat în versiuni asistate de referință și “orbe” ale algoritmului și testat împotriva unei game de seturi de date și metode concurente. Acestea au inclus FaceForensics++ (FF++), un set de date de 1000 de videoclipuri autentice și deepfake create prin patru metode, incluzând Face2Face și FaceSwap; detectarea deepfake a Google (Deepfake Detection), care cuprinde mii de videoclipuri deepfake generate de Google; Celeb-DeepFake v1 (CD1), care prezintă 408 de videoclipuri reale și 795 de videoclipuri sintetizate, cu artefacte scăzute; Celeb-DeepFake v2, o extensie a v1 care conține 590 de videoclipuri reale și 5.639 de videoclipuri false; și Deeper-Forensics (Deeper) din China.

Metodele de detectare utilizate în testele de provocare au fost Multi-task, MesoInc4, Capsule, Xception-c0, c2 (o metodă utilizată în FF++), FWA/DSP-FW de la Universitatea din Albany, Two-Branch, PCL+I2G și metoda de context-discrepancy a lui Yuval Nirkin.

Rezultatele testelor arată că metodele concurente scad drastic în eficacitate pe măsură ce rezoluția și calitatea videoclipului scad. Deoarece unele dintre cele mai severe posibilități de deepfake care pătrund în puterea noastră discriminatorie se află (nu în ultimul rând) în videoclipuri non-HD sau de calitate compromisă, acest lucru pare a fi un rezultat semnificativ.

În graficul de rezultate de mai sus, liniile albastre și roșii indică reziliența metodelor ICT la degradarea imaginii în toate domeniile, cu excepția blocajului zgomotului Gaussian (nu este o probabilitate în videoclipurile Zoom și webcam), în timp ce metodele concurente scad în fiabilitate.

În tabelul de rezultate de mai jos, putem vedea eficacitatea diferitelor metode de detectare a deepfake-urilor pe seturile de date nevizionate. Rezultatele gri și asteriscate indică comparații din proiecte cu sursă închisă, care nu pot fi verificate extern. În majoritatea cadrului comparativ, ICT depășește metodele concurente de detectare a deepfake-urilor (prezentate în bold) pe seturile de date testate.

Ca test suplimentar, autorii au rulat conținut de pe canalul YouTube al celebrului deepfaker Ctrl Shift Face și au constatat că metodele concurente au obținut scoruri de identificare inferioare:

Este notabil faptul că metodele FF++ (Xception-c23) și FFD, care obțin unele dintre cele mai mari scoruri pe unele dintre datele de testare în testele generale ale noului articol, obțin un scor mult mai mic decât ICT într-un context “real” de conținut deepfake de înaltă calitate.

Autorii conchid articolul cu speranța că rezultatele sale vor îndrepta comunitatea de detectare a deepfake-urilor spre inițiative similare care se concentrează pe caracteristici de nivel înalt mai ușor generalizabile și departe de “războiul rece” al detectării artifactelor, în care ultimele metode sunt în mod regulat anulate de dezvoltări în cadrul deepfake sau de alți factori care fac astfel de metode mai puțin rezistente.

Vezi videoclipul suplimentar încorporat mai jos pentru mai multe exemple de ICT care identifică conținut deepfake care adesea depășește metodele alternative.

Publicat pentru prima dată pe 4 martie 2022.