Detectarea apelurilor video Deepfake prin iluminarea monitorului

O nouă colaborare între un cercetător de la Agenția Națională de Securitate a Statelor Unite (NSA) și Universitatea din California, Berkeley, oferă o metodă inovatoare pentru detectarea conținutului Deepfake într-un context de video live – prin observarea efectului iluminării monitorului asupra aspectului persoanei de la celălalt capăt al apelului video.

Utilizatorul popular DeepFaceLive Druuzil Tech & Games își testează propriul model Christian Bale DeepFaceLab într-o sesiune live cu urmăritorii săi, în timp ce sursele de lumină se schimbă. Sursă: https://www.youtube.com/watch?v=XPQLDnogLKA

Sistemul funcționează prin plasarea unui element grafic pe ecranul utilizatorului care schimbă o gamă îngustă de culori mai repede decât un sistem Deepfake obișnuit poate răspunde – chiar dacă, ca și implementarea de streaming Deepfake în timp real DeepFaceLive (prezentat mai sus), are o anumită capacitate de a menține transferul de culoare live și de a ține cont de iluminarea ambientală.

Imaginea cu culori uniforme afișată pe monitorul persoanei de la celălalt capăt (adică potențialul fraudator Deepfake) trece printr-o variație limitată de schimbări de nuanță, proiectate pentru a nu activa balansul automat al alb al webcam-ului și alte sisteme de compensare a iluminării ad hoc, care ar compromite metoda.

Din articol, o ilustrație a schimbării condițiilor de iluminare de la monitorul din fața unui utilizator, care funcționează efectiv ca o lumină difuză ‘de zonă’. Sursă: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teoria din spatele abordării este că sistemele Deepfake live nu pot răspunde la timp la schimbările prezentate în graficul de pe ecran, crește ‘întârzierea’ efectului Deepfake la anumite părți ale spectrului de culoare, dezvăluind prezența sa.

Pentru a putea măsura cu acuratețe lumina reflectată a monitorului, sistemul trebuie să țină cont de și să scoată din ecuație efectul iluminării generale a mediului, care nu este legată de lumina de la monitor. Apoi, poate distinge deficiențele în măsurarea nuanței de iluminare activă și a nuanței feței utilizatorilor, reprezentând o schimbare temporală de 1-4 cadre între fiecare:

Prin limitarea variațiilor de nuanță în graficul ‘detector’ de pe ecran și asigurându-se că webcam-ul utilizatorului nu este promptat să-și ajusteze automat setările de captură din cauza schimbărilor excesive în iluminarea monitorului, cercetătorii au putut discerne o întârziere caracteristică în ajustarea sistemului Deepfake la schimbările de iluminare.

Articolul concluzionează:

‘Datorită încrederii rezonabile pe care o acordăm apelurilor video live și a creșterii ubiquității apelurilor video în viețile noastre personale și profesionale, propunem că tehnicile de autentificare a apelurilor video (și audio) vor crește în importanță.’

Studiul este intitulat Detectarea videourilor Deepfake în timp real utilizând iluminarea activă și provine de la Candice R. Gerstner, matematician aplicat la Departamentul Apărării al Statelor Unite, și profesorul Hany Farid de la Berkeley.

Eroziunea încrederii

Scena de cercetare anti-Deepfake s-a schimbat semnificativ în ultimele șase luni, de la detectarea generală a Deepfake (adică țintind videourile preînregistrate și conținutul pornografic) și spre detectarea ‘viabilității’, ca răspuns la o undă crescândă de incidente de utilizare a Deepfake în apeluri video și la avertizarea recentă a FBI cu privire la utilizarea crescândă a unor astfel de tehnologii în aplicații pentru muncă la distanță.

Chiar și acolo unde un apel video nu a fost deepfaked, oportunitățile crescânde pentru impersonatori video conduși de IA încep să genereze paranoia.

Noul articol afirmă:

‘Crearea de deepfake-uri în timp real [ridică] amenințări unice din cauza sentimentului general de încredere care înconjoară un apel video live sau o convorbire telefonică și a provocării de a detecta deepfake-uri în timp real, pe măsură ce apelul se desfășoară.’

Comunitatea de cercetare și-a propus de mult să găsească semne infailibile de conținut Deepfake care nu pot fi compensate ușor. Deși mass-media a caracterizat în general acest lucru în termeni de război tehnologic între cercetătorii de securitate și dezvoltatorii de deepfake, majoritatea negărilor abordărilor inițiale (cum ar fi analiza clipei ochiului, discernerea poziției capului și analiza comportamentului) au apărut pur și simplu pentru că dezvoltatorii și utilizatorii încercau să creeze deepfake-uri mai realiste în general, mai degrabă decât să abordeze în mod specific ‘semnul’ identificat de comunitatea de securitate.

Aruncarea luminii asupra videourilor Deepfake live

Detectarea deepfake-urilor în medii de video live poartă sarcina de a ține cont de conexiuni video slabe, care sunt foarte comune în scenariile de videoconferință. Chiar și fără un strat de deepfake intervenient, conținutul video poate fi supus unor artefacte de lag, randări și alte tipuri de degradare a audio și video. Acestea pot servi pentru a ascunde muchiile aspre ale unei arhitecturi de deepfaking live, atât în ceea ce privește video, cât și audio deepfakes.

Autorii noului sistem îmbunătățesc rezultatele și metodele prezentate într-o publicație din 2020 de la Centrul de Calcul pentru Rețele de la Universitatea Temple din Philadelphia.

Din articolul din 2020, putem observa schimbarea în ‘iluminarea facială umplută’ pe măsură ce conținutul ecranului utilizatorului se schimbă. Sursă: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Diferența în noul studiu este că ia în considerare modul în care webcam-urile răspund la schimbările de iluminare. Autorii explică:

‘Pentru că toate webcam-urile moderne efectuează expunere automată, tipul de iluminare activă de înaltă intensitate [utilizat în lucrarea anterioară] este probabil să declanșeze expunerea automată a camerei, ceea ce, la rândul său, va compromite aspectul facial înregistrat. Pentru a evita acest lucru, folosim o iluminare activă care constă într-o schimbare izolumentă a nuanței.’

‘Deși acest lucru evită expunerea automată a camerei, ar putea declanșa echilibrarea albă a camerei, ceea ce, la rândul său, ar compromite aspectul facial înregistrat. Pentru a evita acest lucru, operăm într-un interval de nuanță pe care l-am determinat empiric că nu declanșează echilibrarea albă.’

Pentru această inițiativă, autorii au luat în considerare și alte eforturi similare, cum ar fi LiveScreen, care forțează un model de iluminare inconspicuos pe monitorul utilizatorului final în încercarea de a dezvălui conținutul Deepfake.

Teste

Autorii au folosit o combinație de subiecți sintetici și din lumea reală pentru a testa detectorul lor de deepfake condus de Dlib. Pentru scenariul sintetic, au folosit Mitsuba, un renderer forward și invers de la Institutul Federal Elvețian de Tehnologie din Lausanne.

Mostre din testele de mediu simulate, cu variații de ton de piele, dimensiunea sursei de lumină, intensitatea luminii ambientale și proximitatea față de cameră.

Scena prezentată include un cap CGI parametric capturat de o cameră virtuală cu un câmp de vedere de 90°. Capetele au reflectanță Lambertiană și tonuri de piele neutre și sunt situate la 2 picioare în fața camerei virtuale.

Pentru a testa cadrul pe o gamă largă de tonuri de piele și configurații, cercetătorii au rulat o serie de teste, schimbând diverse aspecte în secvență. Aspectele modificate au inclus tonul de piele, proximitatea și dimensiunea sursei de lumină.

Autorii menționează:

‘În simulare, cu ipotezele noastre satisfăcute, tehnica noastră propusă este foarte robustă față de o gamă largă de configurații de imagine.’

Pentru scenariul din lumea reală, cercetătorii au folosit 15 voluntari cu o varietate de tonuri de piele, în medii diverse. Fiecare a fost supus la două cicluri de variație de nuanță restrânsă, în condiții în care o rată de reîmprospătare a ecranului de 30Hz a fost sincronizată cu webcam-ul, ceea ce înseamnă că iluminarea activă a durat doar o secundă la un moment dat. Rezultatele au fost în general comparabile cu testele sintetice, deși corelațiile au crescut semnificativ cu valori mai mari de iluminare.

Viitoare direcții

Sistemul, cercetătorii admit, nu ține cont de ocluziunile faciale obișnuite, cum ar fi bretonul, ochelarii sau barba. Cu toate acestea, ei menționează că mascarea de acest tip poate fi adăugată la sistemele ulterioare (prin etichetare și segmentare semantică ulterioară), care pot fi antrenate pentru a lua valori exclusiv din zonele de piele percepute ale subiectului țintă.

Autorii sugerează, de asemenea, că un paradigme similar ar putea fi utilizat pentru a detecta apelurile audio deepfaked, iar sunetul necesar pentru detectare ar putea fi redat într-o frecvență din afara gamei auditive normale a omului.

Poate cel mai interesant, cercetătorii sugerează, de asemenea, că extinderea zonei de evaluare dincolo de față într-un cadru de captură mai bogat ar putea îmbunătăți semnificativ posibilitatea de detectare a deepfake-urilor*:

‘O estimare mai sofisticată a iluminării 3D ar furniza probabil un model de aspect mai bogat, care ar fi și mai dificil de ocolit pentru un falsificator. Deși ne-am concentrat doar pe față, afișajul computerului luminează, de asemenea, gâtul, partea superioară a corpului și fundalul înconjurător, din care s-ar putea face măsurători similare.’

‘Aceste măsurători suplimentare ar forța falsificatorul să ia în considerare întreaga scenă 3D, nu doar fața.’

* Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată pe 6 iulie 2022.