GOTCHA – Un sistem CAPTCHA pentru Deepfakes în direct

Noi cercetări de la Universitatea din New York adaugă la indicațiile în creștere că, în curând, s-ar putea să fim nevoiți să trecem prin testul echivalent al “testului de beat” pentru a ne autentifica, înainte de a începe o convorbire video sensibilă – cum ar fi o videoconferință legată de muncă sau orice altă situație sensibilă care ar putea atrage escroci care utilizează software de streaming deepfake în timp real.

Unele dintre provocările active și pasive aplicate scenariilor de apel video în GOTCHA. Utilizatorul trebuie să se conformeze și să treacă testele, în timp ce metodele ‘pasive’ suplimentare (cum ar fi încercarea de a supraîncărca un sistem deepfake potențial) sunt utilizate, pe care participantul nu le poate influența. Sursă: http://export.arxiv.org/pdf/2210.06186

Sistemul propus se numește GOTCHA – o tribut adus sistemelor CAPTCHA care au devenit o piedică tot mai mare pentru navigarea pe web în ultimii 10-15 ani, în care sistemele automate cer utilizatorului să efectueze sarcini pe care mașinile le fac greu, cum ar fi identificarea animalelor sau descifrarea textului distorsionat (și, ironic, aceste provocări adesea transformă utilizatorul într-un annotator ieftin, de tip AMT).

În esență, GOTCHA extinde lucrarea din august 2022 DF-Captcha de la Universitatea Ben-Gurion, care a fost primul care a propus ca persoana de la celălalt capăt al apelului să sară prin câteva cercuri semantice vizuale pentru a-și dovedi autenticitatea.

Lucrarea din august 2022 de la Universitatea Ben Gurion a propus pentru prima dată o serie de teste interactive pentru un utilizator, inclusiv acoperirea feței sau chiar depresia pielii – sarcini pe care chiar și sistemele deepfake bine antrenate nu le-ar fi putut anticipa sau face față în mod fotorealist. Sursă: https://arxiv.org/pdf/2208.08524.pdf

Notabil, GOTCHA adaugă metodologii ‘pasive’ la o ‘cascadă’ de teste propuse, inclusiv suprapunerea automată a elementelor nereale peste fața utilizatorului și ‘supraîncărcarea’ cadrelor care trec prin sistemul sursă. Cu toate acestea, doar sarcinile care necesită răspunsul utilizatorului pot fi evaluate fără permisiuni speciale pentru a accesa sistemul local al utilizatorului – ceea ce, probabil, ar veni sub forma unor module locale sau extensii pentru sisteme populare, cum ar fi Skype și Zoom, sau chiar sub forma unui software dedicat, special conceput pentru a elimina escrocii.

Din lucrare, o ilustrare a interacțiunii dintre apelant și sistem în GOTCHA, cu linii punctate ca fluxuri de decizie.

Cercetătorii au validat sistemul pe un nou set de date care conține peste 2,5 milioane de cadre video de la 47 de participanți, fiecare efectuând 13 provocări din GOTCHA. Ei afirmă că cadrul induce o ‘reducere consistentă și măsurabilă’ a calității conținutului deepfake pentru utilizatorii frauduloși, solicitând sistemul local până când artefactele evidente fac înșelăciunea vizibilă ochiului uman (deși GOTCHA conține și câteva metode analitice algoritmice mai subtile).

Noul articol se numește Gotcha: Un sistem de răspuns la provocări pentru detectarea deepfake în timp real (numele sistemului este capitalizat în corpul textului, dar nu în titlul publicației, deși nu este un acronim).

O gamă de provocări

În mare măsură, în conformitate cu lucrarea de la Universitatea Ben Gurion, provocările efective cu care se confruntă utilizatorul sunt împărțite în mai multe tipuri de sarcini.

Pentru acoperire, utilizatorul este obligat să-și acopere fața cu mâna sau cu alte obiecte, sau să-și prezinte fața sub un unghi care nu este probabil să fi fost antrenat într-un model deepfake (de obicei, din cauza lipsei de date de antrenament pentru ‘poze ciudate’ – a se vedea gama de imagini din prima ilustrație de mai sus).

Pe lângă acțiunile pe care utilizatorul le poate efectua el însuși, în conformitate cu instrucțiunile, GOTCHA poate suprapune aleatoriu decupaje faciale, autocolante și filtre de realitate augmentată, pentru a ‘corupe’ fluxul de imagine al unui model deepfake local antrenat, făcându-l să eșueze. Așa cum s-a menționat anterior, deși aceasta este o ‘proces pasiv’ pentru utilizator, este unul intruziv pentru software, care are nevoie de a interveni direct în fluxul corespondentului.

Următoarea provocare poate cere utilizatorului să-și pozeze fața în expresii faciale neobișnuite care sunt probabil să lipsească sau să fie subreprezentate în orice set de date de antrenament, provocând o scădere a calității ieșirii deepfake (imaginea ‘b’, a doua coloană de la stânga, în prima ilustrație de mai sus).

Ca parte a acestui șir de teste, utilizatorul poate fi solicitat să citească un text sau să facă conversație care este concepută pentru a provoca un sistem deepfake local, care nu ar fi putut antrena o gamă adecvată de foneme sau alte tipuri de date bucale la un nivel la care ar putea reconstrui mișcări precise ale buzelor în astfel de împrejurări.

În cele din urmă (și aceasta pare a fi o provocare pentru talentele actoricești ale corespondentului), în această categorie, utilizatorul poate fi solicitat să efectueze o ‘micro-expresie’ – o expresie facială scurtă și involuntară care trădează o emoție. Despre aceasta, lucrarea spune ‘[ea] de obicei durează 0,5-4,0 secunde și este dificil de falsificat’.

Deși lucrarea nu descrie cum să extragă o micro-expresie, logica sugerează că singura modalitate de a face acest lucru este de a crea un conținut potrivit care să provoace o emoție corespunzătoare la utilizator, poate cu un anumit conținut care să-i fie prezentat ca parte a testului.

Distorsiune facială, iluminare și musafiri neașteptați

În plus, în conformitate cu sugestiile din lucrarea din august, noua lucrare propune solicitarea utilizatorului să efectueze distorsioni faciale neobișnuite și manipulări, cum ar fi apăsarea degetului în obraz, interacțiunea cu fața și/sau părul și efectuarea altor mișcări pe care niciun sistem deepfake în timp real nu le-ar putea gestiona bine, deoarece acestea sunt acțiuni marginale – chiar dacă ar fi fost prezente în setul de date de antrenament, reproducerea lor ar fi probabil de calitate scăzută, în conformitate cu alte date ‘anomalii’.

Un zâmbet, dar această ‘față deprimată’ nu este tradusă bine de un sistem deepfake local.

O provocare suplimentară constă în schimbarea condițiilor de iluminare în care se află utilizatorul, deoarece este posibil ca antrenamentul unui model deepfake să fi fost optimizat pentru situații standard de iluminare la videoconferințe, sau chiar pentru condițiile exacte de iluminare în care are loc apelul.

Prin urmare, utilizatorul poate fi solicitat să își îndrepte torța de pe telefonul mobil către fața sa, sau în orice alt mod să modifice iluminarea (și merită menționat că această abordare este propunerea centrală a unei alte lucrări de detectare a deepfake în timp real care a apărut vara aceasta).

Sistemele deepfake în timp real sunt provocate de iluminarea neașteptată – și chiar de mai multe persoane în flux, unde se așteptau doar un individ.

În cazul în care sistemul propus are capacitatea de a interveni în fluxul local al utilizatorului (care se suspectează a conține un intermediar deepfake), adăugarea unor modele neașteptate (a se vedea coloana din mijloc în imaginea de mai sus) poate compromite capacitatea algoritmului deepfake de a menține o simulare.

În plus, deși este nerezonabil să se aștepte ca un corespondent să aibă persoane suplimentare la îndemână pentru a-l autentifica, sistemul poate intercala fețe suplimentare ( imaginea din dreapta de mai sus), și poate verifica dacă vreun sistem deepfake local face greșeala de a-și schimba atenția – sau chiar de a încerca să creeze deepfake pentru toate (sistemele deepfake autoencoder nu au capacități de ‘recunoaștere a identității’ care ar putea menține atenția concentrată asupra unei singure persoane în acest scenariu).

Steganografie și supraîncărcare

GOTCHA incorporează, de asemenea, o abordare propusă pentru prima dată de Universitatea din California, San Diego, în aprilie acest an, și care utilizează steganografia pentru a cripta un mesaj în fluxul de video local al utilizatorului. Rutinele deepfake vor distruge complet acest mesaj, ducând la o eșuare a autentificării.

Dintr-o lucrare din aprilie 2022 de la Universitatea din California, San Diego, și Universitatea de Stat San Diego, o metodă de determinare a identității autentice prin verificarea dacă un semnal steganografic trimis în fluxul de video al utilizatorului supraviețuiește intact buclei locale – dacă nu, escrocheria deepfake poate fi prezentă. Sursă: https://arxiv.org/pdf/2204.01960.pdf

În plus, GOTCHA este capabil să supraîncarce sistemul local (dată fiind accesul și permisiunea), prin duplicarea unui flux și prezentarea unor ‘date excesive’ oricărui sistem local, conceput pentru a provoca o eșuare a replicării într-un sistem deepfake local.

Sistemul conține teste suplimentare (a se vedea lucrarea pentru detalii), inclusiv o provocare, în cazul unui corespondent bazat pe smartphone, de a-și întoarce telefonul cu susul în jos, ceea ce va distorsiona un sistem deepfake local:

Din nou, acest lucru ar funcționa doar cu un caz de utilizare convingător, în care utilizatorul este forțat să acorde acces local la flux și nu poate implementa o evaluare pasivă a fluxului de video al utilizatorului, spre deosebire de testele interactive (cum ar fi apăsarea degetului în față).

Practicabilitate

Lucrarea atinge scurt problema în care astfel de teste ar putea enerva utilizatorul final sau îl-ar putea inconvenienta în vreun fel – de exemplu, prin obligarea utilizatorului să aibă la îndemână o serie de obiecte care ar putea fi necesare pentru testele, cum ar fi ochelarii de soare.

Acesta recunoaște, de asemenea, că ar putea fi dificil să se obțină ca corespondenții puternici să se conformeze rutinelor de testare. În ceea ce privește cazul unui apel video cu un CEO, autorii afirmă:

‘Uzabilitatea poate fi cheia aici, astfel încât provocările informale sau frivole (cum ar fi distorsiunile faciale sau expresiile) nu ar fi adecvate. Provocările care utilizează articole fizice externe nu ar fi dorite. Contextul aici este modificat corespunzător și GOTCHA își adaptează setul de provocări în consecință.’

Date și teste

GOTCHA a fost testat împotriva a patru tulpini de sisteme deepfake locale, inclusiv două variante ale creatorului de deepfake autoencoder foarte popular DeepFaceLab (‘DFL’, deși, surprinzător, lucrarea nu menționează DeepFaceLive, care a fost, din august 2021, implementarea ‘live’ a DeepFaceLab și pare a fi cea mai probabilă resursă inițială pentru un potențial escroc).

Cele patru sisteme au fost DFL antrenat ‘ușor’ pe o persoană nefamousă care participă la teste și o celebritate; DFL antrenat mai complet, până la 2 milioane de iterații sau pași, în care s-ar putea aștepta un model mult mai performant; Latent Image Animator (LIA); și Face Swapping Generative Adversarial Network (FSGAN).

Pentru date, cercetătorii au capturat și curat un set de clipuri video care prezintă 47 de utilizatori care efectuează 13 provocări active, cu fiecare utilizator producând aproximativ 5-6 minute de video 1080p la 60fps. Autorii afirmă, de asemenea, că aceste date vor fi în cele din urmă lansate public.

Detectarea anomaliilor poate fi efectuată fie de un observator uman, fie algoritmic. Pentru a doua opțiune, sistemul a fost antrenat pe 600 de fețe din setul de date FaceForensics. Funcția de pierdere de regresie a fost puternica Asemănare a patch-ului de imagine perceptual învățat (LPIPS), în timp ce entropia binară cross a fost utilizată pentru a antrena clasificatorul. EigenCam a fost utilizat pentru a vizualiza greutățile detectorului.

Rezultatele principale ale testelor pentru GOTCHA.

Cercetătorii au constatat că, pentru întreaga cascadă de teste pe cele patru sisteme, cel mai mic număr și gravitate a anomaliilor (adică, artefacte care ar dezvălui prezența unui sistem deepfake) au fost obținute de distribuția DFL mai bine antrenată. Versiunea mai puțin antrenată a luptat în special pentru a reface mișcări complexe ale buzelor (care ocupă foarte puțin din cadru, dar care primesc o atenție umană ridicată), în timp ce FSGAN a ocupat poziția de mijloc între cele două versiuni DFL, iar LIA s-a dovedit complet inadecvat pentru sarcină, cercetătorii considerând că LIA ar eșua într-o implementare reală.

Publicat pentru prima dată pe 17 octombrie 2022.