Deepfakes pot fi folosite eficient pentru a înșela multe API-uri majore de “liveness” faciale

O nouă colaborare de cercetare între Statele Unite și China a examinat vulnerabilitatea unor dintre cele mai mari sisteme de autentificare facială din lume la atacuri de deepfake și a constatat că majoritatea acestor sisteme sunt vulnerabile la forme de atac de deepfake în curs de dezvoltare.

Cercetarea a efectuat intruziuni bazate pe deepfake utilizând un cadru personalizat implementat împotriva sistemelor de verificare a “liveness”-ului facial (FLV) oferite de furnizori importanți și vândute ca serviciu clienților din aval, cum ar fi companiile aeriene și societățile de asigurări.

Din lucrare, o prezentare generală a funcționării API-urilor FLV de la principalii furnizori. Sursă: https://arxiv.org/pdf/2202.10673.pdf

Verificarea “liveness”-ului facial are scopul de a respinge utilizarea unor tehnici precum atacurile de imagine adversă, utilizarea de măști și înregistrări video preînregistrate, așa-numitele “fețe maestre” și alte forme de clonare a identității vizuale.

Studiul concluzionează că numărul limitat de module de detectare a deepfake-urilor implementate în aceste sisteme, care deservesc milioane de clienți, este departe de a fi infailibil și ar putea fi configurat pe tehnici de deepfake care sunt învechite sau ar putea fi prea specifice arhitecturii.

Autorii notează:

‘Diferitele metode de deepfake prezintă variații între diferiți furnizori… Fără acces la detalii tehnice ale furnizorilor FLV țintă, speculăm că astfel de variații sunt atribuite măsurilor de apărare implementate de diferiți furnizori. De exemplu, anumiți furnizori pot implementa apărări împotriva unor atacuri de deepfake specifice.’

Și continuă:

‘Majoritatea API-urilor FLV nu utilizează detectarea anti-deepfake; chiar și pentru cele cu astfel de apărări, eficacitatea este îngrijorătoare (de exemplu, poate detecta videouri sintetizate de înaltă calitate, dar nu poate detecta cele de calitate scăzută).’

Cercetătorii observă, în acest sens, că “autenticitatea” este relativă:

‘Chiar dacă un videu sintetizat este ireal pentru oameni, poate totuși să ocolească mecanismul actual de detectare a deepfake-urilor cu un nivel de succes foarte ridicat.’

Mai sus, imagini de deepfake care au reușit să autentifice în experimentele autorilor. Mai jos, imagini false aparent mult mai realiste care au eșuat autentificarea.

O altă constatare a fost că configurația actuală a sistemelor generice de verificare facială este îndreptată către bărbați albi. În consecință, identitățile feminine și non-albe au fost găsite a fi mai eficiente în ocolirea sistemelor de verificare, punând clienții din aceste categorii la un risc mai mare de încălcare prin tehnici de deepfake.

Raportul constată că identitățile masculine albe sunt evaluate cel mai riguros și precis de API-urile populare de verificare a “liveness”-ului facial. În tabelul de mai sus, vedem că identitățile feminine și non-albe pot fi mai ușor utilizate pentru a ocoli sistemele.

Lucrarea observă că ‘există prejudecăți în FLV, care pot aduce riscuri de securitate semnificative pentru un anumit grup de oameni.’

Autorii au efectuat, de asemenea, atacuri de autentificare facială etică împotriva unui guvern chinez, a unei companii aeriene majore chineze, a uneia dintre cele mai mari societăți de asigurări de viață din China și a R360, una dintre cele mai mari grupuri de investiții unicorn din lume, și raportează succes în ocolirea utilizării în aval a API-urilor studiate de către aceste organizații.

În cazul unei autentificări reușite pentru compania aeriană chineză, API-ul din aval a necesitat ca utilizatorul să “clatină capul” ca probă împotriva materialului de deepfake potențial, dar acest lucru s-a dovedit a nu funcționa împotriva cadruului conceput de cercetători, care incorporează șase arhitecturi de deepfake.

În ciuda evaluării mișcării capului de către utilizator de către compania aeriană, conținutul de deepfake a reușit să treacă testul.

Lucrarea notează că autorii au contactat furnizorii implicați, care au recunoscut aparent lucrarea.

Autorii oferă o listă de recomandări pentru îmbunătățirea stării actuale a tehnologiei FLV, inclusiv abandonarea autentificării bazate pe imagine (“Image-based FLV”), unde autentificarea se bazează pe o singură cadru din fluxul de cameră al clientului; o actualizare mai flexibilă și cuprinzătoare a sistemelor de detectare a deepfake-urilor în domeniile de imagine și voce; impunerea necesității ca autentificarea vocală în video să fie sincronizată cu mișcările buzelor (ceea ce nu se întâmplă în general); și necesitatea ca utilizatorii să efectueze gesturi și mișcări care sunt în prezent dificil de reprodus de sistemele de deepfake (de exemplu, vederi de profil și obfuscarea parțială a feței).

Lucrarea paper se intitulează Vezi este viață? Rethinking the Security of Facial Liveness Verification in the Deepfake Era și provine de la autorii principali Changjiang Li și Li Wang, și alți cinci autori de la Universitatea de Stat Pennsylvania, Universitatea Zhejiang și Universitatea Shandong.

Țintele principale

Cercetătorii au vizat “cei șase furnizori FLV cei mai reprezentativi”, care au fost anonimizați cu criptonime în cercetare.

Furnizorii sunt reprezentați astfel: ‘BD’ și ‘TC’ reprezintă un furnizor conglomerat cu cel mai mare număr de apeluri de API legate de față și cea mai mare cotă de piață a serviciilor de cloud AI din China; ‘HW’ este “unul dintre furnizorii cu cea mai mare piață publică de cloud din China”; ‘CW’ are cea mai rapidă rată de creștere în domeniul viziunii computaționale și obține o poziție de lider pe piață; ‘ST’ este printre cei mai mari furnizori de viziune computațională; și ‘iFT’ numără printre cei mai mari furnizori de software AI din China.

Date și Arhitectură

Datele subiacente care alimentează proiectul includ un set de date de 625.537 de imagini din inițiativa chineză CelebA-Spoof, împreună cu videouri live din setul de date SiW-M de la Universitatea de Stat Michigan din 2019.

Toate experimentele au fost efectuate pe un server cu două procesoare Intel Xeon E5-2640 v4 de 2,40 GHz care rulează pe 256 GB de RAM cu un hard disk de 4 TB și patru GPU-uri NVIDIA 1080Ti orchestrate, pentru un total de 44 GB de VRAM operativ.

Șase într-unul

Cadru conceput de autorii lucrării se numește LiveBugger și incorporează șase cadre de deepfake de ultimă generație îndreptate împotriva celor patru principale apărări din sistemele FLV.

LiveBugger conține abordări diverse de deepfake și se concentrează pe cele patru vectori de atac principali din sistemele FLV.

Cele șase cadre de deepfake utilizate sunt: X2Face de la Universitatea Oxford din 2018; colaborarea academică americană ICface; două variante ale proiectului israelian din 2019 FSGAN; First Order Method Model (FOMM) de la începutul anului 2020; și colaborarea Microsoft Research de la Universitatea Peking FaceShifter (deși FaceShifter nu este open source, autorii au trebuit să o reconstruiască pe baza detaliilor arhitecturale publicate).

Metodele utilizate printre aceste cadre includ utilizarea unui videu preînregistrat în care subiectele videoului falsificat efectuează acțiuni rutiniere care au fost extrase din cerințele de autentificare ale API-ului într-un modul de evaluare anterior al LiveBugger și, de asemenea, utilizarea “puppetăriei de deepfake” eficiente, care traduce mișcările în direct ale unei persoane într-un flux de deepfake care a fost inserat într-un flux de webcam cooptat.

Un exemplu al acestora este DeepFaceLive, care a debutat vara trecută ca un program adjunct pentru popularul DeepFaceLab, pentru a permite streaming de deepfake în timp real, dar care nu este inclus în cercetarea autorilor.

Atacarea celor patru vectori

Cei patru vectori de atac dintr-un sistem FLV tipic sunt: FLV bazat pe imagine, care utilizează o singură fotografie furnizată de utilizator ca token de autentificare împotriva unei identități faciale înregistrate în sistem; FLV bazat pe liniște, care necesită ca utilizatorul să încarce un clip video; FLV bazat pe acțiune, care necesită ca utilizatorul să efectueze acțiuni dictate de platformă; și FLV bazat pe voce, care conectează un model de vorbire al utilizatorului cu baza de date a sistemului pentru modelul de vorbire al utilizatorului.

Prima provocare pentru sistem este stabilirea gradului în care un API va dezvălui cerințele sale, deoarece acestea pot fi apoi anticipate și adaptate în procesul de deepfake. Acest lucru este gestionat de Motorul de Intelligence din LiveBugger, care colectează informații despre cerințe din documentația API-ului disponibilă public și din alte surse.

Deoarece cerințele publicate pot lipsi (din diverse motive) din rutinele efective ale API-ului, Motorul de Intelligence incorporează o sondă care colectează informații implicite pe baza rezultatelor apelurilor API de explorare. În proiectul de cercetare, acest lucru a fost facilitat de API-uri oficiale offline “de test” furnizate pentru beneficiul dezvoltatorilor și, de asemenea, de voluntari care au oferit să utilizeze conturile lor live pentru testare.

Motorul de Intelligence caută dovezi cu privire la faptul că un API utilizează în prezent o abordare particulară care ar putea fi utilă în atacuri. Caracteristici de acest fel pot include detectarea coerenței, care verifică dacă cadrele dintr-un videoclip sunt continue în timp – o cerință care poate fi stabilită prin trimiterea de cadre video încurcate și observarea dacă acest lucru contribuie la eșecul autentificării.

Modulul caută, de asemenea, Detectarea limbajului buzelor, unde API-ul ar putea verifica dacă sunetul din videoclip este sincronizat cu mișcările buzelor utilizatorului (rareori cazul – vezi “Rezultate” mai jos).

Rezultate

Autorii au constatat că toate cele șase API-uri evaluate nu utilizează detectarea coerenței la momentul experimentelor, permițând motorului de deepfake din LiveBugger să simplu atașeze audio sintetizat la videoclipuri de deepfake, pe baza materialului furnizat de voluntari.

Cu toate acestea, unele aplicații din aval (adică clienții cadrului API) au fost găsite să fi adăugat detectarea coerenței la proces, necesitând preînregistrarea unui videoclip personalizat pentru a ocoli această măsură.

În plus, doar câțiva dintre furnizorii de API utilizează detectarea limbajului buzelor; pentru majoritatea acestora, videoclipul și audio sunt analizate ca cantități separate, și nu există nicio funcționalitate care încearcă să coreleze mișcarea buzelor cu audio-ul furnizat.

Rezultate diverse care acoperă gama de tehnici false disponibile în LiveBugger împotriva gamei variate de vectori de atac din API-urile FLV. Numerele mai mari indică o rată mai mare de succes în penetrarea FLV utilizând tehnici de deepfake. Nu toate API-urile includ toate apărările posibile pentru FLV; de exemplu, câteva nu oferă nicio apărare împotriva deepfake-urilor, în timp ce altele nu verifică dacă mișcarea buzelor și audio-ul se potrivesc în videoclipul trimis de utilizator în timpul autentificării.

Concluzie

Rezultatele și indicațiile lucrării pentru viitorul API-urilor FLV sunt complexe, și autorii le-au concatenat într-o “arhitectură a vulnerabilităților” care ar putea ajuta dezvoltatorii FLV să înțeleagă mai bine unele dintre problemele descoperite.

Rețeaua de recomandări a lucrării cu privire la susceptibilitatea existentă și potențială a rutinelor de identificare facială video la atacuri de deepfake.

Recomandările notează:

‘Riscurile de securitate ale FLV există pe scară largă în multe aplicații din lumea reală și, prin urmare, amenință securitatea milioanelor de utilizatori finali.’

Autorii observă, de asemenea, că utilizarea FLV bazat pe acțiune este “marginală” și că creșterea numărului de acțiuni pe care utilizatorii trebuie să le efectueze “nu poate aduce niciun câștig de securitate”.

În plus, autorii notează că combinarea recunoașterii vocale și a recunoașterii faciale temporale (în video) este o apărare inutilă, cu excepția cazului în care furnizorii de API încep să ceară ca mișcările buzelor să fie sincronizate cu audio-ul.

Lucrarea apare în contextul unui avertisment recent al FBI către întreprinderi cu privire la pericolele fraudei de deepfake, la aproape un an de la avertismentul lor cu privire la utilizarea tehnologiei în operațiuni de influență străină și a temerilor generale că tehnologia de deepfake în timp real va facilita o nouă valură de crime asupra unei populații care încă se bazează pe securitatea autentificării video.

Încă sunt zilele de început ale deepfake-ului ca o suprafață de atac de autentificare; în 2020, 35 de milioane de dolari au fost extrasă în mod fraudulos dintr-o bancă din Emiratele Arabe Unite prin utilizarea tehnologiei de deepfake audio, și un director executiv din Marea Britanie a fost, de asemenea, păcălit să plătească 243.000 de dolari în 2019.

Publicat pentru prima dată pe 23 februarie 2022.