O metodă nouă detectează deep fake-uri cu o acuratețe de 99%

O echipă de oameni de știință în informatică de la UC Riverside a dezvoltat o nouă metodă pentru a detecta expresiile faciale manipulate în videoclipurile deep fake. Metoda poate detecta aceste expresii cu o acuratețe de până la 99%, fiind mai precisă decât metodele actuale de ultimă generație.

Noul studiu intitulat „Detectarea și localizarea manipulării expresiilor faciale” a fost prezentat la Conferința de iarnă din 2022 privind aplicațiile viziunii calculate.

Detectarea oricărei manipulări faciale

Metoda s-a dovedit a fi la fel de precisă ca și metodele actuale în cazurile în care identitatea facială a fost schimbată, și nu doar expresiile. Acest lucru înseamnă că noua abordare poate fi utilizată pentru a detecta orice tip de manipulare facială și reprezintă un pas important spre dezvoltarea unor instrumente automate pentru detectarea videoclipurilor manipulate.

Niciodată nu a fost mai ușor să schimbi fața unei persoane cu a alteia sau să modifici expresiile originale, datorită progreselor recente în software-ul de editare video. Detectarea unor astfel de metode este foarte importantă, deoarece acestea sunt din ce în ce mai des utilizate în diverse conflicte interne și internaționale din întreaga lume. Cu toate acestea, identificarea fețelor cu expresii schimbate a fost extrem de dificilă.

Amit Roy-Chowdhury este profesor de inginerie electrică și informatică la Colegiul de Inginerie Bourns. El este și coautor al studiului.

„Ceea ce face domeniul de cercetare al deep fake-urilor mai dificil este competiția dintre crearea și detectarea și prevenirea deep fake-urilor, care va deveni din ce în ce mai aprigă în viitor. Cu progresele în modelele generative, deep fake-urile vor fi mai ușor de sintetizat și mai greu de diferențiat de cele reale”, a spus el.

Imagine: UC Riverside

Detectarea manipulării expresiilor (EMD)

Noua metodă împarte sarcina în două componente în cadrul unei rețele neuronale profunde. Prima ramură distinge expresiile faciale și oferă informații despre regiunile care conțin expresia. Aceste regiuni pot include gura, ochii, fruntea și altele. Aceste informații sunt transmise în a doua ramură, care este o arhitectură encoder-decoder responsabilă pentru detectarea și localizarea manipulării.

Echipa a numit cadrul Detectarea manipulării expresiilor (EMD) și poate detecta și localiza regiunile specifice care au fost modificate într-o imagine.

Ghazal Mazaheri este student doctorand și lider al cercetării.

„Învățarea multi-task poate valorifica caracteristicile proeminente învățate de sistemele de recunoaștere a expresiilor faciale pentru a beneficia de antrenarea sistemelor convenționale de detectare a manipulării. O astfel de abordare realizează o performanță impresionantă în detectarea manipulării expresiilor faciale”, a spus Mazaheri.

Cercetătorii au efectuat experimente pe două seturi de date de manipulare facială dificile și au demonstrat că EMD funcționează mai bine cu manipulările expresiilor faciale, precum și cu schimburile de identitate. A detectat cu acuratețe 99% din videoclipurile manipulate.