Amenințările mai mici ale Deepfakes pot fi mai mari

Uneltele de conversație AI, cum ar fi ChatGPT și Google Gemini, sunt acum utilizate pentru a crea deepfakes care nu schimbă fețe, ci în moduri mai subtile pot rescrie întreaga poveste dintr-o imagine. Prin schimbarea gesturilor, a obiectelor și a fundalului, aceste editări înșală atât detectoarele AI, cât și oamenii, ridicând miza pentru a identifica ce este real online.

În climatul actual, în special în urma unor legi semnificative, cum ar fi legea TAKE IT DOWN, mulți dintre noi asociază deepfakes și sinteza identității condusă de IA cu pornografie non-consensuală și manipulare politică – în general, distorsionări grosolane ale adevărului.

Acest lucru ne obișnuiește să ne așteptăm ca imaginile manipulate de IA să fie întotdeauna destinate conținut de înaltă ținută, unde calitatea renderizării și manipularea contextului pot reuși să obțină un coup de credibilitate, cel puțin pe termen scurt.

Însă, istoric, alterări mult mai subtile au avut adesea un efect mai sinistru și de durată – cum ar fi trucurile fotografice de ultimă oră care au permis lui Stalin să șteargă din înregistrarea fotografică pe cei care căzuseră în dizgrație, așa cum a fost satirizat în romanul lui George Orwell 1984, unde protagonistul Winston Smith își petrece zilele rescriind istoria și având fotografii create, distruse și “modificate”.

În următorul exemplu, problema cu a doua imagine este că “nu știm ce nu știm” – că fostul șef al poliției secrete a lui Stalin, Nikolai Yezhov, ocupase spațiul unde acum există doar o barieră de siguranță:

Acum îl vezi, acum a dispărut… Manipularea fotografică din epoca lui Stalin elimină un membru al partidului din istorie. Sursă: domeniu public, prin https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Curenții de acest fel, des repetate, persistă în multe moduri; nu numai cultural, ci și în viziunea computerizată, care derivă tendințe din teme și motive statistice dominante în seturile de date de antrenament. Pentru a da un exemplu, faptul că smartphone-urile au micșorat barierele de intrare și au redus masiv costul fotografiei, înseamnă că iconografia lor a devenit inextricabil asociată cu multe concepte abstracte, chiar și atunci când acest lucru nu este adecvat.

Dacă deepfaking-ul convențional poate fi perceput ca un act de “agresiune”, alterări pernicioase și persistente ale conținutului audio-vizual sunt mai asemănătoare cu “manipularea”. În plus, capacitatea acestui tip de deepfaking de a rămâne neobservat face dificilă identificarea lui prin sistemele actuale de detectare a deepfakes (care caută schimbări grosolane). Acestă abordare este mai asemănătoare cu apa care eroziunează stânca pe o perioadă îndelungată, decât cu o piatră aruncată spre cap.

MultiFakeVerse

Cercetători din Australia au făcut o încercare de a aborda lipsa de atenție acordată “deepfaking-ului subtil” în literatura de specialitate, prin crearea unui nou set de date substanțial de manipulări ale imaginilor care alterează contextul, emoția și narativul fără a schimba identitatea de bază a subiectului:

Exemplu din noua colecție, perechi reale/falsificate, cu unele alterări mai subtile decât altele. Sursă: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Denominat MultiFakeVerse, colecția constă în 845.826 de imagini generate prin intermediul modelelor de limbaj și viziune (VLM), care pot fi accesate online și descărcate, cu permisiune.

Autorii afirmă:

‘Acestă abordare condusă de VLM permite alterări semantice și conștiente de context, cum ar fi modificarea acțiunilor, scenelor și interacțiunilor dintre oameni și obiecte, mai degrabă decât schimbări sintetice sau de nivel scăzut de identitate și editări regionale specifice, care sunt comune în seturile de date existente.’

‘Experimentele noastre arată că modelele actuale de detectare a deepfakes și observatorii umani au dificultăți în a detecta aceste manipulări subtile, dar semnificative.’

Cercetătorii au testat atât oameni, cât și sistemele de detectare a deepfakes pe noul set de date pentru a vedea cât de bine pot fi identificate aceste manipulări subtile. Participanții umani au avut dificultăți, clasificând corect imaginile ca reale sau false doar în aproximativ 62% din cazuri, și au avut și mai multă dificultate în a identifica care parte a imaginii a fost alterată.

Modelele de detectare a deepfakes existente, antrenate în principal pe seturi de date de schimbare a feței sau de pictură, au performant slab, adesea eșuând să înregistreze că a avut loc vreo manipulare. Chiar și după reglarea fină pe MultiFakeVerse, ratele de detectare au rămas scăzute, expunând modul în care sistemele actuale nu pot face față acestor editări narative conduse.

Articolul nou se intitulează Multivers prin Deepfakes: Setul de date MultiFakeVerse de manipulări vizuale și conceptuale axate pe persoane și provine de la cinci cercetători de la Universitatea Monash din Melbourne și Universitatea Curtin din Perth. Codul și datele conexe au fost lansate pe GitHub, în plus față de găzduirea Hugging Face menționată anterior.

Metodă

Setul de date MultiFakeVerse a fost construit din patru seturi de imagini reale care prezintă oameni în situații diverse: EMOTIC; PISC, PIPA, și PIC 2.0. Începând cu 86.952 de imagini originale, cercetătorii au produs 758.041 de versiuni manipulate.

Framework-urile Gemini-2.0-Flash și ChatGPT-4o au fost utilizate pentru a propune șase editări minime pentru fiecare imagine – editări proiectate pentru a altera subtil modul în care persoana cea mai proeminentă din imagine ar fi percepută de un spectator.

Modelele au fost instruite să genereze modificări care ar face subiectul să pară naiv, mândru, remorseful, neexperimentat, sau nonșalant, sau să ajusteze un element factual din scenă. Împreună cu fiecare editare, modelele au produs și o expresie de referință pentru a identifica clar ținta modificării, asigurând procesului de editare ulterioară să poată aplica schimbări la persoana sau obiectul corect din imagine.

Autorii clarifică:

‘Notați că expresia de referință este un domeniu larg explorat în comunitate, care înseamnă o frază care poate disambigua ținta într-o imagine, de exemplu, pentru o imagine cu doi bărbați așezați la un birou, unul vorbind la telefon și celălalt privind prin documente, o expresie de referință adecvată pentru cel din urmă ar fi omul din stânga ținând un document.’

Odată ce editările au fost definite, manipularea efectivă a imaginii a fost realizată prin promptarea modelelor de limbaj și viziune să aplice schimbările specificate, lăsând restul scenei intact. Cercetătorii au testat trei sisteme pentru această sarcină: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; și ICEdit.

După generarea a douăzeci și două de mii de imagini de probă, Gemini-2.0-Flash a emergat ca metoda cea mai consistentă, producând editări care se integrau natural în scenă fără a introduce artefacte vizibile; ICEdit a produs adesea falsificări mai evidente, cu defecte remarcabile în regiunile alterate; și GPT-Image-1 a afectat uneori părți nedorite ale imaginii, parțial din cauza conformității sale cu rapoarte fixe de aspect.

Analiză de imagine

Fiecare imagine manipulată a fost comparată cu originalul pentru a determina cât de mult din imagine a fost alterat. Diferențele la nivel de pixel între cele două versiuni au fost calculate, cu zgomotul aleatoriu mic filtrat pentru a se concentra pe editări semnificative. În unele imagini, doar zone mici au fost afectate; în altele, până la optzeci la sută din scenă a fost modificată.

Pentru a evalua cât de mult sensul fiecărei imagini s-a schimbat în lumina acestor alterări, au fost generate titluri pentru ambele imagini originale și manipulate, utilizând modelul de limbaj și viziune ShareGPT-4V.

Aceste titluri au fost apoi convertite în încorporări utilizând Long-CLIP, permițând o comparație a modului în care conținutul a divergat între versiuni. Cele mai puternice schimbări semantice au fost observate în cazurile în care obiectele apropiate de sau direct implicate în persoană au fost alterate, deoarece aceste ajustări mici puteau schimba semnificativ modul în care imaginea era interpretată.

Gemini-2.0-Flash a fost apoi utilizat pentru a clasifica tipul de manipulare aplicată fiecărei imagini, pe baza locului și modului în care editările au fost făcute. Manipulările au fost grupate în trei categorii: editări la nivel de persoană implicau schimbări ale expresiei faciale a subiectului, poziției, privirii, îmbrăcămintei sau altor caracteristici personale; editări la nivel de obiect afectau obiecte conectate la persoană, cum ar fi obiectele pe care le ținea sau interacționa cu ele în prim-plan; și editări la nivel de scenă implicau elemente de fundal sau aspecte mai largi ale setării care nu implicau direct persoana.

Pipeline-ul de generare a setului de date MultiFakeVerse începe cu imagini reale, unde modelele de limbaj și viziune propun editări narative care vizează oameni, obiecte sau scene. Sursă: https://arxiv.org/pdf/2506.00868

Deoarece imagini individuale puteau conține multiple tipuri de editări simultan, distribuția acestor categorii a fost cartografiată pe setul de date. Aproximativ o treime din editările vizau doar persoana, aproximativ o cincime afectau doar scena, și aproximativ o șesime erau limitate la obiecte.

Evaluarea impactului percepțional

Gemini-2.0-Flash a fost utilizat pentru a evalua modul în care manipulările ar putea altera percepția unui spectator în șase domenii: emoție, identitate personală, dinamică de putere, narativ de scenă, intenție de manipulare și probleme etice.

Pentru emoție, editările au fost descrise adesea cu termeni precum vesel, atrăgător sau abordabil, sugerând schimbări în modul în care subiectele erau încadrate emoțional. În termeni narativi, cuvinte precum profesional sau diferit indicau schimbări în povestea implicată sau în setarea scenei:

Gemini-2.0-Flash a fost solicitat să evalueze modul în care fiecare manipulare a afectat șase aspecte ale percepției spectatorului.

Descrierile schimbărilor de identitate au inclus termeni precum mai tânăr, jucaus și vulnerabil, arătând modul în care schimbări mici puteau influența percepția asupra indivizilor. Intenția din spatele multor editări a fost etichetată ca persuasivă, înșelătoare sau estetică. În timp ce majoritatea editărilor au fost judecate ca ridicând doar preocupări etice minore, o fracțiune mică a fost văzută ca având implicații etice moderate sau severe.

Exemple din MultiFakeVerse care arată cum editările mici schimbă percepția spectatorului.

Metrici

Calitatea vizuală a colecției MultiFakeVerse a fost evaluată utilizând trei metrici standard: Raportul Semnal-Zgomot de Vârf (PSNR); Indexul de Similaritate Structurală (SSIM); și Distanța de Începtare Fréchet (FID):

Scoruri de calitate a imaginii pentru MultiFakeVerse, măsurate prin PSNR, SSIM și FID.

Scorul SSIM de 0,5774 reflectă un grad moderat de similaritate, consistent cu obiectivul de a păstra cea mai mare parte a imaginii, aplicând editări țintite; scorul FID de 3,30 sugerează că imaginile generate mențin o calitate și diversitate ridicată; și o valoare PSNR de 66,30 decibeli indică faptul că imaginile păstrează o fidelitate vizuală bună după manipulare.

Studiu cu utilizatori

Un studiu cu utilizatori a fost realizat pentru a vedea cât de bine oamenii pot detecta falsificările subtile din MultiFakeVerse. optsprezece participanți au fost arătați cincizeci de imagini, împărțite în mod egal între exemple reale și manipulate, care acopereau o varietate de tipuri de editări. Fiecare persoană a fost solicitată să clasifice dacă imaginea era reală sau falsă și, dacă falsă, să identifice ce tip de manipulare a fost aplicată.

Acuratețea generală pentru a decide real versus fals a fost de 61,67%, ceea ce înseamnă că participanții au clasificat greșit imagini mai mult de o treime din timp.

Autorii afirmă:

‘Analizând predicțiile umane ale nivelurilor de manipulare pentru imaginile false, s-a constatat că media intersecției dintre predicțiile și nivelurile reale de manipulare a fost de 24,96%. ‘

‘Acest lucru arată că nu este trivial pentru observatorii umani să identifice regiunile de manipulare din setul nostru de date.’

Construirea setului de date MultiFakeVerse a necesitat resurse computaționale extinse: pentru generarea de instrucțiuni de editare, s-au făcut peste 845.000 de apeluri API către modelele Gemini și GPT, cu aceste sarcini de promptare costând în jur de 1000 de dolari; producerea imaginilor bazate pe Gemini a costat aproximativ 2867 de dolari; și generarea de imagini utilizând GPT-Image-1 a costat aproximativ 200 de dolari. Imaginile ICEdit au fost create local pe un GPU NVIDIA A6000, finalizând sarcina în aproximativ douăzeci și patru de ore.

Teste

Înainte de testare, setul de date a fost împărțit în seturi de antrenare, validare și testare, prin selectarea inițială a 70% din imaginile reale pentru antrenare; 10% pentru validare; și 20% pentru testare. Imaginile manipulate generate din fiecare imagine reală au fost atribuite aceluiași set ca și imaginea originală.

Exemple suplimentare de conținut real (stânga) și alterat (dreapta) din setul de date.

Performanța de detectare a falsificărilor a fost măsurată utilizând acuratețea la nivel de imagine (dacă sistemul clasifică corect întreaga imagine ca reală sau falsă) și scorul F1. Pentru localizarea regiunilor manipulate, evaluarea a utilizat Aria de sub Curba (AUC), scorul F1 și intersecția peste uniune (IoU).

Setul de date MultiFakeVerse a fost utilizat împotriva principalelor sisteme de detectare a deepfakes pe setul de test complet, cu cadrele rivale fiind CnnSpot; AntifakePrompt; TruFor; și SIDA bazat pe limbaj și viziune. Fiecare model a fost evaluat inițial în modul zero-shot, utilizând greutățile sale preantrenate originale fără ajustări suplimentare.

Doi modele, CnnSpot și SIDA, au fost apoi reglați fin pe datele de antrenare MultiFakeVerse pentru a evalua dacă reantrenarea îmbunătățește performanța.

Rezultate de detectare a deepfakes pe MultiFakeVerse în condiții zero-shot și reglate fin.

Dintre aceste rezultate, autorii afirmă:

‘[Modelele] antrenate pe deepfakes de tipul schimbării feței sau picturii au dificultăți în a identifica falsificările noastre bazate pe editarea VLM, în special, CNNSpot are tendința de a clasifica aproape toate imaginile ca reale. AntifakePrompt are cea mai bună performanță zero-shot, cu o acuratețe medie de clasă de 66,87% și un scor F1 de 55,55%. ‘

‘După reglarea fină pe setul nostru de antrenare, observăm o îmbunătățire a performanței atât pentru CNNSpot, cât și pentru SIDA-13B, cu CNNSpot depășind SIDA-13B atât în ceea ce privește acuratețea medie de clasă (cu 1,92%), cât și scorul F1 (cu 1,97%).’

SIDA-13B a fost evaluat pe MultiFakeVerse pentru a măsura cât de precis poate localiza regiunile manipulate din fiecare imagine. Modelul a fost testat atât în modul zero-shot, cât și după reglarea fină pe setul de date.

În starea sa originală, a atins un scor de intersecție peste uniune de 13,10, un scor F1 de 19,92 și o valoare AUC de 14,06, reflectând o performanță slabă de localizare.

După reglarea fină, scorurile au fost îmbunătățite la 24,74 pentru IoU, 39,40 pentru F1 și 37,53 pentru AUC. Cu toate acestea, chiar și după antrenarea suplimentară, modelul a avut dificultăți în a găsi exact locul unde au fost făcute editările, subliniind cât de dificil poate fi să se detecteze acest tip de schimbări mici și țintite.

Concluzie

Noul studiu expune o zonă orbă atât în percepția umană, cât și în cea a mașinilor: în timp ce mult din dezbaterile publice despre deepfakes s-a concentrat pe schimbări de identitate spectaculoase, aceste “editări narative” mai liniștite sunt mai greu de detectat și pot fi mai corozive pe termen lung.

Pe măsură ce sisteme precum ChatGPT și Gemini joacă un rol mai activ în generarea acestui tip de conținut și pe măsură ce noi înșine participăm tot mai mult la alterarea realității fluxurilor noastre de fotografii, modelele de detectare care se bazează pe identificarea manipulărilor grosolane pot oferi o apărare inadecvată.

Ceea ce demonstrează MultiFakeVerse nu este că detectarea a eșuat, ci că cel puțin o parte a problemei poate fi în schimbare, trecând într-o formă mai dificilă și mai lentă: una în care mici minciuni vizuale se acumulează neobservate.

Publicat pentru prima dată joi, 5 iunie 2025