Inteligența artificială poate clasifica în secret imagini după marca dispozitivului, nu după conținut

Noi cercetări arată că sistemele populare de inteligență artificială bazate pe imagini nu se uită doar la ceea ce este într-o fotografie, ci și la modul în care a fost făcută. Detalii ascunse, cum ar fi tipul de cameră sau calitatea imaginii, pot afecta în mod subtil ce crede inteligența artificială că vede, ducând la rezultate greșite – doar pentru că fotografia a fost făcută cu un dispozitiv diferit.

În 2012, a fost dezvăluit că un site de călătorii afișa în mod regulat prețuri mai mari utilizatorilor pe care îi putea identifica ca utilizând dispozitive Apple, asociind marca Apple (AAPL ) cu o putere de cumpărare mai mare. O investigație ulterioară a concluzionat că această focalizare pe dispozitiv a devenit aproape o practică standard pentru site-urile de comerț electronic.

La fel, marca și modelul dispozitivului care a făcut o anumită fotografie pot fi deduse prin metode forensice, pe baza caracteristicilor cunoscute ale unui număr limitat de obiective în modele. În astfel de cazuri, modelul dispozitivului de captură este de obicei estimat prin urme vizuale; și, la fel ca în incidentul din 2012, știind ce tip de cameră a făcut o imagine este o caracteristică potențial explozabilă

Deși dispozitivele de captură tind să încorporeze metadate semnificative într-o imagine, această funcție poate fi de obicei dezactivată de utilizatori; chiar și atunci când este lăsată activată, platformele de distribuire, cum ar fi rețelele de socializare, pot elimina unele sau toate metadatele, fie din motive logistice, fie din motive de confidențialitate, sau ambele.

Cu toate acestea, metadatele din imaginile încărcate de utilizatori sunt adesea reinterpretate sau lăsate intacte, ca o sursă secundară de informații, nu despre ceea ce este în imagine, ci despre cum a fost făcută imaginea. Așa cum a arătat cazul din 2012, informațiile de acest tip pot fi valoroase – nu numai pentru platformele comerciale, ci și, potențial, pentru hackeri și actori răi.

Două perspective

O nouă colaborare de cercetare între Japonia și Republica Cehă a descoperit că urmele lăsate de hardware-ul camerei și prelucrarea imaginii (cum ar fi calitatea JPEG sau îmbunătățirea obiectivului) nu numai că pot fi detectate de unelte forensice, dar sunt și codificate în mod tacit în “înțelegerea globală” a principalelor modele de viziune artificială.

Aceasta include CLIP și alte codificatori vizuali la scară largă, care sunt utilizate pe scară largă în totul, de la motoare de căutare la moderarea conținutului. Noua lucrare demonstrează că aceste modele nu interpretează doar ceea ce este în o fotografie, ci pot învăța și cum a fost făcută fotografia; și acest semnal ascuns poate uneori depăși conținutul vizibil.

Exemple de perechi de imagini din setul de date PairCams al autorilor, creat pentru a testa modul în care tipul de cameră afectează modelele de imagine AI. Fiecare pereche arată același obiect sau scenă fotografiat în același moment, utilizând o cameră non-smartphone (stânga) și o cameră smartphone (dreapta). Sursă: https://arxiv.org/pdf/2508.10637

Studiul afirmă că, chiar și atunci când modelele de inteligență artificială primesc versiuni puternic mascate sau decupate ale imaginii, ele pot totuși ghici marca și modelul camerei cu o acuratețe surprinzătoare. Acest lucru înseamnă că spațiul de reprezentare pe care aceste sisteme îl utilizează pentru a judeca similaritatea imaginilor poate deveni încurcat cu factori irelevanți, cum ar fi dispozitivul utilizatorului, cu consecințe imprevizibile.

De exemplu, în sarcinile downstream, cum ar fi clasificarea sau recuperarea imaginilor, această “ponderare” nedorită poate face ca sistemul să favorizeze anumite tipuri de camere, indiferent de ceea ce arată imaginea.

Articolul afirmă:

‘Etichetele de metadate care lasă urme în codificatori vizuali până la punctul de a umbri informația semantică pot duce la rezultate imprevizibile, compromițând generalizabilitatea, robustețea și, posibil, subminând încrederea în modele.

‘Mai critic, acest efect poate fi exploatat în mod malign; de exemplu, un atac adversar poate manipula metadatele pentru a induce în eroare sau a înșela un model, punând în pericol domenii sensibile, cum ar fi sănătatea, supravegherea sau sistemele autonome.’

Articolul constată că sistemele CVL, cum ar fi CLIP, care sunt acum unul dintre cele mai influente codificatori în viziunea computerizată, sunt deosebit de susceptibile de a obține astfel de inferențe din date:

Rezultatele căutării pentru o imagine de căutare, arătând modul în care modelele de bază clasifică imagini similare nu numai pe baza conținutului vizual, ci și pe baza metadatelor ascunse, cum ar fi compresia JPEG sau modelul camerei.

Noua lucrare, intitulată Urme de prelucrare și achiziție în codificatori vizuali: Ce știe CLIP despre camera dvs.?, provine de la șase cercetători de la Universitatea din Osaka și Universitatea Tehnică din Praga.

Metodă și date

Pentru a testa influența metadatelor ascunse asupra codificatorilor vizuali, cum ar fi CLIP, autorii au lucrat cu două categorii de metadate: parametri de prelucrare a imaginii (cum ar fi compresia JPEG sau îmbunătățirea) și parametri de achiziție (cum ar fi modelul camerei sau setările de expunere).

În loc să antreneze noi modele, cercetătorii au evaluat 47 de codificatori vizuali larg utilizați în starea lor înghețată, preantrenată, inclusiv modele de viziune-lingvistică contrastivă, cum ar fi CLIP, modele autonome și rețele convențional supervizate.

Pentru parametrii de prelucrare, cercetătorii au aplicat transformări controlate asupra seturilor de date ImageNet și iNaturalist 2018, inclusiv șase niveluri de compresie JPEG, trei setări de îmbunătățire, trei scale de redimensionare și patru metode de interpolare.

Exemple de imagini și anotări asociate din setul de date iNaturalist. Sursă: https://arxiv.org/pdf/1707.06642

Modelele au fost testate pentru capacitatea lor de a recupera fiecare setare de transformare utilizând doar conținutul imaginii, cu acuratețe de clasificare medie combinată pe toate setările și încercări repetate sub diferite semăne de randomizare, astfel încât să se poată determina dacă detalii tehnice ale prelucrării imaginilor sunt reținute în mod constant în reprezentarea internă a modelului:

Pentru a examina parametrii de achiziție, cercetătorii au compilat un set de date de 356.459 de imagini, numit FlickrExif, care conține metadate Exif păstrate, și au construit un al doilea set de date, numit PairCams, format din 730 de perechi de imagini capturate simultan cu un smartphone și o cameră non-smartphone.

Setul de date FlickrExif a fost construit utilizând API-ul Flickr pentru a descărca imagini cu metadate Exif însoțitoare. Între 2.000 și 4.000 de imagini sigure pentru lucrul cu utilizatorii au fost colectate pe lună, datate din primul an 2000 până în mijlocul anului 2024, și filtrate pentru a include doar cele cu licențe permissive. Pentru a preveni suprareprezentarea utilizatorilor prolifici, fiecare contributor individual a fost limitat la zece imagini pe lună pentru orice an dat.

Pentru setul de date PairCams, fiecare fotografie a fost făcută utilizând setări automate și fără flash, permițând o comparație a modului în care codificatorii vizuali răspund la diferențele de hardware ale camerei, indiferent de conținutul imaginii:

Mai multe exemple din setul de date PairCams, curatoriat de autori.

Autorii au testat pentru două seturi de parametri: parametri de prelucrare a imaginii, cum ar fi compresia și transformările de culoare; și parametri de achiziție, cum ar fi marca sau modelul camerei:

Parametri de prelucrare și achiziție a imaginilor, cu numărul de clase pentru fiecare.

Teste

Pentru a determina dacă informații despre prelucrarea și tipul de cameră sunt încorporate în reprezentările modelului, autorii au antrenat un clasificator pentru a prezice etichete de metadate direct din aceste reprezentări. Dacă clasificatorul a funcționat la fel de bine ca o ghicire aleatorie, ar fi sugerat că detalii despre prelucrare sau dispozitiv nu sunt capturate de model.

Însă, orice performanță peste nivelul ghicirii aleatorii ar fi indicat că aceste urme tehnice sunt într-adevăr codificate și ar putea influența sarcinile downstream.

Pentru a testa urmele de prelucrare, autorii au atribuit fiecărei imagini de antrenare o setare de prelucrare aleatorie, cum ar fi un anumit nivel de compresie JPEG, în timp ce toate imaginile de test dintr-un lot au împărtășit aceeași setare.

Acuratețea medie de clasificare pe toate setările a fost combinată cu încercări repetate sub diferite semăne de randomizare, astfel încât să se poată determina dacă detalii tehnice ale prelucrării imaginilor sunt reținute în mod constant în reprezentarea internă a modelului:

Acuratețea de clasificare pentru predicția parametrilor de prelucrare a imaginilor din reprezentările modelului, utilizând un clasificator liniar aplicat la modele înghețate. Rezultatele sunt prezentate pentru compresia JPEG, îmbunătățire, redimensionare și interpolare, cu trei categorii de modele, viziune-lingvistică contrastivă (portocaliu), supervizată (verde) și autonome (albastru), evaluate pe ImageNet (rândul superior) și iNaturalist 2018 (rândul inferior). Liniile punctate marchează nivelurile de ghicire aleatorie.

Pe toți cei patru parametri de prelucrare, modelele de viziune-lingvistică contrastivă au arătat cea mai mare capacitate de a recunoaște manipulările ascunse ale imaginilor. Unele dintre modele au atins peste 80% acuratețe la predicția setărilor de compresie JPEG, îmbunătățire și redimensionare din reprezentările ImageNet.

Modelele supervizate, în special cele bazate pe ConvNeXt, au funcționat, de asemenea, puternic, în timp ce modelele autonome au fost consistent mai slabe.

Interpolarea a fost cel mai dificil parametru de detectat, însă cele mai bune modele CVL și supervizate au atins rezultate mult peste nivelul de ghicire aleatorie de 25% pe ambele seturi de date.

Următorul, pentru a testa dacă informațiile despre cameră sunt încorporate în reprezentările modelului, autorii au creat seturi de antrenare și test separate pentru fiecare parametru de achiziție (cum ar fi marca sau modelul camerei, expunerea, diafragma, ISO și lungimea focală).

Pentru majoritatea parametrilor, doar clasele cu cel puțin 5.000 de exemple au fost utilizate; 500 de imagini au fost selectate aleator pentru testare, iar exemplele rămase au fost subspecificate astfel încât fiecare clasă să aibă 200 de exemple de antrenare. Pentru parametrii “model (toate)” și “model (smart)”, care aveau mai puține date pe clasă, autorii au utilizat clase cu cel puțin 500 de imagini și au împărțit fiecare clasă în subseturi de antrenare și testare într-un raport de patru la unu.

Fotografii au fost păstrați separați în seturile de antrenare, validare și testare, și un clasificator simplu a fost antrenat pentru a prezice informații despre cameră pe baza caracteristicilor imaginii.

Pentru a se asigura că clasificatorul nu a fost influențat de conținutul semantic al imaginilor, 90% din fiecare imagine a fost mascată central (a se vedea exemplele de mai jos). Autorii afirmă că, la acest nivel de mascare, toate codificatorii vizuali funcționează aproape de nivelul de ghicire aleatorie pe ImageNet, indicând faptul că semnalul semantic a fost suprimat în mod eficient:

Acuratețea de validare a ImageNet în funcție de raportul de mascare. La 90% de mascare, toate modelele scad la o performanță aproape de ghicirea aleatorie la predicția etichetelor semantice, indicând faptul că semnalele semantice au fost eliminate în mod eficient. Imaginile de exemplu de la partea de jos ilustrează nivelurile de mascare.

Chiar și cu 90% din fiecare imagine mascată, majoritatea modelelor de viziune-lingvistică contrastivă și codificatorii supervizați ConvNeXt au prevăzut etichetele legate de cameră la niveluri mult peste șansa aleatorie. Multe dintre modelele CVL au depășit 70% acuratețe în a distinge imaginile făcute cu un smartphone de cele făcute cu o cameră non-smartphone.

Alte codificatori supervizați, SigLIP, și toate modelele autonome au funcționat mult mai slab. Când nu s-a aplicat nicio mascare, modelele CVL au arătat din nou cea mai puternică clusterizare după tipul de cameră, confirmând că aceste modele încorporează informații de achiziție mai profund decât celelalte:

Vizualizări t-SNE pentru doi codificatori vizuali, cu culori care indică dacă fiecare imagine a fost capturată cu un smartphone sau o cameră non-smartphone.

Importanță downstream

După ce s-a stabilit că metadatele influențează modelele în acest mod, a fost evaluată propensitatea urmelor de prelucrare ascunse de a interfera cu interpretarea imaginilor.

Când două versiuni ale aceleiași imagini au fost prelucrate diferit, reprezentările au fost adesea organizate în funcție de stilul de prelucrare mai degrabă decât de conținut. În mai multe cazuri, o fotografie puternic comprimată a unui câine a fost tratată ca fiind mai similară cu o imagine neînrudită care avea aceeași setare de compresie decât cu propria sa versiune necomprimată:

Impactul parametrilor de prelucrare asupra predicției semantice, prezentând acuratețea de clasificare semantică pentru ImageNet (sus) și iNaturalist (jos) sub cinci setări de prelucrare. În setarea de bază, toate imaginile de antrenare și testare împărtășesc aceeași etichetă de prelucrare; în setarea all-diff, imaginea de testare utilizează o valoare de prelucrare care nu este prezentă în setul de antrenare; în setările pos-same și neg-same, eticheta de prelucrare este aliniată cu imagini semantice similare sau disimilare; în setarea uniformă, etichetele de prelucrare sunt atribuite aleator pe tot setul de antrenare. Rezultatele sunt raportate utilizând k = 10 pentru ImageNet și k = 1 pentru iNaturalist.

Distorsiunile cele mai puternice au fost cauzate de compresia JPEG, urmată de îmbunătățire și redimensionare, în timp ce interpolarea a produs doar un efect minor. Autorii afirmă că aceste rezultate demonstrează că urmele de prelucrare pot suprima informația semantică și dicta modul în care o imagine este înțeleasă.

În concluzie, ei avertizează:

‘Deși am identificat faptul că etichetele de metadate sunt încorporate în codificatori vizuali fundamentali și am oferit indicii despre cauzele potențiale, nu putem identifica în mod definitiv sursa problemei. Investigarea acestui lucru este dificilă din cauza costului reantrenării unor astfel de modele și a utilizării frecvente a seturilor de date private și a detaliilor de implementare nedivulgate.

‘Deși nu propunem tehnici de mitigare specifice, subliniem problema ca o zonă importantă pentru cercetarea viitoare.’

Concluzie

În literatura de specialitate există o interes crescând din punct de vedere forensic cu privire la urmele și semnele “metodei peste conținut”; cu cât este mai ușor să se identifice un domeniu de încadrare sau un anumit set de date, cu atât este mai ușor să se exploateze această informație sub forma, de exemplu, a detectoarelor de deepfake sau a sistemelor proiectate pentru a categorisi proveniența sau vârsta datelor și a modelelor.

Acest lucru este în contradicție cu intenția de bază a antrenării modelelor de inteligență artificială, care este ca conceptele centrale distilate să fie curate în mod independent de mijloacele de producție și să nu poarte nicio urmă a acestora. În fapt, seturile de date și dispozitivele de captură au caracteristici și trăsături de domeniu care sunt, în ele însele, efectiv imposibil de separat de conținut, deoarece reprezintă o “perspectivă istorică”.

* Articolul este structurat în mod neconvențional, și ne vom adapta cât mai bine la formatul și prezentarea sa neobișnuite. O cantitate mare de material care ar fi trebuit să fie într-o secțiune (inexistentă) “Metodă” a fost mutată în diverse părți ale apendicelui, probabil pentru a restricționa articolul principal la opt pagini – deși la un cost considerabil al clarității. Dacă am ratat orice oportunitate de a îmbunătăți acest lucru, din cauza lipsei de timp, ne cerem scuze.

Publicat pentru prima dată miercuri, 20 august 2025