AI kan hemmelig rangere bilder etter enhetsmerke, ikke innhold

Ny forskning viser at populære bilde-sentriske AI-systemer ikke bare ser på hva som er i et bilde, men også oppdager hvordan bildet ble tatt. Skjulte detaljer som kamera-type eller bilde-kvalitet kan stille og påvirke hva AI-en tror den ser, noe som kan føre til feil resultater – bare fordi bildet kom fra en annen enhet.

I 2012 ble det avdekket at en reise-nettsted jevnlig viste høyere priser til brukere som det kunne slutte seg til at brukte Apple-enheter, og likestilte Apple (AAPL ) -merket med høyere kjøpekraft. Senere undersøkelser konkluderte at denne enhets-fokuserte ‘lommelysning’ hadde blitt nesten rutinemessig for e-handels-nettsteder.

Tilsvarende kan det avgjøres hvilken smarttelefon eller innspillingsenhet som tok et bestemt bilde, basert på kjente karakteristika av en begrenset mengde linser i modellene. I slike tilfeller er modellen av en innspillingsenhet vanligvis anslått ved visuelle spor; og, som i 2012-episoden, å vite hvilken type kamera som tok et bilde er en potensielt utnyttbar karakteristika

Skjønt innspillingsenheter tenderer til å innlemme betydelige metadata i et bilde, kan denne funksjonen ofte deaktiveres av brukerne; selv der den er aktivert, kan distribusjonsplattformer som sosiale medier-nettsteder fjerne noen eller alle metadata, enten for logistiske eller personvernshensyn, eller begge deler.

Likevel er metadata i brukerlastede bilder ofte enten omskrevet/tolket (i stedet for slettet) eller etterlatt intakt, som en sekundær kilde til informasjon ikke om hva som er i bildet, men hvordan bildet ble tatt. Som 2012-episoden avdekket, kan informasjon av denne typen være verdifull – ikke bare for kommersielle plattformer, men også, potensielt, for hackere og dårlige aktører.

Tvillingperspektiver

En ny forsknings-samarbeid mellom Japan og Tsjekkia har funnet at sporene som blir igjen av kamera-hardware og bilde-behandling (slik som JPEG-kvalitet eller linse-skjerping) ikke bare er detekterbar av forensiske verktøy, men også stille kodet i ‘global forståelse’ av ledende AI-vision-modeller.

Dette inkluderer CLIP og andre store visuelle koderere, som er vidt brukt i alt fra søke-motorer til innhold-moderasjon. Den nye studien demonstrerer at disse modellene ikke bare tolker hva som er i et bilde, men også kan lære hvordan bildet ble laget; og denne skjulte signalen kan noen ganger overgå det synlige innholdet.

Eksempel-bilde-par fra forfatternes PairCams-dataset, laget for å teste hvordan kamera-type påvirker AI-bilde-modeller. Hvert par viser samme objekt eller scene fotografert på samme tidspunkt med en ikke-smarttelefon (venstre) og en smarttelefon (høyre). Kilde: https://arxiv.org/pdf/2508.10637

Studien hevder at selv når AI-modellene får sterkt maskerte eller beskåret versjoner av bildet, kan de likevel gjette kamera-merket og -modellen med overraskende nøyaktighet. Dette betyr at representasjonsrommet disse systemene bruker til å dømme bilde-lignende kan bli sammenfiltret med irrelevante faktorer, som brukerens enhet, med uforutsigbare konsekvenser.

For eksempel, i nedstrøms-oppgaver som klassifisering eller bilde-tilbake-søking, kan denne uønskede ‘vektlegging’ føre til at systemet favoriserer bestemte kamera-typer, uavhengig av hva bildet faktisk viser.

Artikkelen sier:

‘Metadata-merker som etterlater spor i visuelle koderere til punktet hvor de overskygger semantisk informasjon, kan føre til uforutsigbare resultater, som kompromitterer generaliserbarhet, robusthet og potensielt undergraver tillitsverdigheten til modellene.

‘Mer kritisk, denne effekten kan utnyttes ondsinnet; for eksempel, kan en motstridig angrep manipulere metadata for å forvilede eller bedra en modell, som utgjør risikoer i sensitive domener som helse, overvåking eller autonome systemer.’

Artikkelen finner at Contrastive Visual-Language (CVL)-systemer som CLIP, nå en av de mest innflytelsesrike kodererne i datavisjon, er spesielt sannsynlige til å få slike slutninger fra dataene:

Søke-resultater for et spørings-bilde, som viser hvordan grunn-modeller rangerer lignende bilder basert ikke bare på visuelt innhold, men også på skjult metadata som JPEG-komprimering eller kamera-modell.

Den nye artikkelen heter Behandling og innhentingsspor i visuelle koderere: Hva vet CLIP om din kamera?, og kommer fra seks forskere over The University of Osaka og Czech Technical University i Praha.

Metode og Data*

For å teste innflytelsen av skjult metadata på visuelle koderere som CLIP, arbeidet forfatterne med to kategorier av metadata: bilde-behandling-parametere (slik som JPEG-komprimering eller skjerping) og innhentings-parametere (slik som kamera-modell eller eksponerings-innstillinger).

I stedet for å trene nye modeller, evaluerte forskerne 47 vidt brukte visuelle koderere i deres frosne, forhånds-trente tilstand, inkludert kontrastive visuell-språk-modeller som CLIP, selv-superviserte modeller som DINO, og konvensjonelt overvåkede nettverk.

For bilde-behandling-parametere, anvendte forskerne kontrollerte transformasjoner på ImageNet og iNaturalist 2018-datasettene, inkludert seks nivåer av JPEG-komprimering, tre skjerping-innstillinger, tre resizing-skalaer og fire interpolerings-metoder.

Eksempler på bilder og tilhørende annotasjoner fra iNaturalist-datasettet. Kilde: https://arxiv.org/pdf/1707.06642

Modellene ble testet på deres evne til å gjenopprette hver transformasjons-innstilling ved å bruke bare bilde-innholdet, med suksessfulle prediksjoner som indikerte at koderen beholdt informasjon om disse behandlings-valgene i sin interne representasjon.

For å undersøke innhentings-parametere, samlet forskerne en 356 459-bilde-datasett kalt FlickrExif, som inneholdt bevarte Exif-metadata, og konstruerte et annet datasett kalt PairCams, bestående av 730 bilde-par tatt samtidig med en smarttelefon og en ikke-smarttelefon-kamera.

FlickrExif-datasettet ble bygget ved å bruke Flickr-API til å laste ned bilder med tilhørende Exif-metadata. Mellom 2 000 og 4 000 trygge-for-arbeid-bilder ble samlet inn per måned, datert fra tidlig 2000 til midten av 2024, og filtrert for å inkludere bare bilder med tillatende lisenser. For å forhindre overrepresentasjon av flittige brukere, ble hver enkelt bidragsyter begrenset til ti bilder per måned for hvert år.

For PairCams-datasettet, ble hver foto tatt ved å bruke automatiske innstillinger og ingen blitz, noe som tillot en sammenligning av hvordan visuelle koderere responderer på forskjeller i kamera-hardware alene, uavhengig av bilde-innholdet:

Flere eksempler fra PairCams-datasettet kuratert av forfatterne.

Forfatterne testet for to sett med parametere: bilde-behandling-parametere, som komprimering og farge-transformasjoner; og innhentings-parametere, som kamera-merke eller -modell:

Bilde-behandling og innhentings-parametere analyser, med antall klasser for hver.

Tester

For å bestemme om informasjon om bilde-behandling og kamera-type er beholdt i visuelle koderings-embedinger, trente forfatterne en klassifikator til å forutsi metadata-merker direkte fra disse embedingene. Hvis klassifikatoren fungerte ikke bedre enn tilfeldig gjettning, ville det antyde at detaljer om behandling eller enhet ikke er fanget av modellen.

Men noen presterer over tilfeldig gjettning, ville det indikere at disse tekniske sporene faktisk er kodet, og kunne påvirke nedstrøms-oppgaver.

For å teste bilde-behandling-spor, tildelte forfatterne hver trening-bilde en tilfeldig behandlings-innstilling, som en bestemt JPEG-komprimerings-nivå, mens alle test-bilder i en batch delte samme innstilling.

Gjennomsnittlig klassifikasjons-nøyaktighet over alle innstillinger ble kombinert med gjentatte forsøk under forskjellige tilfeldige frø, så det kunne bestemmes om tekniske detaljer om bilde-behandling var konsistent fanget i modellens interne representasjon:

Klassifikasjons-nøyaktighet for å forutsi bilde-behandling-parametere fra koderings-embedinger, ved å bruke en lineær klassifikator på frosne modeller. Resultatene vises for JPEG-komprimering, skjerping, resizing og interpolering, med tre modell-kategorier, kontrastive visuell-språk (oransje), overvåket (grønn) og selv-supervisert (blå), evaluert på ImageNet (øverste rad) og iNaturalist 2018 (nederste rad). Tilfeldig-gjettning-baselines er merket med streked linjer.

Over alle fire bilde-behandling-parametere, viste kontrastive visuell-språk-modeller den høyeste evnen til å gjenkjenne skjulte bilde-manipulasjoner. Noen av modellene oppnådde mer enn 80% nøyaktighet når de forutså JPEG-komprimering, skjerping og resizing-innstillinger fra ImageNet-embedinger.

Overvåkede koderere, spesielt de basert på ConvNeXt, fungerte også sterkt, mens selv-superviserte modeller var konsistent svakere.

Interpolering var den vanskeligste parameteren å detektere, men de beste CVL- og overvåkede modellene oppnådde likevel resultater langt over den tilfeldige baselinjen på 25% på begge datasettene.

Neste, for å teste om kamera-relatert informasjon er innkodet i modell-representasjoner, skapte forfatterne separate trening- og test-sett for hver innhentings-parameter (som kamera-merke, kamera-modell, eksponering, blende, ISO og brennvidde).

For de fleste parametere, ble bare klasser med minst 5 000 eksempler brukt; 500 bilder ble tilfeldig satt til side for testing, og de resterende eksemplene ble ned-samplet så hver klasse hadde 200 trening-eksempler. For ‘modell (alle)’- og ‘modell (smart)’-parametere, som hadde mindre data per klasse, brukte forfatterne i stedet klasser med minst 500 bilder, og delte hver klasse inn i trening og test-under-sett i en fire-til-en-forhold.

Fotografer ble holdt adskilt over trening-, validerings- og test-sett, og en enkel klassifikator ble trent for å forutsi kamera-informasjon basert på bilde-egenskapene.

For å sikre at klassifikatoren ikke ble påvirket av det semantiske innholdet i bildene, ble 90% av hvert bilde sentralt-maskert (se eksempler nedenfor). Forfatterne hevder at på dette nivået av maskering, fungerer alle visuelle koderere nær tilfeldig på ImageNet, noe som indikerer at det semantiske signalet har blitt effektivt undertrykt:

ImageNet-validerings-nøyaktighet som en funksjon av maskerings-forhold. Ved 90% maskering, faller alle modeller til nær-tilfeldig ytelse på semantisk-etikett-forutsielse, noe som indikerer at semantiske hint har blitt effektivt fjernet. Eksempel-bildene nedenfor viser maskerings-nivåene.

Even om 90% av hvert bilde var maskert, fungerte de fleste kontrastive visuell-språk-modellene og de overvåkede ConvNeXt-kodererne likevel kamera-relaterte merker på langt over tilfeldig nivå. Mange CVL-modeller overgikk 70% nøyaktighet i å skille mellom smarttelefon- og ikke-smarttelefon-bilder.

Andre overvåkede koderere, SigLIP, og alle selv-superviserte modeller fungerte mye dårligere. Når ingen maskering ble brukt, viste CVL-modellene igjen den sterkeste klustering etter kamera-type, noe som bekrefter at disse modellene innkoder innhentings-informasjon dypere enn de andre:

t-SNE-visualiseringer for to visuelle koderere, med farger som indikerer om hver bilde ble tatt med en smarttelefon eller en ikke-smarttelefon-kamera.

Nedstrøms-betydning

Etter å ha etablert at metadata påvirker modellene på denne måten, ble tendensen til at skjulte behandlings-spor forstyrre bilde-tolkning evaluert.

Når to versjoner av samme bilde ble behandlet forskjellig, ble embedinger ofte organisert etter behandling-stil i stedet for innhold. I flere tilfeller, ble et sterkt komprimert bilde av en hund behandlet som mer likt et ubeslektet bilde med samme komprimerings-innstilling enn sin egen ukomprimerte versjon:

Påvirkning av behandlings-parametere på semantisk forutsielse, med semantisk klassifikasjons-nøyaktighet for ImageNet (øverst) og iNaturalist (nederst) under fem behandlings-oppsæt. I baseline, deler alle trening- og test-bilder samme behandlings-merke; i all-diff-innstilling, bruker test-bildet en behandlings-verdi som ikke er til stede i trening-settet; i pos-same og neg-same, er behandlings-merket alignert enten med semantisk likt eller ulikt innhold; i uniform-innstilling, er behandlings-merker tilfeldig tildelt over trening-settet. Resultatene rapporteres ved å bruke k = 10 for ImageNet, og k = 1 for iNaturalist.

De sterkeste forstyrrelser ble forårsaket av JPEG-komprimering, etterfulgt av skjerping og resizing, mens interpolering produserte bare en liten effekt. Forfatterne hevder at disse resultatene demonstrerer at behandlings-spor kan overstyre semantisk informasjon og diktere hvordan et bilde forstås.

I konklusjon, advarer de:

‘Selv om vi har identifisert at metadata-merker er innkodet i grunnleggende visuelle koderere og gitt hint om mulige årsaker, kan vi ikke definitivt peke på årsaken til problemet. Å undersøke dette videre er utfordrende på grunn av kostnadene ved å om-trene slike modeller og den hyppige bruken av private datasett og ukjente implementeringsdetaljer.

‘Selv om vi ikke foreslår spesifikke mitigasjons-teknikker, understreker vi problemet som et viktig område for fremtidig forskning.’

Konklusjon

I litteraturen er det en økende forensisk interesse med hensyn til sporene og tegnene på ‘metode over innhold’; jo enklere det er å identifisere en ramme-domen eller et bestemt datasett, jo enklere er det å utnytte denne informasjonen i form av – for eksempel – deepfake-detektorer eller systemer designet til å kategorisere proveniens eller alder av data og modeller.

Dette går mot kjerne-intenton av å trene AI-modeller, som er at sentrale destillerte konsepter skal kurateres uavhengig av produksjonsmidlene, og bør ikke bære noen spor av dem. I virkeligheten har datasett og innhentings-enheter karakteristika og domene-egenskaper som er effektivt umulige å skille fra innhold, fordi de i seg selv også representerer en ‘historisk perspektiv’.

* Artikkelen er lagt ut uvanlig, og vi vil tilpasse oss så godt vi kan til dens uvanlige formatering og presentasjon. En stor del av materialet som burde vært i en (ikke-eksisterende) ‘Metode’-seksjon har blitt flyttet til diverse deler av appendikset, antagelig for å begrense hoved-artikkelen til åtte sider – selv om det er på bekostning av klarhet. Hvis vi har gått glipp av noen mulighet til å forbedre dette, på grunn av manglende tid, ber vi om unnskyldning.

Først publisert onsdag, 20. august 2025