AI kan hemligt ranka bilder efter enhetsmärke, inte innehåll

Nya forskningsresultat visar att populära bildcentrerade AI-system inte bara tittar på vad som finns i en bild, utan också upptäcker hur bilden togs. Dolda detaljer som kameratyp eller bildkvalitet kan tyst påverka vad AI:n tror att den ser, vilket leder till felaktiga resultat – bara för att bilden kom från en annan enhet.

År 2012 avslöjades det att en resewebbplats regelbundet visade högre priser för användare som man kunde dra slutsatsen var användare av Apple-enheter, och associerade Apple (AAPL ) -märket med högre köpkraft. Senare utredning drog slutsatsen att denna enhetsfokuserade “plånbokssniffning” hade blivit nästan rutin för e-handelswebbplatser.

På liknande sätt kan det fastställas vilken smartphone eller kamera som tog en viss fotografi genom forensiska metoder, baserat på kända egenskaper hos ett begränsat antal linser i modellerna. I sådana fall är kameramodellen vanligtvis uppskattad av visuella spår; och, liksom i 2012 års incident, är det att veta vilken kamera som tog en bild en potentiellt utnyttjbar egenskap

Även om kameror tenderar att infoga betydande metadata i en bild, kan denna funktion ofta stängas av av användare; även där den är påslagen, kan distributionsplattformar som sociala medienätverk ta bort viss eller all metadata, antingen av logistiska eller sekretesskäl, eller båda.

Trots att metadata i användaruppladdade bilder ofta antingen skrivs om/tolkas (i stället för att tas bort) eller lämnas intakt, som en sekundär källa till information, inte om vad som finns i bilden, utan hur bilden togs. Som 2012 års fall avslöjade, kan information av detta slag vara värdefull – inte bara för kommersiella plattformar, utan också, potentiellt, för hackare och illvilliga aktörer.

Två perspektiv

Ett nytt forskningssamarbete mellan Japan och Tjeckien har funnit att spåren som lämnas av kamerahårdvara och bildbehandling (såsom JPEG-kvalitet eller linsförskärpning) inte bara kan upptäckas av forensiska verktyg, utan också tyst kodas i ‘global förståelse’ av ledande AI-visionmodeller.

Detta inkluderar CLIP och andra storskaliga visuella kodare, som används i allt från sökmotorer till innehållsmoderering. Det nya arbetet visar att dessa modeller inte bara tolkar vad som finns i en bild, utan också kan lära sig hur bilden togs; och denna dolda signal kan ibland överväldiga den synliga innehållet.

Exempel på bildpar från författarnas PairCams-dataset, skapat för att testa hur kameratypen påverkar AI-bildmodeller. Varje par visar samma objekt eller scen fotograferad vid samma ögonblick med en icke-smartphone (vänster) och en smartphone (höger). Källa: https://arxiv.org/pdf/2508.10637

Studien hävdar att även när AI-modeller får kraftigt maskerade eller beskurna versioner av bilden, kan de fortfarande gissa kameramodellen med förvånansvärd noggrannhet. Detta innebär att representationsspace som dessa system använder för att bedöma bildlikhet kan bli sammanflätad med irrelevanta faktorer, såsom användarens enhet, med oförutsägbara konsekvenser.

Till exempel, i nedströmsuppgifter som klassificering eller bildåtervinning, kan denna oönskade “viktning” orsaka att systemet föredrar vissa kameratyper, oavsett vad bilden faktiskt visar.

Artikeln hävdar:

‘Metadata-etiketter som lämnar spår i visuella kodare till den grad att de överväldigar semantisk information kan leda till oförutsägbara resultat, som äventyrar allmängiltigheten, robustheten och potentiellt undergräver modellernas tillförlitlighet.

‘Mer kritiskt, kan denna effekt utnyttjas illvilligt; till exempel, kan en illvillig attack manipulera metadata för att medvetet vilseleda eller bedra en modell, vilket medför risker i känsliga områden som hälsovård, övervakning eller autonoma system.’

Artikeln finner att Contrastive Visual-Language (CVL)-system, såsom CLIP, nu en av de mest inflytelserika kodarna inom datorseende, är särskilt benägna att erhålla sådana slutsatser från data:

Sökresultat för en frågebild, som visar hur grundmodeller rankar liknande bilder inte bara efter visuellt innehåll, utan också efter dold metadata som JPEG-komprimering eller kameramodell.

Den nya artikeln heter Processing and acquisition traces in visual encoders: What does CLIP know about your camera?, och kommer från sex forskare vid universitetet i Osaka och det tekniska universitetet i Prag.

Metod och data*

För att testa inflytandet av dold metadata på visuella kodare som CLIP, arbetade författarna med två kategorier av metadata: bildbehandlingsparametrar (såsom JPEG-komprimering eller skärpning) och förvärvsparametrar (såsom kameramodell eller exponeringsinställningar).

I stället för att träna nya modeller, utvärderade forskarna 47 allmänt använda visuella kodare i deras frusna, förtränade tillstånd, inklusive kontrastiva vision-språkmodeller som CLIP, självständiga modeller som DINO, och konventionellt övervakade nätverk.

För behandlingsparametrar tillämpade forskarna kontrollerade transformationer på ImageNet och iNaturalist 2018-dataset, inklusive sex nivåer av JPEG-komprimering, tre skärpningsinställningar, tre omstorleksningsfaktorer och fyra interpoleringsmetoder.

Exempel på bilder och associerade anteckningar från iNaturalist-dataset. Källa: https://arxiv.org/pdf/1707.06642

Modellerna testades på deras förmåga att återställa varje transformationsinställning med hjälp av endast bildinnehållet, med framgångsrika förutsägelser som indikerade att kodaren behåller information om dessa behandlingsval i sin interna representation.

För att undersöka förvärvsparametrar sammanställde forskarna en 356 459-bildsdatabas som kallades FlickrExif, som innehöll bevarad Exif-metadata, och konstruerade en andra databas som kallades PairCams, som bestod av 730 bildpar som togs samtidigt med en smartphone och en icke-smartphonekamera.

FlickrExif-databasen byggdes med hjälp av Flickr API för att ladda ner bilder med tillhörande Exif-metadata. Mellan 2 000 och 4 000 säkra bilder för arbete samlades in per månad, daterade från början av 2000 till mitten av 2024, och filtrerades för att endast inkludera de med tillåtna licenser. För att förhindra överrepresentation av flitiga användare, begränsades varje enskild bidragsgivare till tio bilder per månad för varje given år.

För PairCams-databasen togs varje foto med automatiska inställningar och utan blixt, vilket möjliggjorde en jämförelse av hur visuella kodare svarar på skillnader i kamerahårdvara ensam, oavsett bildinnehållet:

Ytterligare exempel från PairCams-databasen som kuraterats av författarna.

Författarna testade för två uppsättningar parametrar: bildbehandlingsparametrar, såsom komprimering och färgomvandling; och förvärvsparametrar, såsom kameramärke eller modell:

Bildbehandlings- och förvärvsparametrar som analyserats, med antal klasser för varje.

Tester

För att bestämma om information om bildbehandling och kameratyp är lagrad i visuell kodare-inbäddningar, tränade författarna en klassificerare för att förutsäga metadata-etiketter direkt från dessa inbäddningar. Om klassificeraren presterade inget bättre än slumpmässigt gissande, skulle det tyda på att detaljer om behandling eller enhet inte fångas av modellen.

Men någon prestation över slumpen skulle indikera att dessa tekniska spår faktiskt kodas, och kan påverka nedströmsuppgifter.

För att testa behandlingsspår tilldelade författarna varje träningsbild en slumpmässig behandlingsinställning, såsom en viss JPEG-komprimeringsnivå, medan alla testbilder i en batch delade samma inställning.

Genomsnittlig klassificeringsnoggrannhet över alla inställningar kombinerades med upprepade försök under olika slumpmässiga frön, så att det kunde bestämmas om tekniska detaljer om bildbehandling konsekvent fångades i modellens interna representation:

Klassificeringsnoggrannhet för att förutsäga bildbehandlingsparametrar från kodare-inbäddningar, med en linjär klassificerare tillämpad på frusna modeller. Resultat visas för JPEG-komprimering, skärpning, omstorleksning och interpolering, med tre modellkategorier, kontrastiv vision-språk (orange), övervakad (grön) och självständig (blå), utvärderad på ImageNet (översta raden) och iNaturalist 2018 (nedersta raden). Slumpmässiga gissningsbaslinjer är markerade med streckade linjer.

Över alla fyra behandlingsparametrar visade kontrastiva vision-språkmodeller den högsta förmågan att känna igen dolda bildmanipulationer. Vissa av modellerna uppnådde mer än 80% noggrannhet när de förutsåg JPEG-komprimering, skärpning och omstorleksningsinställningar från ImageNet-inbäddningar.

Övervakade kodare, särskilt de som baseras på ConvNeXt, presterade också starkt, medan självständiga modeller var konsekvent svagare.

Interpolering var den svåraste parametern att upptäcka, men de bästa CVL- och övervakade modellerna uppnådde fortfarande resultat långt över den slumpmässiga baslinjen på 25% på båda dataset.

Sedan, för att testa om kamerarelaterad information är inbäddad i modellrepresentationer, skapade författarna separata tränings- och testuppsättningar för varje förvärvsparameter (såsom kameramärke, kameramodell, exponering, bländare, ISO och brännvidd).

För de flesta parametrar användes endast klasser med minst 5 000 exempel; 500 bilder valdes slumpmässigt åt sidan för testning, och de återstående exemplen ned sampades så att varje klass hade 200 träningsprover. För ‘modell (alla)’- och ‘modell (smart)’-parametrarna, som hade mindre data per klass, användes i stället klasser med minst 500 bilder, och delades upp i tränings- och test-undermängder i ett förhållande på fyra till ett.

Fotografer hölls separata över tränings-, validerings- och testuppsättningar, och en enkel klassificerare tränades för att förutsäga kamerainformation baserat på bildfunktioner.

För att säkerställa att klassificeraren inte påverkades av bildernas semantiska innehåll, maskerades 90% av varje bild (se exempel nedan). Författarna hävdar att på denna nivå av maskering presterar alla visuella kodare nära slumpmässigt på ImageNet, vilket indikerar att den semantiska signalen har effektivt undertryckts:

ImageNet-valideringsnoggrannhet som en funktion av maskeringsförhållande. Vid 90% maskering sjunker alla modeller till nära-slumpmässig prestation på semantisk etikettförutsägelse, vilket indikerar att semantiska signaler har undertryckts effektivt. Exempelbilder längst ner visar maskeringsnivåerna.

Även med 90% av varje bild maskerad, presterade de flesta kontrastiva vision-språkmodeller och de övervakade ConvNeXt-kodarna fortfarande kamerarelaterade etiketter på långt över slumpmässiga nivåer. Många CVL-modeller översteg 70% noggrannhet i att skilja på smartphone- och icke-smartphonebilder.

Andra övervakade kodare, SigLIP, och alla självständiga modeller presterade betydligt sämre. När ingen maskering tillämpades, visade CVL-modellerna återigen den starkaste klusteruppdelningen efter kameratyp, vilket bekräftar att dessa modeller inbäddar förvärvsinformation mer djupt än de andra:

t-SNE-visualiseringar för två visuella kodare, med färger som indikerar om varje bild togs med en smartphone eller en icke-smartphonekamera.

Nedströmsbetydelse

Efter att ha etablerat att metadata påverkar modellerna på detta sätt, utvärderades benägenheten för dolda behandlingsspår att störa bildtolkning.

När två versioner av samma bild behandlades olika, var inbäddningarna ofta organiserade enligt behandlingsstil snarare än innehåll. I flera fall behandlades en kraftigt komprimerad bild av en hund som mer lik en orelaterad bild med samma komprimeringsinställning än sin egen okomprimerade version:

Påverkan av behandlingsparametrar på semantisk förutsägelse, med semantisk klassificeringsnoggrannhet för ImageNet (överst) och iNaturalist (nederst) under fem behandlingsuppsättningar. I baslinjen delar alla tränings- och testbilder samma behandlingsetikett; i all-diff-inställningen använder testbilden en behandlingsvärde som inte finns i träningsuppsättningen; i pos-same och neg-same är behandlingsetiketten antingen i linje med semantiskt liknande eller olika bilder; i uniform-inställningen tilldelas behandlingsetiketter slumpmässigt över träningsuppsättningen. Resultat rapporteras med k = 10 för ImageNet, och k = 1 för iNaturalist.

De kraftigaste förvrängningarna orsakades av JPEG-komprimering, följt av skärpning och omstorleksning, medan interpolering endast producerade en liten effekt. Författarna hävdar att dessa resultat visar att behandlingsspår kan överväldiga semantisk information och diktera hur en bild förstås.

I slutsatsen varnar de:

‘Medan vi har identifierat att metadata-etiketter är inbäddade i grundläggande visuella kodare och gett ledtrådar om potentiella orsaker, kan vi inte definitivt peka ut källan till problemet. Att undersöka detta vidare är utmanande på grund av kostnaden för att träna om sådana modeller och det frekventa användandet av privata dataset och opublicerade implementeringsdetaljer.

‘Även om vi inte föreslår specifika mitigationsstrategier, lyfter vi fram frågan som ett viktigt område för framtida forskning.’

Slutsats

I litteraturen finns ett växande forensiskt intresse för spår och tecken på “metod över innehåll”; ju lättare det är att identifiera en ramdomän eller en specifik dataset, desto lättare är det att utnyttja denna information i form av till exempel deepfake-detektorer eller system som är utformade för att kategorisera proveniens eller ålder av data och modeller.

Allt detta strider mot den grundläggande avsikten med att träna AI-modeller, som är att centrala destillerade koncept ska cureras oberoende av produktionssättet och inte ska bära något spår av dem. I själva verket har dataset och kameror egenskaper och domänegenskaper som är effektivt omöjliga att separera från innehåll, eftersom de i sig själva också representerar en “historisk perspektiv”.

* Artikeln är ovanligt formaterad, och vi kommer att anpassa oss till dess ovanliga formatering och presentation så gott vi kan. En stor mängd material som borde ha varit i en (icke-existerande) ‘Metod’-sektion har flyttats till olika delar av appendix, antagligen för att begränsa huvudartikeln till åtta sidor – fast till betydande kostnad för tydlighet. Om vi har missat någon möjlighet att förbättra detta, på grund av brist på tid, ber vi om ursäkt.

Publicerad första gången onsdag, 20 augusti 2025