L’AI potrebbe segretamente classificare le immagini in base al marchio del dispositivo, non al contenuto

Una nuova ricerca ha scoperto che i sistemi di intelligenza artificiale basati su immagini non guardano solo cosa c’è nella foto, ma anche come è stata scattata. Dettagli nascosti come il tipo di fotocamera o la qualità dell’immagine possono influenzare silenziosamente cosa pensa l’AI, portando a risultati errati – solo perché la foto proveniva da un dispositivo diverso.

Nel 2012 è stato rivelato che un sito web di viaggi mostrava regolarmente prezzi più alti agli utenti che potevano essere identificati come utenti di dispositivi Apple, associando il marchio Apple (AAPL ) a una maggiore potenza di spesa. Un’indagine successiva ha concluso che questo tipo di “annusamento del portafoglio” basato sul dispositivo era diventato quasi routine per i siti di e-commerce.

Allo stesso modo, è possibile dedurre quale smartphone o dispositivo di cattura ha scattato una particolare fotografia attraverso metodi forensi, sulla base delle caratteristiche note di un numero limitato di lenti nei modelli. In tali casi, il modello del dispositivo di cattura viene solitamente stimato attraverso tracce visive; e, come nel caso del 2012, sapere quale tipo di fotocamera ha scattato un’immagine è una caratteristica potenzialmente sfruttabile

Sebbene i dispositivi di cattura tendano a incorporare metadati significativi nelle immagini, questa funzione può spesso essere disattivata dagli utenti; anche quando è lasciata attiva, le piattaforme di distribuzione come i social network possono rimuovere alcuni o tutti i metadati, per motivi logistici o di privacy, o entrambi.

Tuttavia, i metadati nelle immagini caricate dagli utenti sono frequentemente ri-scritti/interpretati (anziché cancellati) o lasciati intatti, come fonte secondaria di informazioni non su cosa c’è nell’immagine, ma su come è stata scattata. Come ha rivelato il caso del 2012, informazioni di questo tipo possono essere preziose – non solo per le piattaforme commerciali, ma anche, potenzialmente, per gli hacker e gli attori malintenzionati.

Due prospettive

Una nuova collaborazione di ricerca tra il Giappone e la Repubblica Ceca ha scoperto che le tracce lasciate dalla fotocamera e dall’elaborazione dell’immagine (come la qualità JPEG o il ritocco della lente) non sono solo rilevabili dagli strumenti forensi, ma sono anche silenziosamente codificate nella ‘comprensione globale’ dei principali modelli di visione AI.

Questo include CLIP e altri grandi codificatori visivi, ampiamente utilizzati in tutto, dai motori di ricerca alla moderazione dei contenuti. Il nuovo lavoro dimostra che questi modelli non interpretano solo cosa c’è nell’ immagine, ma possono anche apprendere come è stata creata; e questo segnale nascosto può a volte sovrastare il contenuto visibile.

Esempi di immagini accoppiate dal dataset PairCams degli autori, creato per testare come il tipo di fotocamera influenzi i modelli di immagine AI. Ogni coppia mostra lo stesso oggetto o scena fotografata nello stesso momento utilizzando una fotocamera non smartphone (sinistra) e uno smartphone (destra). Fonte: https://arxiv.org/pdf/2508.10637

Lo studio afferma che anche quando i modelli AI vengono forniti di versioni pesantemente mascherate o ritagliate dell’immagine, possono ancora indovinare il marchio e il modello della fotocamera con sorprendente accuratezza. Ciò significa che lo spazio di rappresentazione che questi sistemi utilizzano per giudicare la somiglianza delle immagini può diventare intrecciato con fattori irrilevanti, come il dispositivo dell’utente, con conseguenze imprevedibili.

Ad esempio, in compiti a valle come la classificazione o il recupero di immagini, questo indesiderabile “peso” può far sì che il sistema favorisca determinati tipi di fotocamera, indipendentemente da cosa mostrino le immagini.

Il documento afferma:

‘Le etichette dei metadati che lasciano tracce nei codificatori visivi al punto di oscurare le informazioni semantiche possono portare a risultati imprevedibili, compromettendo la generalizzabilità, la robustezza e potenzialmente minacciando l’affidabilità dei modelli.

‘Ancor più criticamente, questo effetto potrebbe essere sfruttato in modo malintenzionato; ad esempio, un attacco adversario potrebbe manipolare i metadati per intenzionalmente ingannare o fuorviare un modello, ponendo rischi in domini sensibili come la sanità, la sorveglianza o i sistemi autonomi.’

Il documento trova che i sistemi CVL (Contrastive Visual-Language) come CLIP, ora uno dei codificatori più influenti nella visione computerizzata, sono particolarmente propensi a ottenere tali inferenze dai dati:

Risultati di ricerca per un’immagine di query, mostrando come i modelli di base classificano immagini simili in base non solo al contenuto visivo, ma anche ai metadati nascosti come la compressione JPEG o il modello della fotocamera. La figura riflette l’affermazione degli autori che sia le etichette semantiche che quelle dei metadati plasmano lo spazio di rappresentazione del modello, alterando a volte i risultati di recupero.

Il nuovo documento si intitola Tracce di elaborazione e acquisizione in codificatori visivi: Cosa sa CLIP della tua fotocamera?, e proviene da sei ricercatori dell’Università di Osaka e dell’Università Tecnica Ceca di Praga.

Metodo e dati*

Per testare l’influenza dei metadati nascosti sui codificatori visivi come CLIP, gli autori hanno lavorato con due categorie di metadati: parametri di elaborazione dell’immagine (come la compressione JPEG o il ritocco) e parametri di acquisizione (come il modello della fotocamera o le impostazioni di esposizione).

Al posto di addestrare nuovi modelli, i ricercatori hanno valutato 47 codificatori visivi ampiamente utilizzati nel loro stato congelato e pre-addestrato, compresi modelli di visione-linguaggio contrastivi come CLIP, modelli auto-supervisionati come DINO, e reti convenzionalmente supervisionate.

Per i parametri di elaborazione, i ricercatori hanno applicato trasformazioni controllate ai dataset ImageNet e iNaturalist 2018, comprese sei livelli di compressione JPEG, tre impostazioni di ritocco, tre scale di ridimensionamento e quattro metodi di interpolazione.

Esempi di immagini e annotazioni associate dal dataset iNaturalist. Fonte: https://arxiv.org/pdf/1707.06642

I modelli sono stati testati sulla loro capacità di recuperare ogni impostazione di trasformazione utilizzando solo il contenuto dell’immagine, con previsioni di successo che indicano che il codificatore mantiene informazioni su queste scelte di elaborazione nella sua rappresentazione interna.

Per esaminare i parametri di acquisizione, i ricercatori hanno compilato un dataset di 356.459 immagini chiamato FlickrExif, contenente metadati Exif preservati, e hanno costruito un secondo dataset chiamato PairCams, composto da 730 coppie di immagini scattate simultaneamente con uno smartphone e una fotocamera non smartphone.

Il dataset FlickrExif è stato costruito utilizzando l’API di Flickr per scaricare immagini con metadati Exif. Tra 2.000 e 4.000 immagini sicure per il lavoro sono state raccolte per mese, datate dall’inizio del 2000 alla metà del 2024, e filtrate per includere solo quelle con licenze permissive. Per prevenire la sovrarappresentazione da parte di utenti prolifici, ogni contributore individuale è stato limitato a dieci immagini per mese per ogni anno dato.

Per il dataset PairCams, ogni foto è stata scattata utilizzando impostazioni automatiche e senza flash, consentendo un confronto di come i codificatori visivi rispondono alle differenze nel hardware della fotocamera da solo, indipendentemente dal contenuto dell’immagine:

Ulteriori esempi dal dataset PairCams curato dagli autori.

Gli autori hanno testato due set di parametri: parametri di elaborazione dell’immagine, come la compressione e le trasformazioni di colore; e parametri di acquisizione, come il modello della fotocamera o le impostazioni di esposizione:

Parametri di elaborazione e acquisizione dell’immagine analizzati, con numero di classi per ciascuno.

Test

Per determinare se le informazioni sull’elaborazione dell’immagine e sul tipo di fotocamera sono conservate all’interno delle rappresentazioni dei modelli, gli autori hanno addestrato un classificatore per prevedere direttamente le etichette dei metadati da quelle rappresentazioni. Se il classificatore avesse eseguito una previsione casuale, sarebbe stato un segno che i dettagli sull’elaborazione o sul dispositivo non sono catturati dal modello.

Tuttavia, qualsiasi prestazione al di sopra del caso avrebbe indicato che queste tracce tecniche sono effettivamente codificate e potrebbero influenzare i compiti a valle.

Per testare le tracce di elaborazione, gli autori hanno assegnato a ogni immagine di addestramento un’impostazione di elaborazione casuale, come un particolare livello di compressione JPEG, mentre tutte le immagini di test in un batch condividevano la stessa impostazione.

La precisione di classificazione media su tutti gli ambienti è stata poi combinata con prove ripetute sotto diversi semi casuali, in modo che potesse essere determinato se i dettagli tecnici dell’elaborazione dell’immagine sono costantemente catturati nella rappresentazione interna del modello:

Precisione di classificazione per la previsione dei parametri di elaborazione dell’immagine dai codificatori, utilizzando un classificatore lineare applicato a modelli congelati. I risultati sono mostrati per la compressione JPEG, il ritocco, il ridimensionamento e l’interpolazione, con tre categorie di modelli, visione-linguaggio contrastiva (arancione), supervisionata (verde) e auto-supervisionata (blu), valutati su ImageNet (prima riga) e iNaturalist 2018 (seconda riga). Le linee tratteggiate rappresentano i valori di previsione casuale.

Attraverso tutti e quattro i parametri di elaborazione, i modelli di visione-linguaggio contrastiva hanno mostrato la maggiore capacità di riconoscere le manipolazioni nascoste delle immagini. Alcuni di questi modelli hanno raggiunto più del 80% di accuratezza nel prevedere le impostazioni di compressione JPEG, ritocco e ridimensionamento dai codificatori di ImageNet.

I codificatori supervisionati, in particolare quelli basati su ConvNeXt, hanno anche eseguito una prestazione forte, mentre i modelli auto-supervisionati sono stati costantemente più deboli.

L’interpolazione è stato il parametro più difficile da rilevare, eppure i migliori modelli CVL e supervisionati hanno comunque raggiunto risultati ben al di sopra della soglia casuale del 25% su entrambi i dataset.

Successivamente, per testare se le informazioni sulla fotocamera sono incorporate nelle rappresentazioni del modello, gli autori hanno creato set di addestramento e test separati per ogni parametro di acquisizione (come il modello della fotocamera o le impostazioni di esposizione).

Per la maggior parte dei parametri, solo le classi con almeno 5.000 esempi sono state utilizzate; 500 immagini sono state selezionate casualmente per il test, e gli esempi rimanenti sono stati campionati in modo che ogni classe avesse 200 campioni di addestramento. Per i parametri “modello (tutti)” e “modello (smart)”, che avevano meno dati per classe, gli autori hanno invece utilizzato classi con almeno 500 immagini, e hanno diviso ogni classe in subset di addestramento e test in un rapporto di quattro a uno.

I fotografi sono stati mantenuti separati attraverso i set di addestramento, convalida e test, e un semplice classificatore è stato addestrato per prevedere le informazioni sulla fotocamera in base alle caratteristiche dell’immagine.

Per assicurarsi che il classificatore non fosse influenzato dal contenuto semantico delle immagini, il 90% di ogni immagine è stato mascherato al centro (vedi esempi sotto). Gli autori affermano che a questo livello di mascheramento, tutti i codificatori visivi eseguono vicino alla casualità su ImageNet, indicando che il segnale semantico è stato efficacemente soppresso:

Precisione di classificazione di ImageNet in funzione del rapporto di mascheramento. Al 90% di mascheramento, tutti i modelli scendono a una prestazione vicina alla casualità nella previsione delle etichette semantiche, indicando che i suggerimenti semantici sono stati efficacemente rimossi. Le immagini di esempio in basso illustrano i livelli di mascheramento.

Anche con il 90% di ogni immagine mascherato, la maggior parte dei modelli di visione-linguaggio contrastiva e i codificatori ConvNeXt supervisionati hanno ancora previsto le etichette correlate alla fotocamera a livelli ben al di sopra della casualità. Molti modelli CVL hanno superato il 70% di accuratezza nel distinguere le immagini scattate con smartphone da quelle scattate con fotocamere non smartphone.

Altri codificatori supervisionati, SigLIP, e tutti i modelli auto-supervisionati hanno eseguito una prestazione molto più debole. Quando non è stato applicato alcun mascheramento, i modelli CVL hanno nuovamente mostrato la maggiore capacità di clustering per tipo di fotocamera, confermando che questi modelli incorporano informazioni di acquisizione più profondamente degli altri:

Visualizzazioni t-SNE per due codificatori visivi, con colori che indicano se ogni immagine è stata scattata con uno smartphone o una fotocamera non smartphone.

Significato a valle

Avendo stabilito che i metadati influenzano i modelli in questo modo, la tendenza delle tracce di elaborazione nascoste a interferire con l’interpretazione dell’immagine è stata poi valutata.

Quando due versioni della stessa immagine sono state elaborate in modo diverso, le rappresentazioni sono state spesso organizzate in base allo stile di elaborazione piuttosto che al contenuto. In diversi casi, una foto di un cane fortemente compressa è stata trattata come più simile a un’immagine non correlata con la stessa impostazione di compressione piuttosto che alla sua versione non compressa:

Impatto dei parametri di elaborazione sulla previsione semantica, con accuratezza di classificazione semantica per ImageNet (in alto) e iNaturalist (in basso) sotto cinque impostazioni di elaborazione. Nella baseline, tutte le immagini di addestramento e di test condividono lo stesso etichetta di elaborazione; nell’impostazione ‘tutti diversi’, l’immagine di test utilizza un valore di elaborazione non presente nel set di addestramento; in ‘positivo-uguale’ e ‘negativo-uguale’, l’etichetta di elaborazione è allineata con immagini semanticamente simili o dissimili; nell’impostazione ‘uniforme’, le etichette di elaborazione sono assegnate casualmente in tutto il set di addestramento. I risultati sono riportati utilizzando k = 10 per ImageNet e k = 1 per iNaturalist.

I distorti più forti sono stati causati dalla compressione JPEG, seguiti dal ritocco e dal ridimensionamento, mentre l’interpolazione ha prodotto solo un effetto minore. Gli autori affermano che questi risultati dimostrano che le tracce di elaborazione possono sovrastare le informazioni semantiche e dettare come un’immagine è compresa.

In conclusione, essi avvertono:

‘Mentre abbiamo identificato che le etichette dei metadati sono codificate nei codificatori visivi fondamentali e abbiamo fornito indizi sui possibili motivi, non possiamo definitivamente individuare la fonte del problema. Investigare ulteriormente è difficile a causa del costo di riaddestrare tali modelli e dell’uso frequente di dataset privati e dettagli di implementazione non divulgati.

‘Sebbene non proponiamo tecniche di mitigazione specifiche, evidenziamo il problema come un’area importante per future ricerche.’

Conclusione

Nella letteratura c’è un crescente interesse forense riguardo alle tracce e ai segni del “metodo sul contenuto”; più è facile identificare un dominio di inquadramento o un dataset specifico, più è facile sfruttare queste informazioni sotto forma di, ad esempio, rilevatori di deepfake o sistemi progettati per categorizzare la provenienza o l’età dei dati e dei modelli.

Tutto ciò va contro l’intento principale dell’addestramento dei modelli di intelligenza artificiale, che è quello di curare concetti centrali distillati in modo indipendente dai mezzi di produzione e che non portino traccia di essi. In realtà, i dataset e i dispositivi di cattura hanno caratteristiche e tratti di dominio che sono effettivamente impossibili da separare dal contenuto, poiché rappresentano essi stessi una “prospettiva storica”.

* Il documento è strutturato in modo non convenzionale, e ci adatteremo al meglio alla sua insolita formattazione e presentazione. Una grande quantità di materiale che avrebbe dovuto essere in una (inesistente) sezione ‘Metodo’ è stata spostata in diverse parti dell’appendice, presumibilmente per limitare il documento principale a otto pagine – sebbene a un costo considerevole in termini di chiarezza. Se abbiamo perso qualsiasi opportunità di migliorare questo, a causa della mancanza di tempo, ci scusiamo.

Pubblicato per la prima volta mercoledì, 20 agosto 2025