Le Deepfakes più Piccole potrebbero essere la Minaccia più Grande

Gli strumenti di intelligenza artificiale conversazionale come ChatGPT e Google Gemini sono ora utilizzati per creare deepfakes che non scambiano volti, ma in modi più sottili possono riscrivere l’intera storia all’interno di un’immagine. Cambiando gesti, oggetti e sfondi, questi edit ingannano sia i rilevatori di intelligenza artificiale che gli esseri umani, aumentando le poste in gioco per individuare ciò che è reale online.

Nel clima attuale, in particolare dopo la promulgazione di importanti leggi come l’atto TAKE IT DOWN, molti di noi associano i deepfakes e la sintesi di identità guidata da intelligenza artificiale a pornografia non consensuale e manipolazione politica – in generale, distorsioni grossolane della verità.

Questo ci abitua a pensare che le immagini manipulate dall’intelligenza artificiale debbano sempre essere destinate a contenuti ad alto impatto, dove la qualità del rendering e la manipolazione del contesto possano riuscire a ottenere un colpo di credibilità, almeno nel breve termine.

Storicamente, tuttavia, alterazioni molto più sottili hanno spesso avuto un effetto più sinistro e duraturo – come la fotografia di alta qualità che ha permesso a Stalin di rimuovere coloro che erano caduti in disgrazia dal registro fotografico, come satirizzato nel romanzo di George Orwell 1984, dove il protagonista Winston Smith trascorre i suoi giorni riscrivendo la storia e creando foto, distruggendole e ’emendandole’.

Nell’esempio seguente, il problema con la seconda immagine è che ‘non sappiamo cosa non sappiamo’ – che l’ex capo della polizia segreta di Stalin, Nikolai Yezhov, un tempo occupava lo spazio dove ora c’è solo una barriera di sicurezza:

Ora lo vedi, ora non c’è… La manipolazione fotografica dell’era di Stalin rimuove un membro del partito caduto in disgrazia dalla storia. Fonte: Dominio pubblico, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Correnti di questo tipo, spesso ripetute, persistono in molti modi; non solo culturalmente, ma anche nella visione artificiale, che deriva tendenze da temi e motivi statisticamente dominanti nei set di dati di training. Per dare un esempio, il fatto che gli smartphone abbiano abbassato la barriera all’ingresso e massicciamente abbassato il costo della fotografia, significa che la loro iconografia è diventata ineluttabilmente associata a molti concetti astratti, anche quando ciò non è appropriato.

Se i deepfake convenzionali possono essere percepiti come un atto di ‘aggressione’, le alterazioni perniciose e persistenti minori nei media audiovisivi sono più simili a ‘gaslighting’. Inoltre, la capacità di questo tipo di deepfaking di passare inosservato rende difficile identificarlo tramite sistemi di rilevamento di deepfake di stato dell’arte (che stanno cercando cambiamenti grossolani). Questo approccio è più simile all’acqua che erode la roccia nel corso di un periodo prolungato, piuttosto che a una pietra scagliata contro una testa.

MultiFakeVerse

I ricercatori australiani hanno cercato di affrontare la mancanza di attenzione per il ‘deepfaking sottile’ nella letteratura, curando un nuovo set di dati sostanziale di manipolazioni di immagini centrate sulla persona che alterano il contesto, l’emozione e la narrazione senza cambiare l’identità centrale della persona:

Esempi tratti dalla nuova raccolta, coppie reali/falsi, con alcune alterazioni più sottili di altre. Nota, ad esempio, la perdita di autorità della donna asiatica, in basso a destra, mentre il suo stetoscopio del medico viene rimosso dall’AI. Allo stesso tempo, la sostituzione del blocnotes del medico con il clipboard non ha un ovvio angolo semantico. Fonte: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Intitolata MultiFakeVerse, la raccolta consiste di 845.826 immagini generate tramite modelli di linguaggio visivo (VLM), che possono essere accesse online e scaricate, con permesso.

Gli autori affermano:

‘Questo approccio guidato da VLM consente alterazioni semantiche e consapevoli del contesto, come la modifica di azioni, scene e interazioni uomo-oggetto, piuttosto che scambi di identità sintetici o basso-livello e modifiche specifiche di regioni che sono comuni nei set di dati esistenti.

‘I nostri esperimenti rivelano che i modelli di rilevamento di deepfake di stato dell’arte e gli osservatori umani lottano per rilevare queste manipolazioni sottili ma significative.’

I ricercatori hanno testato sia gli esseri umani che i principali sistemi di rilevamento di deepfake sul loro nuovo set di dati per vedere quanto bene queste manipolazioni sottili potessero essere identificate. I partecipanti umani hanno faticato, classificando correttamente le immagini come reali o false solo circa il 62% delle volte, e hanno avuto ancora più difficoltà a individuare quali parti dell’immagine erano state alterate.

I rilevatori di deepfake esistenti, addestrati principalmente su set di dati di scambio di volti o di inpainting, hanno prestazioni scarse, spesso fallendo nel rilevare che era stata apportata alcuna manipolazione. Anche dopo fine-tuning su MultiFakeVerse, i tassi di rilevamento sono rimasti bassi, esponendo come attualmente i sistemi gestiscano male questi edit narrativi guidati.

Il nuovo articolo è intitolato Multiverse Through Deepfakes: Il set di dati MultiFakeVerse di manipolazioni visive e concettuali centrate sulla persona, e proviene da cinque ricercatori di diverse università in Australia. Il codice e i dati relativi sono stati rilasciati su GitHub, oltre all’hosting Hugging Face menzionato in precedenza.

Metodo

Il set di dati MultiFakeVerse è stato costruito a partire da quattro set di immagini reali che ritraggono persone in situazioni diverse: EMOTIC; PISC, PIPA, e PIC 2.0. A partire da 86.952 immagini originali, i ricercatori hanno prodotto 758.041 versioni manipulate.

I framework Gemini-2.0-Flash e ChatGPT-4o sono stati utilizzati per proporre sei modifiche minime per ogni immagine – modifiche progettate per alterare sottilmente come la persona più prominente nell’immagine sarebbe percepita da un osservatore.

I modelli sono stati istruiti a generare modifiche che avrebbero reso il soggetto apparentemente ingenuo, orgoglioso, pentito, inesperto, o noncurante, o per regolare alcuni elementi fattuali all’interno della scena. Insieme a ogni modifica, i modelli hanno anche prodotto un espressione di riferimento per identificare chiaramente l’obiettivo della modifica, assicurando che il successivo processo di editing potesse applicare le modifiche alla persona o all’oggetto corretto all’interno di ogni immagine.

Gli autori chiariscono:

‘Nota che l’espressione di riferimento è un dominio ampiamente esplorato nella comunità, che significa una frase che può disambiguare l’obiettivo in un’immagine, ad esempio per un’immagine con due uomini seduti a un tavolo, uno che parla al telefono e l’altro che guarda attraverso documenti, un’espressione di riferimento adatta per quest’ultimo sarebbe l’uomo a sinistra che tiene un pezzo di carta.’

Una volta definite le modifiche, la manipolazione effettiva dell’immagine è stata eseguita tramite modelli di linguaggio visivo che applicavano le modifiche specificate lasciando intatta il resto della scena. I ricercatori hanno testato tre sistemi per questo compito: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; e ICEdit.

Dopo aver generato ventiduemila immagini campione, Gemini-2.0-Flash è emerso come il metodo più coerente, producendo modifiche che si fondevano naturalmente nella scena senza introdurre artefatti visibili; ICEdit ha spesso prodotto falsificazioni più ovvie, con difetti evidenti nelle aree alterate; e GPT-Image-1 ha occasionalmente interessato parti non intenzionali dell’immagine, in parte a causa della sua conformità ai rapporti di aspetto di output fissi.

Analisi delle Immagini

Ogni immagine manipolata è stata confrontata con la sua originale per determinare quanto dell’immagine fosse stata alterata. Le differenze a livello di pixel tra le due versioni sono state calcolate, con il rumore casuale filtrato per concentrarsi su modifiche significative. In alcune immagini, solo aree minuscole sono state interessate; in altre, fino all’ottanta percento della scena è stato modificato.

Per valutare quanto il significato di ogni immagine sia cambiato alla luce di queste alterazioni, sono state generate didascalie per entrambe le immagini originali e manipulate utilizzando il modello di linguaggio visivo ShareGPT-4V.

Queste didascalie sono state quindi convertite in embedding utilizzando Long-CLIP, consentendo un confronto di quanto il contenuto sia divergente tra le versioni. I cambiamenti semantici più forti sono stati osservati nei casi in cui gli oggetti vicini o direttamente coinvolti con la persona erano stati alterati, poiché queste piccole modifiche potevano cambiare significativamente come l’immagine veniva interpretata.

Gemini-2.0-Flash è stato quindi utilizzato per classificare il tipo di manipolazione applicata a ogni immagine, in base a dove e come le modifiche sono state apportate. Le manipolazioni sono state raggruppate in tre categorie: modifiche a livello di persona coinvolgevano cambiamenti nell’espressione facciale del soggetto, nella posa, nello sguardo, nel vestiario o in altre caratteristiche personali; modifiche a livello di oggetto hanno interessato oggetti connessi alla persona, come oggetti che tenevano o con cui interagivano in primo piano; e modifiche a livello di scena hanno coinvolto elementi di sfondo o aspetti più ampi dell’ambientazione che non coinvolgevano direttamente la persona.

La pipeline di generazione del set di dati MultiFakeVerse inizia con immagini reali, dove i modelli di linguaggio visivo propongono modifiche narrative che prendono di mira le persone, gli oggetti o le scene. Queste istruzioni vengono quindi applicate da modelli di editing di immagini. Il pannello di destra mostra la proporzione di modifiche a livello di persona, oggetto e scena nel set di dati. Fonte: https://arxiv.org/pdf/2506.00868

Poiché le immagini individuali potevano contenere più tipi di modifiche contemporaneamente, la distribuzione di queste categorie è stata mappata nel set di dati. Circa un terzo delle modifiche ha preso di mira solo la persona, circa un quinto ha interessato solo la scena, e circa un sesto era limitato agli oggetti.

Valutazione dell’Impatto Perceptivo

Gemini-2.0-Flash è stato utilizzato per valutare come le manipolazioni potrebbero alterare la percezione di un osservatore in sei aree: emozione, identità personale, dinamiche di potere, narrativa della scena, intento di manipolazione, e preoccupazioni etiche.

Per emozione, le modifiche sono state spesso descritte con termini come gioiosi, coinvolgenti, o accessibili, suggerendo spostamenti in come i soggetti sono stati inquadrati emotivamente. In termini narrativi, parole come professionale o diverso indicavano cambiamenti nella storia o nell’ambientazione implicita:

Gemini-2.0-Flash è stato istruito per valutare come ogni manipolazione abbia influenzato sei aspetti della percezione dell’osservatore. Sinistra: esempio di struttura di prompt che guida la valutazione del modello. Destra: nuvole di parole che riassumono gli spostamenti in emozione, identità, narrativa della scena, intento, dinamiche di potere e preoccupazioni etiche nel set di dati.

Le descrizioni degli spostamenti di identità includevano termini come più giovane, giocoso, e vulnerabile, mostrando come piccole modifiche potessero influenzare come gli individui erano percepiti. L’intento dietro molte modifiche è stato etichettato come persuasivo, ingannevole, o estetico. Mentre la maggior parte delle modifiche è stata giudicata come sollevante solo preoccupazioni etiche lievi, una piccola frazione è stata vista come portatrice di implicazioni etiche moderate o gravi.

Esempi da MultiFakeVerse che mostrano come piccole modifiche spostino la percezione dell’osservatore. I rettangoli gialli evidenziano le aree alterate, con analisi accompagnatoria dei cambiamenti in emozione, identità, narrativa e preoccupazioni etiche.

Metriche

La qualità visiva della raccolta MultiFakeVerse è stata valutata utilizzando tre metriche standard: Rapporto di segnale a rumore di picco (PSNR); Indice di similarità strutturale (SSIM); e Distanza di inizio di Fréchet (FID):

Punteggi di qualità dell’immagine per MultiFakeVerse misurati da PSNR, SSIM e FID.

Il punteggio SSIM di 0,5774 riflette un grado moderato di similarità, coerente con l’obiettivo di preservare la maggior parte dell’immagine mentre si applicano modifiche mirate; il punteggio FID di 3,30 suggerisce che le immagini generate mantengono una qualità e diversità elevate; e un valore PSNR di 66,30 decibel indica che le immagini mantengono una buona fedeltà visiva dopo la manipolazione.

Studio Utente

Uno studio utente è stato condotto per vedere quanto bene le persone potessero individuare i falsi sottili in MultiFakeVerse. Diciotto partecipanti sono stati mostrati cinquanta immagini, equamente divise tra esempi reali e manipolati che coprivano una gamma di tipi di modifiche. Ogni persona è stata chiesta di classificare se l’immagine era reale o falsa, e, se falsa, di identificare che tipo di manipolazione era stata applicata.

La precisione complessiva per decidere reale o falso è stata del 61,67%, il che significa che i partecipanti hanno classificato male le immagini più di un terzo delle volte.

Gli autori affermano:

‘Analizzando le previsioni umane dei livelli di manipolazione per le immagini false, l’intersezione media tra le previsioni e i livelli di manipolazione effettivi è stata trovata essere del 24,96%.

‘Ciò mostra che non è banale per gli osservatori umani identificare le aree di manipolazione nel nostro set di dati.’

La creazione del set di dati MultiFakeVerse ha richiesto risorse computazionali estese: per la generazione di istruzioni di modifica, oltre 845.000 chiamate API sono state effettuate a modelli Gemini e GPT, con questi compiti di prompt che sono costati circa 1000 dollari; la produzione di immagini basate su Gemini è costata circa 2867 dollari; e la generazione di immagini utilizzando GPT-Image-1 è costata circa 200 dollari. Le immagini ICEdit sono state create localmente su un’unità GPU NVIDIA A6000, completando il compito in circa ventiquattro ore.

Test

Prima dei test, il set di dati è stato diviso in set di training, convalida e test, selezionando prima il 70% delle immagini reali per l’addestramento; il 10% per la convalida; e il 20% per il test. Le immagini manipulate generate da ogni immagine reale sono state assegnate allo stesso set della loro immagine originale.

Ulteriori esempi di contenuto reale (sinistra) e alterato (destra) dal set di dati.

La prestazione nel rilevamento di falsi è stata misurata utilizzando l’accuratezza a livello di immagine (se il sistema classifica correttamente l’intera immagine come reale o falsa) e punteggio F1. Per la localizzazione delle aree manipulate, la valutazione ha utilizzato Area Under the Curve (AUC), punteggio F1 e intersezione su unione (IoU).

Il set di dati MultiFakeVerse è stato utilizzato contro i principali sistemi di rilevamento di deepfake sul set di test completo, con i framework rivali che sono CnnSpot; AntifakePrompt; TruFor; e il modello basato su linguaggio visivo SIDA. Ogni modello è stato valutato in modalità zero-shot, utilizzando i suoi pesi pre-addestrati originali senza ulteriori aggiustamenti.

Due modelli, CnnSpot e SIDA, sono stati quindi fine-tuned sui dati di training di MultiFakeVerse per valutare se il riaddestramento migliorava le prestazioni.

Risultati di rilevamento di deepfake su MultiFakeVerse in condizioni zero-shot e fine-tuned. I numeri tra parentesi mostrano i cambiamenti dopo il fine-tuning.

Di questi risultati, gli autori affermano:

‘[I] modelli addestrati su falsi di inpainting precedenti lottano per identificare le nostre falsificazioni basate su VLM, in particolare, CNNSpot tende a classificare quasi tutte le immagini come reali. AntifakePrompt ha la migliore prestazione zero-shot con un’accuratezza media class-wise del 66,87% e un punteggio F1 del 55,55%.

‘Dopo il fine-tuning sul nostro set di training, osserviamo un miglioramento delle prestazioni sia in CNNSpot che in SIDA-13B, con CNNSpot che supera SIDA-13B in termini di accuratezza media class-wise (del 1,92%) e punteggio F1 (del 1,97%).’

SIDA-13B è stato valutato su MultiFakeVerse per misurare quanto precisamente potesse localizzare le aree manipulate all’interno di ogni immagine. Il modello è stato testato sia in modalità zero-shot che dopo il fine-tuning sul set di dati.

Nella sua condizione originale, ha raggiunto un punteggio di intersezione su unione di 13,10, un punteggio F1 di 19,92 e un’AUC di 14,06, riflettendo una prestazione di localizzazione debole.

Dopo il fine-tuning, i punteggi sono migliorati a 24,74 per IoU, 39,40 per F1 e 37,53 per AUC. Tuttavia, anche con ulteriore addestramento, il modello ha ancora avuto difficoltà a trovare esattamente dove le modifiche erano state apportate, evidenziando quanto sia difficile rilevare questo tipo di piccole modifiche mirate.

Conclusione

Il nuovo studio espone un punto cieco sia nella percezione umana che in quella della macchina: mentre gran parte del dibattito pubblico sui deepfake si è concentrata su scambi di identità di alto profilo, questi ‘edit narrativi’ più silenziosi sono più difficili da rilevare e potenzialmente più corrosivi nel lungo termine.

Man mano che sistemi come ChatGPT e Gemini svolgono un ruolo più attivo nella generazione di questo tipo di contenuto, e man mano che noi stessi partecipiamo sempre più alla modifica della realtà dei nostri flussi di foto, i modelli di rilevamento che si affidano all’individuazione di manipolazioni grossolane potrebbero offrire una difesa inadeguata.

Ciò che MultiFakeVerse dimostra non è che il rilevamento ha fallito, ma che almeno una parte del problema potrebbe stare spostandosi in una forma più difficile e più lenta: una in cui piccole bugie visive si accumulano inosservate.

Pubblicato per la prima volta giovedì, 5 giugno 2025