Un sistema di rilevamento per framework di sintesi di immagini come DALL-E 2

Una nuova ricerca dell’Università della California a Berkeley offre un metodo per determinare se l’output dei nuovi framework di sintesi di immagini – come Open AI’s DALL-E 2 e Google’s Imagen e Parti – può essere rilevato come ‘non reale’, studiando la geometria, le ombre e le riflessioni che appaiono nelle immagini sintetizzate.

Studiando le immagini generate da prompt di testo in DALL-E 2, i ricercatori hanno scoperto che, nonostante la realismo impressionante di cui l’architettura è capace, alcune inconsistenti persistenti si verificano relative alla rappresentazione della prospettiva globale, alla creazione e alla disposizione delle ombre e, in particolare, alla rappresentazione di oggetti riflessi.

Il paper afferma:

‘[Le] strutture geometriche, le ombre e le riflessioni in superfici speculari non sono completamente coerenti con la geometria prospettica attesa delle scene naturali. Le strutture geometriche e le ombre sono, in generale, localmente coerenti, ma globalmente incoerenti.

‘Le riflessioni, d’altra parte, sono spesso rappresentate in modo implausibile, presumibilmente perché sono meno comuni nel set di dati di addestramento.’

Una mancanza di intersezioni coerenti tra l’oggetto rappresentato e la rappresentazione della sua riflessione è attualmente un modo affidabile per rilevare un’immagine DALL-E 2, secondo il nuovo studio. Fonte: https://arxiv.org/pdf/2206.14617.pdf

Il paper rappresenta un primo tentativo di esplorare ciò che potrebbe eventualmente diventare un filone notevole nella comunità di ricerca sulla visione artificiale – il rilevamento della sintesi di immagini.

Dal 2017, con l’avvento dei deepfake, il rilevamento dei deepfake (principalmente dell’output dell’autoencoder da pacchetti come DeepFaceLab e FaceSwap) è diventato un filone accademico attivo e competitivo, con vari paper e metodologie che si concentrano sui “segni” evolutivi delle immagini sintetizzate in filmati video reali.

Tuttavia, fino all’emergere recente di architetture di sintesi iperscalabili, l’output dei sistemi di generazione di immagini basati su prompt di testo come CLIP non rappresentava una minaccia per lo status quo della “fotorealtà”. Gli autori del nuovo paper ritengono che ciò stia per cambiare e che anche le inconsistenti che hanno scoperto nell’output di DALL-E 2 potrebbero non fare molta differenza per la capacità delle immagini di ingannare gli spettatori.

Gli autori affermano*:

‘[Tali] fallimenti potrebbero non essere importanti per il sistema visivo umano, che è stato trovato essere sorprendentemente inetto in alcuni giudizi geometrici, tra cui le incoerenze nella illuminazione, le ombre, le riflessioni, la posizione di visione e la distorsione prospettica.’

Credibilità svanente

Il primo esame forense degli autori sull’output di DALL-E 2 si riferisce alla proiezione prospettica – il modo in cui la posizione dei bordi retti negli oggetti vicini e nelle texture dovrebbe risolversi uniformemente in un “punto di fuga”.

A sinistra, le linee parallele sullo stesso piano si risolvono in un punto di fuga comune; a destra, più punti di fuga sullo stesso e piani paralleli definiscono una linea di fuga (rappresentata in rosso).

Per testare la coerenza di DALL-E 2 in questo senso, gli autori hanno utilizzato DALL-E 2 per generare 25 immagini sintetizzate di cucine – uno spazio familiare che, anche in abitazioni ben arredate, è generalmente abbastanza confinato da fornire più punti di fuga per una gamma di oggetti e texture.

Esaminando l’output del prompt ‘una foto di una cucina con un pavimento in piastrelle’, i ricercatori hanno scoperto che, nonostante una rappresentazione generalmente convincente in ogni caso (ad eccezione di alcuni strani artifact minori non correlati alla prospettiva), gli oggetti rappresentati non sembrano convergere correttamente.

Gli autori notano che, mentre ogni insieme di linee parallele dal pattern delle piastrelle sono coerenti e si intersecano in un unico punto di fuga (blu nell’immagine seguente), il punto di fuga per il bancone (ciano) non è d’accordo con entrambe le linee di fuga (rosse) e il punto di fuga derivato dalle piastrelle.

Gli autori osservano che, anche se il bancone non fosse parallelo alle piastrelle, il punto di fuga ciano dovrebbe risolversi nella (rossa) linea di fuga definita dai punti di fuga delle piastrelle del pavimento.

Il paper afferma:

‘Mentre la prospettiva in queste immagini è – impressionantemente – localmente coerente, non è globalmente coerente. Questo stesso pattern è stato trovato in ogni immagine di cucina sintetizzata.’

Forensica delle ombre

Come chiunque abbia mai lavorato con il ray-tracing sa, le ombre hanno anche punti di fuga, che indicano un’illuminazione singola o multi-sorgente. Per le ombre esterne in luce solare diretta, ci si aspetterebbe che le ombre in tutta l’immagine si risolvano coerentemente in un’unica fonte di luce (il sole).

Come nel precedente esperimento, i ricercatori hanno creato 25 immagini DALL-E 2 con il prompt ‘tre cubi su un marciapiede fotografati in una giornata soleggiata’, oltre a ulteriori 25 con il prompt ‘‘tre cubi su un marciapiede fotografati in una giornata nuvolosa’.

Nella riga superiore, immagini create dal prompt dei ricercatori ‘tre cubi su un marciapiede fotografati in una giornata nuvolosa’; nella riga inferiore, immagini create dal prompt ‘tre cubi su un marciapiede fotografati in una giornata soleggiata’.

I ricercatori notano che, quando rappresentano condizioni nuvolose, DALL-E 2 è in grado di rendere le ombre più diffuse associate in modo convincente e plausibile, forse perché questo tipo di ombra è più probabile che sia presente nel set di dati di addestramento.

Tuttavia, alcune delle ‘foto soleggiate’ degli autori hanno scoperto che erano incoerenti con una scena illuminata da una singola fonte di luce.

Per l’immagine sopra, le generazioni sono state convertite in scala di grigi per chiarezza e mostrano ogni oggetto con il proprio ‘sole’ dedicato.

Sebbene lo spettatore medio potrebbe non notare tali anomalie, alcune delle immagini generate avevano esempi più manifesti di ‘fallimento dell’ombra’:

Mentre alcune delle ombre sono semplicemente nel posto sbagliato, molte di esse, interessantemente, corrispondono al tipo di discrepanza visiva prodotta nel modelling CGI quando la frequenza di campionamento per una luce virtuale è troppo bassa.

Riflessioni in DALL-E 2

I risultati più dannosi in termini di analisi forense sono arrivati quando gli autori hanno testato la capacità di DALL-E 2 di creare superfici altamente riflettenti, che è un calcolo oneroso anche nell’algorithmia di ray-tracing e in altri algoritmi di rendering tradizionali.

Per questo esperimento, gli autori hanno prodotto 25 immagini DALL-E 2 con il prompt ‘una foto di un dinosauro giocattolo e della sua riflessione in uno specchio da toeletta’.

In tutti i casi, gli autori segnalano che l’immagine speculare del dinosauro rappresentato era in qualche modo disconnessa dall’aspetto e dalla disposizione del ‘vero’ dinosauro giocattolo. Gli autori affermano che il problema era resistente alle variazioni nel prompt di testo e sembra essere una debolezza fondamentale nel sistema.

Sembra esserci una logica in alcuni degli errori – il primo e il terzo esempio nella riga superiore sembrano mostrare un dinosauro che è duplicato molto bene, ma non riflesso.

Gli autori commentano:

‘A differenza delle ombre e delle strutture geometriche nelle sezioni precedenti, DALL·E-2 fatica a sintetizzare riflessioni plausibili, presumibilmente perché tali riflessioni sono meno comuni nel set di dati di addestramento.’

Gli errori come questi potrebbero essere risolti in futuri modelli di testo-immagine in grado di esaminare più efficacemente la logica semantica generale del loro output e di imporre regole fisiche astratte su scene che sono state, in una certa misura, assemblate da caratteristiche pertinenti alle parole nel sistema dello spazio latente.

Alla luce di una tendenza crescente verso architetture di sintesi sempre più grandi, gli autori concludono:

‘[Potrebbe] essere solo questione di tempo prima che i motori di sintesi di immagini basati su testo imparino a rendere immagini con una coerenza prospettica completa. Fino ad allora, tuttavia, le analisi forensi geometriche potrebbero essere utili nell’analizzare queste immagini.’

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta il 30 giugno 2022.