Codifica di immagini contro l’uso in sistemi di sintesi di immagini e deepfake

La linea di ricerca più conosciuta nel settore in crescita della ricerca anti-deepfake coinvolge sistemi in grado di riconoscere artefatti o altre caratteristiche distintive di volti deepfaked, sintetizzati o falsificati in contenuti video e immagini.

Questi approcci utilizzano una varietà di tattiche, tra cui rilevamento della profondità, interruzione della regolarità del video, variazioni nell’illuminazione del monitor (in potenziali videochiamate deepfaked), caratteristiche biometriche, regioni del viso esterne e persino i poteri nascosti del sistema subconscio umano.

Ciò che questi, e metodi simili, hanno in comune è che, una volta dispiegati, i meccanismi centrali che stanno combattendo hanno già subito un addestramento di successo su migliaia o centinaia di migliaia di immagini raccolte dal web – immagini da cui i sistemi autoencoder possono facilmente derivare caratteristiche chiave e creare modelli che possono imporre falsamente un’identità in filmati video o immagini sintetizzate – anche in tempo reale.

In breve, una volta che tali sistemi sono attivi, il cavallo è già scappato.

Immagini ostili alle architetture di sintesi di immagini e deepfake

Attraverso un atteggiamento più preventivo nei confronti della minaccia dei deepfake e della sintesi di immagini, un filone di ricerca meno conosciuto in questo settore coinvolge le possibilità insite nel rendere tutte quelle foto sorgente non amichevoli nei confronti dei sistemi di sintesi di immagini AI, di solito in modi impercettibili o appena percettibili.

Esempi includono FakeTagger, una proposta del 2021 da varie istituzioni negli Stati Uniti e in Asia, che codifica messaggi all’interno delle immagini; questi codici sono resistenti al processo di generalizzazione e possono essere successivamente recuperati anche dopo che le immagini sono state raccolte dal web e addestrate in una rete generativa avversariale (GAN) del tipo più famosamente incarnato da thispersondoesnotexist.com e dai suoi numerosi derivati.

FakeTagger codifica informazioni che possono sopravvivere al processo di generalizzazione quando si addestra una GAN, rendendo possibile sapere se una particolare immagine abbia contribuito alle capacità generative del sistema. Fonte: https://arxiv.org/pdf/2009.09869.pdf

Per ICCV 2021, un altro sforzo internazionale ha istituito impronte digitali artificiali per modelli generativi, (vedi immagine sotto) che produce ancora ‘impronte’ recuperabili dall’output di una GAN di sintesi di immagini come StyleGAN2.

Anche sotto una varietà di manipolazioni estreme, ritagli e sostituzioni del viso, le impronte passate attraverso ProGAN rimangono recuperabili. Fonte: https://arxiv.org/pdf/2007.08457.pdf

Altre iterazioni di questo concetto includono un progetto del 2018 da IBM e uno schema di watermarking digitale nello stesso anno, dal Giappone.

Più innovativamente, un iniziativa del 2021 dall’Università di Aeronautica e Astronautica di Nanjing ha cercato di ‘criptare’ le immagini di addestramento in modo che si addestrassero efficacemente solo su sistemi autorizzati, ma fallissero catastroficamente se utilizzate come dati sorgente in una pipeline di addestramento di sintesi di immagini generica.

Effettivamente, tutti questi metodi rientrano nella categoria della steganografia, ma in tutti i casi le informazioni di identificazione univoche nelle immagini devono essere codificate come una ‘caratteristica’ essenziale dell’immagine in modo che non ci sia alcuna possibilità che un’architettura autoencoder o GAN scarti tali impronte come ‘rumore’ o dati non essenziali, ma le codifichi insieme ad altre caratteristiche del viso.

Allo stesso tempo, il processo non può essere consentito di distorcere o influenzare visivamente l’immagine in modo tale che sia percepita da spettatori casuali come difettosa o di bassa qualità.

TAFIM

Ora, uno sforzo di ricerca tedesco (dall’Università Tecnica di Monaco e Sony Europe RDC Stuttgart) ha proposto una tecnica di codifica delle immagini in base alla quale i modelli deepfake o le strutture di tipo StyleGAN addestrate su immagini elaborate produrranno un output inutilizzabile blu o bianco, rispettivamente.

Le perturbazioni a basso livello di TAFIM affrontano diversi tipi possibili di distorsione/sostituzione del viso, costringendo i modelli addestrati sulle immagini a produrre un output distorto e, secondo gli autori, applicabile anche in scenari in tempo reale come lo streaming di deepfake in tempo reale di DeepFaceLive. Fonte: https://arxiv.org/pdf/2112.09151.pdf

Il documento, intitolato TAFIM: Attacchi avversari mirati contro la manipolazione di immagini del viso, utilizza una rete neurale per codificare perturbazioni appena percettibili all’interno delle immagini. Dopo che le immagini sono state addestrate e generalizzate in un’architettura di sintesi, il modello risultante produrrà un output discolorato per l’identità di input se utilizzato in mixing di stili o sostituzione del viso diretta.

Ricodifica del web..?

Tuttavia, in questo caso, non siamo qui per esaminare i dettagli e l’architettura dell’ultima versione di questo concetto popolare, ma piuttosto per considerare la praticità dell’intera idea – in particolare alla luce della crescente controversia sull’uso di immagini pubblicamente raccolte per alimentare framework di sintesi di immagini come Stable Diffusion, e le successive implicazioni giuridiche a valle del derivare software commerciali da contenuti che possono (almeno in alcune giurisdizioni) dimostrarsi protetti da leggi contro l’ingestione in architetture di sintesi AI.

Approcci proattivi basati sulla codifica, del tipo descritto sopra, comportano un costo non trascurabile. Almeno, richiederebbero l’istituzione di nuove e prolungate routine di compressione all’interno delle librerie di elaborazione web standard come ImageMagick, che alimentano un gran numero di processi di caricamento, comprese molte interfacce di caricamento dei social media, incaricate di convertire immagini originali troppo grandi degli utenti in versioni ottimizzate più adatte per la condivisione leggera e la distribuzione di rete, e anche per effettuare trasformazioni come ritagli e altri aumenti.

La questione principale che questo solleva è: se un tale schema sarebbe implementato ‘in futuro’, o se si intende un’implementazione più ampia e retroattiva, che affronti i media storici che potrebbero essere stati disponibili, ‘non corrotti’, per decenni?

Piattaforme come Netflix non sono avverse alla spesa di ricodifica di un catalogo con nuovi codec che potrebbero essere più efficienti o potrebbero fornire benefici agli utenti o ai fornitori; allo stesso modo, la conversione di YouTube del suo contenuto storico nel codec H.264, apparentemente per accomodare Apple TV, un compito logisticamente monumentale, non è stato considerato proibitivamente difficile, nonostante la scala.

Ironicamente, anche se grandi porzioni di contenuti multimediali su Internet diventassero soggette a ricodifica in un formato che resiste all’addestramento, il limitato insieme di dataset di visione computerizzata influente rimarrebbe invariato. Tuttavia, presumibilmente, i sistemi che li utilizzano come dati upstream inizierebbero a diminuire nella qualità dell’output, poiché il contenuto con marchi d’acqua interferirebbe con i processi trasformativi delle architetture.

Conflitto politico

In termini politici, c’è una tensione apparente tra la determinazione dei governi a non rimanere indietro nello sviluppo dell’AI e a fare concessioni alle preoccupazioni pubbliche sull’uso ad hoc di contenuti audio, video e immagini disponibili pubblicamente su Internet come risorsa abbondante per sistemi trasformativi AI.

Ufficialmente, i governi occidentali sono inclini alla tolleranza riguardo alla capacità del settore della ricerca della visione computerizzata di utilizzare dati multimediali pubblicamente disponibili, non ultimo perché alcuni dei paesi asiatici più autoritari hanno molto più margine di manovra per plasmare i loro flussi di lavoro di sviluppo in modo da beneficiare i loro sforzi di ricerca – solo uno dei fattori che suggerisce che la Cina sta diventando il leader globale nell’AI.

Nell’aprile del 2022, la Corte d’Appello degli Stati Uniti ha confermato che i dati web pubblici sono un gioco leale per scopi di ricerca, nonostante le continue proteste di LinkedIn, che desidera che i profili degli utenti siano protetti da tali processi.

Se le immagini resistenti all’AI non diventeranno quindi uno standard a livello di sistema, non c’è nulla che impedisca ad alcune delle principali fonti di dati di addestramento di implementare tali sistemi, in modo che il loro output diventi improduttivo nello spazio latente.

Il fattore essenziale in tali implementazioni aziendali specifiche è che le immagini dovrebbero essere innatamente resistenti all’addestramento. Le tecniche di provenienza basate su blockchain e i movimenti come l’Iniziativa di autenticità dei contenuti sono più preoccupati per dimostrare che le immagini sono state falsificate o ‘styleGANned’, piuttosto che prevenire i meccanismi che rendono possibili tali trasformazioni.

Ispettore casuale

Mentre sono state avanzate proposte per utilizzare metodi blockchain per autenticare la provenienza e l’aspetto reale di un’immagine sorgente che potrebbe essere stata successivamente ingerita in un set di dati di addestramento, ciò non impedisce di per sé l’addestramento delle immagini o fornisce alcun modo per dimostrare, dall’output di tali sistemi, che le immagini sono state incluse nel set di dati di addestramento.

In un approccio di watermarking per escludere le immagini dall’addestramento, sarebbe importante non fare affidamento sulla disponibilità pubblica delle immagini sorgente di un set di dati influente per l’ispezione. In risposta alle proteste degli artisti riguardo all’ingestione liberale del loro lavoro da parte di Stable Diffusion, il sito web haveibeentrained.com consente agli utenti di caricare immagini e verificare se è probabile che siano state incluse nel set di dati LAION5B che alimenta Stable Diffusion:

‘Lenna’, letteralmente la ragazza copertina della ricerca sulla visione computerizzata fino a poco tempo fa, è certamente un contributore di Stable Diffusion. Fonte: https://haveibeentrained.com/

Tuttavia, quasi tutti i set di dati deepfake tradizionali, ad esempio, sono casualmente tratti da video e immagini estratte da Internet in database non pubblici dove solo una sorta di watermarking neurale resistente potrebbe esporre l’uso di immagini specifiche per creare le immagini e i video derivati.

Inoltre, gli utenti di Stable Diffusion stanno iniziando ad aggiungere contenuti – sia attraverso il fine-tuning (continuando l’addestramento del modello ufficiale con ulteriori coppie di immagini/testo) o attraverso l’inversione testuale, che aggiunge un elemento specifico o una persona – che non apparirà in alcuna ricerca attraverso i miliardi di immagini di LAION.

Incorporazione di marchi d’acqua alla sorgente

Un’applicazione ancora più estrema del watermarking delle immagini sorgente è quella di incorporare informazioni oscure e non ovvie nel output di cattura grezzo, video o immagini, di fotocamere commerciali. Sebbene il concetto sia stato sperimentato e addirittura implementato con una certa energia all’inizio degli anni 2000, come risposta alla minaccia emergente della pirateria multimediali, il principio è tecnicamente applicabile anche per rendere i contenuti multimediali resistenti o repellenti ai sistemi di addestramento di apprendimento automatico.

Un’implementazione, discussa in una domanda di brevetto alla fine degli anni ’90, propose l’uso di trasformate discrete del coseno per incorporare ‘sotto-immagini’ steganografiche in video e immagini fisse, suggerendo che la routine potrebbe essere ‘incorporata come funzione integrata per dispositivi di registrazione digitale, come fotocamere fisse e video’.

In una domanda di brevetto alla fine degli anni ’90, Lenna è dotata di marchi d’acqua occulti che possono essere recuperati secondo necessità. Fonte: https://www.freepatentsonline.com/6983057.pdf

Un approccio meno sofisticato è imporre chiaramente marchi d’acqua visibili sulle immagini a livello di dispositivo – una funzione che è sgradevole per la maggior parte degli utenti e ridondante nel caso di artisti e professionisti dei media, che sono in grado di proteggere i dati sorgente e aggiungere marchi o proibizioni come ritengono opportuno (non ultimo, le società di immagini stock).

Sebbene almeno una fotocamera attualmente consenta l’imposizione facoltativa di un marchio d’acqua basato su logo che potrebbe segnalare un uso non autorizzato in un modello AI derivato, la rimozione del logo tramite AI sta diventando abbastanza banale e addirittura commercializzato in modo casuale.

Pubblicato per la prima volta il 25 settembre 2022.