Rilevatori di deepfake perseguono nuove frontiere: modelli di diffusione latente e GAN

Opinione  

Di recente, la comunità di ricerca sulla rilevazione di deepfake, che dal 2017 si è occupata quasi esclusivamente del framework basato sull’autoencoder che ha debuttato in quel momento con grande successo (e disaggio), ha iniziato a prendere un interesse forense per architetture meno stagnanti, tra cui modelli di diffusione latente come DALL-E 2 e Stable Diffusion, nonché l’output di Reti Adversarie Generative (GAN). Ad esempio, nel giugno scorso, l’Università della California, Berkeley, ha pubblicato i risultati della sua ricerca sullo sviluppo di un rilevatore per l’output di DALL-E 2, all’epoca il modello dominante.

Ciò che sembra guidare questo crescente interesse è il salto evolutivo improvviso nella capacità e disponibilità dei modelli di diffusione latente nel 2022, con l’uscita a primavera della versione chiusa e a accesso limitato di DALL-E 2, seguita a fine estate dalla sensazionale pubblicazione open source di Stable Diffusion da parte di stability.ai.

Le GAN sono state a lungo studiate in questo contesto, anche se con meno intensità, poiché è molto difficile utilizzarle per creare video convincenti e elaborati di persone; almeno, rispetto ai pacchetti di autoencoder ormai venerabili come FaceSwap e DeepFaceLab – e il cugino di quest’ultimo, DeepFaceLive.

Immagini in movimento

In entrambi i casi, il fattore galvanizzante sembra essere la prospettiva di una successiva sprint di sviluppo per la sinossi video. L’inizio di ottobre – e la stagione principale delle conferenze del 2022 – è stata caratterizzata da un’improvvisa e inaspettata soluzione a vari problemi di sintesi video di lunga data: non appena Facebook ha rilasciato campioni della sua piattaforma testo-video, Google Research ha rapidamente sommerso quell’iniziale acclamazione annunciando la sua nuova architettura Imagen-to-Video T2V, in grado di produrre footage ad alta risoluzione (sebbene solo tramite una rete di 7 strati di upsamplers).

Se credi che questo tipo di cose arrivi in tre, considera anche la promessa enigmatica di stability.ai che “il video sta arrivando” a Stable Diffusion, apparentemente più tardi quest’anno, mentre Stable Diffusion co-sviluppatore Runway ha fatto una promessa simile, sebbene non sia chiaro se si riferiscono allo stesso sistema. Il messaggio Discord del CEO di Stability Emad Mostaque ha anche promesso ‘audio, video [e] 3d’.

Cosa sembra probabile è che il mondo di autoencoder basati su video deepfake, che può sostituire solo efficacemente la parte centrale di un viso, potrebbe essere eclissato entro quest’anno da una nuova generazione di tecnologie di deepfake basate sulla diffusione – approcci open source e popolari con il potenziale di falsificare in modo fotorealistico non solo interi corpi, ma intere scene.

Per questo motivo, forse, la comunità di ricerca anti-deepfake sta iniziando a prendere seriamente la sintesi di immagini, e a rendersi conto che potrebbe servire a più scopi che non solo generare foto di profili LinkedIn false; e che se tutti i suoi spazi latenti intractabili possono realizzare in termini di moto temporale è solo agire come un ottimo renderer di texture, che potrebbe essere più che sufficiente.

Blade Runner

Gli ultimi due documenti che affrontano, rispettivamente, la rilevazione di deepfake basata sulla diffusione latente e sulla GAN, sono, rispettivamente, DE-FAKE: Rilevamento e attribuzione di immagini false generate da modelli di diffusione testo-immagine, una collaborazione tra il CISPA Helmholtz Center for Information Security e Salesforce; e BLADERUNNER: Contromisura rapida per volti di StyleGAN sintetici (AI-generated), di Adam Dorian Wong del Lincoln Laboratory del MIT.

Prima di spiegare il suo nuovo metodo, il secondo documento esamina alcune approcci precedenti per determinare se un’immagine è stata generata da una GAN (il documento tratta specificamente della famiglia di StyleGAN di NVIDIA ).

Il metodo “Brady Bunch” – forse un riferimento senza senso per chi non stava guardando la TV negli anni ’70 o ha perso le adattamenti cinematografici degli anni ’90 – identifica il contenuto di deepfake GAN in base alle posizioni fisse che particolari parti di un viso GAN sono certe di occupare, a causa della natura routinaria e template del “processo di produzione”.

Il metodo ‘Brady Bunch’ proposto da una webcast dell’Istituto SANS nel 2022: un generatore di volti GAN eseguirà un posizionamento uniforme improbabile di certi tratti del viso, tradendo l’origine della foto, in alcuni casi. Fonte: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Un altro utile indicazione nota è l’incapacità frequente di StyleGAN di renderizzare più volti (prima immagine in basso), se necessario, nonché la sua mancanza di talento nella coordinazione degli accessori (immagine del centro in basso), e una tendenza a utilizzare una linea di capelli come inizio di un cappello improvvisato (terza immagine in basso).

Il terzo metodo che il ricercatore richiama l’attenzione è sovrapposizione di foto (un esempio del quale può essere visto nel nostro articolo di agosto sulla valutazione delle espressioni facciali AI-aided per i disturbi della salute mentale), che utilizza un software di “image blending” compositivo come la serie CombineZ per concatenare più immagini in un’unica immagine, spesso rivelando strutture sottostanti comuni – un’indicazione potenziale di sintesi.

L’architettura proposta nel nuovo documento si intitola (forse contro tutti i consigli SEO) Blade Runner, che fa riferimento al test di Voight-Kampff che determina se gli antagonisti nella saga di fantascienza sono ‘falsi’ o no.

La pipeline è composta da due fasi, la prima delle quali è l’analizzatore PapersPlease, che può valutare i dati raccolti da siti web di volti GAN noti come thispersondoesnotexist.com o generated.photos.

Sebbene una versione ridotta del codice possa essere ispezionata su GitHub (vedi sotto), pochi dettagli sono forniti su questo modulo, tranne che OpenCV e DLIB sono utilizzati per delineare e rilevare i volti nel materiale raccolto.

Il secondo modulo è il rilevatore AmongUs. Il sistema è progettato per cercare il posizionamento coordinato degli occhi nelle foto, una caratteristica persistente dell’output di volti di StyleGAN, tipificata nello scenario “Brady Bunch” dettagliato sopra. AmongUs è alimentato da un rilevatore di landmark standard a 68 punti.

Annotazioni dei punti del viso tramite il Gruppo di comprensione del comportamento intelligente (IBUG), il cui codice di tracciamento dei landmark del viso è utilizzato nel pacchetto Blade Runner.

AmongUs dipende da landmark pre-addestrati basati sulle coordinate “Brady Bunch” note da PapersPlease e è destinato all’uso contro campioni web di immagini di volti basati su StyleGAN.

Blade Runner, suggerisce l’autore, è una soluzione plug-and-play destinata a società o organizzazioni che non hanno le risorse per sviluppare soluzioni interne per il tipo di rilevamento di deepfake trattato qui, e una “misura di stop-gap per guadagnare tempo per contromisure più permanenti”.

In realtà, in un settore della sicurezza così volatile e in rapida crescita, non ci sono molte soluzioni personalizzate o fornite da vendor cloud a cui un’azienda sottodotata possa attualmente rivolgersi con fiducia.

Sebbene Blade Runner esegua male contro le persone con occhiali false di StyleGAN, questo è un problema relativamente comune in sistemi simili, che si aspettano di poter valutare le delineazioni degli occhi come punti di riferimento fondamentali, oscurati in tali casi.

Una versione ridotta di Blade Runner è stata rilasciata open source su GitHub. Una versione più ricca di funzionalità proprietaria esiste, che può elaborare più foto, anziché la singola foto per operazione del repository open source. L’autore intende, dice, aggiornare la versione di GitHub allo stesso standard in futuro, quando il tempo lo permetterà. Ammette anche che StyleGAN probabilmente evolverà oltre le sue debolezze note o attuali, e il software dovrà svilupparsi di pari passo.

DE-FAKE

L’architettura DE-FAKE mira non solo a raggiungere il “rilevamento universale” per le immagini prodotte da modelli di diffusione testo-immagine, ma anche a fornire un metodo per discernere quale modello di diffusione latente (LD) ha prodotto l’immagine.

La cornice di rilevamento universale in DE-FAKE affronta immagini locali, una cornice ibrida (verde) e immagini del mondo aperto (blu). Fonte: http://export.arxiv.org/pdf/2210.06998

Per essere onesti, al momento, questo è un compito abbastanza facile, poiché tutti i modelli LD popolari – chiusi o open source – hanno caratteristiche distinguibili note.

Inoltre, la maggior parte condivide alcune debolezze comuni, come una predisposizione a tagliare le teste, a causa del modo arbitrario in cui le immagini non quadrate raccolte dal web vengono inghiottite nei grandi set di dati che alimentano sistemi come DALL-E 2, Stable Diffusion e MidJourney:

I modelli di diffusione latente, come tutti i modelli di visione computerizzata, richiedono un input in formato quadrato; ma il web-scraping aggregato che alimenta il set di dati LAION5B non offre ‘lussi extra’ come la capacità di riconoscere e concentrarsi sui volti (o qualsiasi altra cosa), e tronca le immagini in modo piuttosto brutale invece di riempirle (il che conserverebbe l’intera immagine originale, ma a una risoluzione inferiore). Una volta addestrati, questi ‘crops’ diventano normalizzati e si verificano molto frequentemente nel output dei sistemi di diffusione latente come Stable Diffusion.

DE-FAKE è destinato a essere algoritmo-agnostico, un obiettivo a lungo ambito dai ricercatori anti-deepfake basati su autoencoder, e, al momento, abbastanza raggiungibile rispetto ai sistemi LD.

L’architettura utilizza la libreria multimodale di pre-addestramento linguistico-immagine di OpenAI (CLIP) – un elemento essenziale in Stable Diffusion e che sta diventando il cuore della nuova ondata di sistemi di sintesi di immagini/video – come un modo per estrarre le embeddings dalle immagini LD “forge” e addestrare un classificatore sui modelli e le classi osservati.

In uno scenario più “black box”, dove i chunk PNG che contengono informazioni sul processo di generazione sono stati a lungo rimossi dai processi di upload e per altri motivi, i ricercatori utilizzano il framework BLIP di Salesforce (anche un componente in almeno una distribuzione di Stable Diffusion) per “indagare a cieca” le immagini per la struttura semantica probabile dei prompt che le hanno create.

I ricercatori hanno utilizzato Stable Diffusion, Latent Diffusion (esso stesso un prodotto discreto), GLIDE e DALL-E 2 per popolare un set di dati di addestramento e testing utilizzando MSCOCO e Flickr30k.

Normalmente esamineremmo estensivamente i risultati degli esperimenti dei ricercatori per un nuovo framework; ma in realtà, i risultati di DE-FAKE sembrano più utili come benchmark futuro per iterazioni e progetti simili, piuttosto che come una metrica significativa del successo del progetto, considerando l’ambiente volatile in cui opera e che il sistema con cui compete nel documento è quasi tre anni fa – da quando la scena della sintesi di immagini era veramente nascente.

Le due immagini più a sinistra: il framework precedente ‘sfidato’, originato nel 2019, si comporta meno bene contro DE-FAKE (le due immagini più a destra) attraverso i quattro sistemi LD testati.

I risultati del team sono estremamente positivi per due motivi: non ci sono precedenti lavori con cui confrontarli (e nessuno che offra un confronto equo, cioè che copra le mere dodici settimane da quando Stable Diffusion è stata rilasciata open source).

In secondo luogo, come menzionato sopra, sebbene il campo della sintesi di immagini LD si stia sviluppando a una velocità esponenziale, il contenuto di output delle offerte attuali si “watermarka” esso stesso a causa delle sue carenze strutturali (e molto prevedibili) ed eccentricità – molte delle quali sono probabilmente destinate a essere risolte, nel caso di Stable Diffusion almeno, con l’uscita del modello 1.5 più performante (cioè il modello da 4 GB che alimenta il sistema).

Allo stesso tempo, Stability ha già indicato di avere una chiara roadmap per la versione 2 e la versione 3 del sistema. Considerati gli eventi di spicco degli ultimi tre mesi, qualsiasi torpore aziendale da parte di OpenAI e altri giocatori concorrenti nello spazio di sintesi di immagini è probabilmente stato evaporato, il che significa che possiamo aspettarci un ritmo di progressi altrettanto rapido anche nello spazio di sintesi di immagini a codice chiuso.

Pubblicato per la prima volta il 14 ottobre 2022.