Identificazione delle fonti di dati deepfake con tagging basato sull'intelligenza artificiale

Una collaborazione tra ricercatori in Cina, Singapore e Stati Uniti ha prodotto un sistema resiliente per "etichettare" le foto dei volti in modo così robusto che i marcatori identificativi non vengono distrutti durante un deepfake processo di formazione, aprendo la strada a rivendicazioni di proprietà intellettuale che potrebbero intaccare la capacità dei sistemi di generazione di immagini sintetiche di "anonimizzare" i dati di origine ricavati illegittimamente.

Il sistema, intitolato FakeTagger, utilizza un processo di codifica/decodifica per incorporare informazioni identificative visivamente indistinguibili nelle immagini a un livello sufficientemente basso da far sì che le informazioni iniettate vengano interpretate come dati essenziali delle caratteristiche facciali e quindi trasmesse astrazione processi intatti, allo stesso modo, ad esempio, dei dati dell'occhio o della bocca.

Una panoramica dell'architettura FakeTagger. I dati di origine vengono utilizzati per generare una caratteristica facciale "ridondante", ignorando gli elementi di sfondo che verranno mascherati attraverso un tipico flusso di lavoro deepfake. Il messaggio è recuperabile all'altro capo del processo, ed identificabile attraverso un apposito algoritmo di riconoscimento. Fonte: http://xujuefei.com/felix_acmmm21_faketagger.pdf

La ricerca proviene dalla School of Cyber ​​Science and Engineering di Wuhan, dal Key Laboratory of Aerospace Information Security and Trusted Computing del Ministero dell'Istruzione cinese, da Alibaba Group negli Stati Uniti, dalla Northeastern University di Boston e dalla Nanyang Technological University di Singapore.

I risultati sperimentali con FakeTagger indicano un tasso di reidentificazione fino a quasi il 95% in quattro tipi comuni di metodologie deepfake: scambio di identità (ovvero DeepFaceLab, Cambia faccia); rievocazione del volto; modifica degli attributi; e sintesi totale.

Carenze del rilevamento Deepfake

Anche se gli ultimi tre anni hanno portato a raccolto di nuovi approcci alle metodologie di identificazione deepfake, tutti questi approcci sono fondamentali per le carenze rimediabili dei flussi di lavoro deepfake, come luccichio degli occhi in modelli poco addestrati, e mancanza di lampeggiamento nei primi deepfake con volti inadeguatamente diversificati. Man mano che vengono identificate nuove chiavi, i repository di software gratuiti e open source le hanno ovviate, deliberatamente o come sottoprodotto dei miglioramenti nelle tecniche di deepfake.

Il nuovo documento osserva che il metodo di rilevamento post-fatto più efficace prodotto dalla più recente competizione per il rilevamento di deepfake (DFDC) di Facebook è limitato al 70% di precisione, in termini di individuazione di deepfake in natura. I ricercatori attribuiscono questo fallimento rappresentativo alla scarsa generalizzazione nei confronti di nuovi e originali ed innovativi sistemi deepfake GAN e codificatore/decodificatore e alla qualità spesso degradata delle sostituzioni deepfake.

In quest'ultimo caso, ciò può essere causato da un lavoro di bassa qualità da parte di deepfaker o da artefatti di compressione quando i video vengono caricati su piattaforme di condivisione che cercano di limitare i costi della larghezza di banda e ricodificare i video a velocità in bit drasticamente inferiori rispetto agli invii. . Ironia della sorte, non solo questo degrado dell'immagine non è un interferire con l'apparente autenticità di un deepfake, ma in realtà può migliorare l'illusione, poiché il video deepfake è incluso in un linguaggio visivo comune e di bassa qualità che viene percepito come autentico.

Tagging sopravvissuto come aiuto all'inversione del modello

L'identificazione dei dati di origine dai risultati dell'apprendimento automatico è un campo relativamente nuovo e in crescita, che rende possibile una nuova era di contenzioso basato sulla proprietà intellettuale, come l'attuale permissivo I regolamenti che raschiano lo schermo (progettati per non soffocare la preminenza della ricerca nazionale di fronte a una "corsa agli armamenti" globale dell'IA) si evolvono in una legislazione più severa man mano che il settore viene commercializzato.

Inversione del modello si occupa della mappatura e dell'identificazione dei dati di origine dall'output generato dai sistemi di sintesi in una serie di domini, tra cui la generazione del linguaggio naturale (NLG) e la sintesi delle immagini. L'inversione del modello è particolarmente efficace nel reidentificare i volti che erano sfocati, pixelati o che si sono fatti strada attraverso il processo di astrazione di un Generative Adversarial Network o di un sistema di trasformazione codificatore/decodificatore come DeepFaceLab.

L'aggiunta di tag mirati a immagini facciali nuove o esistenti è un potenziale nuovo aiuto per modellare le tecniche di inversione, con watermarking un campo emergente

Tagging post-fatto

FakeTagger è inteso come un approccio di post-elaborazione. Ad esempio, quando un utente carica una foto su un social network (che di solito comporta una sorta di processo di ottimizzazione e raramente un trasferimento diretto e non alterato dell'immagine originale), l'algoritmo elaborerebbe l'immagine per applicare caratteristiche apparentemente indelebili al volto .

In alternativa, l'algoritmo potrebbe essere applicato a raccolte di immagini storiche, come è accaduto diverse volte negli ultimi vent'anni, poiché i siti di raccolta di immagini commerciali e di foto d'archivio di grandi dimensioni hanno cercato metodi per identificare il contenuto che è stato riutilizzato senza autorizzazione.

FakeTagger cerca di incorporare caratteristiche ID recuperabili da vari processi deepfake.

Sviluppo e test

I ricercatori hanno testato FakeTagger su una serie di applicazioni software deepfake attraverso i quattro approcci summenzionati, incluso il repository più utilizzato, DeepFaceLab; di Stanford faccia2faccia, che può trasferire espressioni facciali attraverso immagini e identità; E STGAN, che può modificare gli attributi facciali.

Il test è stato eseguito con CelebA-HQ, un popolare archivio pubblico raschiato contenente 30,000 immagini di volti di celebrità a varie risoluzioni fino a 1024 x 1024 pixel.

Come base, i ricercatori hanno inizialmente testato le tecniche convenzionali di watermarking delle immagini, per vedere se i tag imposti sarebbero sopravvissuti ai processi di addestramento dei flussi di lavoro deepfake, ma i metodi hanno fallito in tutti e quattro gli approcci.

I dati incorporati di FakeTagger sono stati iniettati nella fase di codifica nelle immagini del set di volti utilizzando un'architettura basata sul U-Net convolutional network for biomedical Image segmentation, rilasciato nel 2015. Successivamente, la sezione decoder del framework viene addestrata per trovare le informazioni incorporate.

Il processo è stato testato in un simulatore GAN che ha sfruttato le suddette applicazioni/algoritmi FOSS, in un'impostazione scatola nera senza accesso discreto o speciale ai flussi di lavoro di ciascun sistema. Segnali casuali sono stati allegati alle immagini delle celebrità e registrati come dati correlati a ciascuna immagine.

In un'impostazione black box, FakeTagger è stato in grado di raggiungere una precisione superiore all'88.95% rispetto agli approcci delle quattro applicazioni. In uno scenario a scatola bianca parallela, la precisione è aumentata a quasi il 100%. Tuttavia, poiché ciò suggerisce future iterazioni del software deepfake che incorpora direttamente FakeTagger, è uno scenario improbabile nel prossimo futuro.

Contando il costo

I ricercatori osservano che lo scenario più impegnativo per FakeTagger è la sintesi completa dell'immagine, come la generazione astratta basata su CLIP, poiché in tal caso i dati di addestramento di input sono soggetti ai livelli di astrazione più profondi. Tuttavia, ciò non si applica ai flussi di lavoro deepfake che hanno dominato i titoli negli ultimi anni, poiché dipendono dalla riproduzione fedele delle caratteristiche facciali che definiscono l'identità.

Il documento rileva inoltre che gli aggressori avversari potrebbero plausibilmente tentare di aggiungere perturbazioni, come rumore artificiale e grana, al fine di sventare un tale sistema di tagging, sebbene ciò avrebbe probabilmente un effetto dannoso sull'autenticità dell'output deepfake.

Inoltre, notano che FakeTagger deve aggiungere dati ridondanti alle immagini per garantire la sopravvivenza dei tag che incorpora e che ciò potrebbe avere un notevole costo computazionale su larga scala.

Gli autori concludono osservando che FakeTagger potrebbe avere il potenziale per il monitoraggio della provenienza in altri domini, come ad esempio attacchi di pioggia contraddittori e altri tipi di attacchi basati su immagini, come esposizione contraddittoria, haze, sfocatura, vignettatura e tremolio del colore.