Identificazione delle fonti di dati Deepfake con etichettatura basata su AI

Una collaborazione tra ricercatori in Cina, Singapore e negli Stati Uniti ha prodotto un sistema resiliente per “etichettare” le foto dei volti in modo così robusto che i marcatori di identificazione non vengono distrutti durante un deepfake processo di formazione, aprendo la strada a rivendicazioni di proprietà intellettuale che potrebbero ridurre la capacità dei sistemi di generazione di immagini sintetiche di “anonimizzare” i dati di origine illegittimamente raccolti.

Il sistema, intitolato FakeTagger, utilizza un processo di encoder/decoder per incorporare informazioni di identificazione visivamente indistinguibili nelle immagini a un livello sufficientemente basso in modo che le informazioni iniettate vengano interpretate come dati di caratteristiche facciali essenziali e quindi passate attraverso processi di astrazione intatti, allo stesso modo, ad esempio, dei dati degli occhi o della bocca.

Un panorama dell’architettura di FakeTagger. I dati di origine vengono utilizzati per generare una caratteristica facciale ‘ridondante’, ignorando gli elementi di sfondo che verranno mascherati attraverso un flusso di lavoro deepfake tipico. Il messaggio è recuperabile all’altra estremità del processo e identificabile attraverso un algoritmo di riconoscimento appropriato. Fonte: http://xujuefei.com/felix_acmmm21_faketagger.pdf

La ricerca proviene dalla School of Cyber Science and Engineering di Wuhan, dal Key Laboratory of Aerospace Information Security and Trusted Computing del Ministero dell’Istruzione cinese, dal gruppo Alibaba negli Stati Uniti, dalla Northeastern University di Boston e dalla Nanyang Technological University di Singapore.

I risultati sperimentali con FakeTagger indicano un tasso di riedentificazione di quasi il 95% su quattro tipi comuni di metodologie deepfake: scambio di identità (ad esempio DeepFaceLab, FaceSwap); ri-creazione del viso; editing degli attributi; e sintesi totale.

Limiti della rilevazione dei deepfake

Sebbene gli ultimi tre anni abbiano portato una messe di nuovi approcci alle metodologie di identificazione dei deepfake, tutti questi approcci si basano su carenze rimediabili dei flussi di lavoro dei deepfake, come ad esempio eye-glint in modelli non addestrati e mancanza di battito nei primi deepfake con set di volti non sufficientemente diversificati. Quando vengono identificate nuove chiavi, i repository di software open source le hanno eliminate, sia intenzionalmente che come conseguenza di miglioramenti nelle tecniche di deepfake.

Il nuovo articolo osserva che il metodo di rilevazione post-facto più efficace prodotto dalla recente competizione di rilevazione dei deepfake di Facebook (DFDC) è limitato al 70% di accuratezza, in termini di rilevamento dei deepfake nel mondo reale. I ricercatori attribuiscono questo fallimento rappresentativo a una cattiva generalizzazione contro nuovi e innovativi sistemi di deepfake GAN e encoder/decoder, e alla spesso degradata qualità delle sostituzioni dei deepfake.

In quest’ultimo caso, ciò può essere causato da lavori di bassa qualità da parte dei creatori di deepfake, o da artefatti di compressione quando i video vengono caricati su piattaforme di condivisione che cercano di limitare i costi di larghezza di banda e ri-codificano i video a tassi di bit drasticamente inferiori rispetto alle presentazioni. Ironia della sorte, non solo questo degrado dell’immagine non interferisce con l’autenticità apparente di un deepfake, ma può effettivamente aumentare l’illusione, poiché il video deepfake viene assorbito in un comune, basso livello di idioma visivo che viene percepito come autentico.

Etichettatura sopravvivibile come aiuto all’inversione del modello

L’identificazione dei dati di origine dall’output del machine learning è un campo relativamente nuovo e in crescita, e uno che rende possibile una nuova era di litigi basati sulla proprietà intellettuale, poiché le attuali permissive regolamentazioni di scraping dello schermo (progettate per non soffocare la preminenza nazionale nella ricerca di fronte a una corsa globale alle armi dell’AI) evolvono in legislazioni più strette mentre il settore si commercializza.

Inversione del modello si occupa della mappatura e dell’identificazione dei dati di origine dall’output generato da sistemi di sintesi in una serie di domini, tra cui la generazione di linguaggio naturale (NLG) e la sintesi di immagini. L’inversione del modello è particolarmente efficace nel ri-identificare i volti che sono stati offuscati, pixelati o che sono passati attraverso il processo di astrazione di una rete generativa antagonista o di un sistema di trasformazione encoder/decoder come DeepFaceLab.

L’aggiunta di etichettatura mirata a nuove o esistenti immagini facciali è un potenziale nuovo aiuto alle tecniche di inversione del modello, con watermarking un campo emergente.

Etichettatura post-facto

FakeTagger è destinato a essere un approccio di post-elaborazione. Ad esempio, quando un utente carica una foto su un social network (che di solito coinvolge un qualche tipo di processo di ottimizzazione e raramente un trasferimento diretto e non adulterato dell’immagine originale), l’algoritmo elaborerebbe l’immagine per applicare caratteristiche suppostamente indelebili al viso.

Alternativamente, l’algoritmo potrebbe essere applicato a raccolte di immagini storiche, come è successo diverse volte negli ultimi vent’anni, poiché grandi siti di raccolta di immagini stock e commerciali hanno cercato metodi per identificare il contenuto che è stato riutilizzato senza autorizzazione.

FakeTagger cerca di incorporare caratteristiche di identificazione recuperabili da vari processi deepfake.

Sviluppo e testing

I ricercatori hanno testato FakeTagger contro una serie di applicazioni software deepfake attraverso i quattro approcci menzionati, tra cui il repository più utilizzato, DeepFaceLab; Face2Face di Stanford, che può trasferire espressioni facciali attraverso immagini e identità; e STGAN, che può modificare gli attributi facciali.

I test sono stati eseguiti con CelebA-HQ, un repository pubblico popolare contenente 30.000 immagini di volti di celebrità a varie risoluzioni fino a 1024 x 1024 pixel.

Come base di riferimento, i ricercatori hanno inizialmente testato tecniche di watermarking di immagini convenzionali per vedere se le etichette impostate sarebbero sopravvissute ai processi di formazione dei flussi di lavoro dei deepfake, ma i metodi hanno fallito in tutti e quattro gli approcci.

I dati incorporati di FakeTagger sono stati iniettati nella fase di encoder nelle immagini del set di volti utilizzando un’architettura basata sulla rete convoluzionale U-Net per la segmentazione di immagini biomediche, rilasciata nel 2015. Successivamente, la sezione decoder del framework è stata addestrata per trovare le informazioni incorporate.

Il processo è stato testato in un simulatore GAN che ha sfruttato le applicazioni/algoritmi FOSS menzionati, in un ambiente black box senza accesso discreto o speciale ai flussi di lavoro di ciascun sistema. Segnali casuali sono stati allegati alle immagini dei celebrità e registrati come dati relativi a ogni immagine.

In un ambiente black box, FakeTagger è stato in grado di raggiungere un’accuratezza superiore all’88,95% sui quattro approcci delle applicazioni. In uno scenario white-box parallelo, l’accuratezza è aumentata a quasi il 100%. Tuttavia, poiché ciò suggerisce future iterazioni del software deepfake che incorporano direttamente FakeTagger, è uno scenario improbabile nel prossimo futuro.

Conteggio dei costi

I ricercatori notano che lo scenario più impegnativo per FakeTagger è la sintesi di immagini complete, come la generazione astratta basata su CLIP, poiché i dati di input di formazione sono soggetti ai livelli più profondi di astrazione in tale caso. Tuttavia, ciò non si applica ai flussi di lavoro dei deepfake che hanno dominato i titoli negli ultimi anni, poiché questi dipendono dalla fedele riproduzione delle caratteristiche facciali che definiscono l’identità.

L’articolo osserva anche che gli attaccanti antagonisti potrebbero tentare di aggiungere perturbazioni, come rumore artificiale e grana, per eludere un tale sistema di etichettatura, sebbene ciò sarebbe probabilmente avere un effetto deteriore sull’autenticità dell’output dei deepfake.

Inoltre, notano che FakeTagger deve aggiungere dati ridondanti alle immagini per garantire la sopravvivenza delle etichette che incorpora, e che ciò potrebbe avere un costo computazionale notevole su larga scala.

Gli autori concludono notando che FakeTagger potrebbe avere un potenziale per il tracciamento della provenienza in altri domini, come ad esempio attacchi di pioggia antagonisti e altri tipi di attacchi basati su immagini, come esposizione antagonistica, nebbia, sfocatura, vignettatura e jittering dei colori.