Identificazione delle fonti di dati Deepfake con etichettatura basata su intelligenza artificiale

Una collaborazione tra ricercatori in Cina, Singapore e Stati Uniti ha prodotto un sistema resiliente per “etichettare” le foto dei volti in modo così robusto che i marcatori di identificazione non vengono distrutti durante un processo di formazione di deepfake, aprendo la strada a rivendicazioni di proprietà intellettuale che potrebbero ridurre la capacità dei sistemi di generazione di immagini sintetiche di “anonimizzare” i dati di origine raccolti illegittimamente.

Il sistema, intitolato FakeTagger, utilizza un processo di encoder/decoder per incorporare informazioni di identificazione visivamente indistinguibili nelle immagini a un livello sufficientemente basso in modo che le informazioni iniettate vengano interpretate come dati di caratteristiche facciali essenziali e quindi passate attraverso processi di astrazione intatti, allo stesso modo, ad esempio, dei dati degli occhi o della bocca.

Panoramica dell’architettura di FakeTagger. I dati di origine vengono utilizzati per generare una caratteristica facciale ‘ridondante’, ignorando gli elementi di sfondo che verranno mascherati attraverso un flusso di lavoro di deepfake tipico. Il messaggio è recuperabile all’altra estremità del processo e identificabile attraverso un algoritmo di riconoscimento appropriato. Fonte: http://xujuefei.com/felix_acmmm21_faketagger.pdf

La ricerca proviene dalla School of Cyber Science and Engineering di Wuhan, dal Key Laboratory of Aerospace Information Security and Trusted Computing del Ministero dell’Istruzione cinese, dal gruppo Alibaba negli Stati Uniti, dalla Northeastern University di Boston e dalla Nanyang Technological University di Singapore.

I risultati sperimentali con FakeTagger indicano un tasso di riconoscimento di quasi il 95% su quattro tipi comuni di metodologie di deepfake: scambio di identità (ad esempio DeepFaceLab, FaceSwap); ri-creazione del volto; editing degli attributi; e sintesi totale.

Limiti della rilevazione di Deepfake

Sebbene gli ultimi tre anni abbiano portato una serie di nuovi approcci alle metodologie di identificazione di deepfake, tutti questi approcci si basano su carenze rimediabili dei flussi di lavoro di deepfake, come ad esempio l’effetto luccichio degli occhi in modelli non addestrati e la mancanza di battito delle palpebre nei primi deepfake con set di volti non sufficientemente diversificati. Man mano che vengono identificate nuove chiavi, i repository di software open source hanno eliminato questi problemi, sia intenzionalmente che come conseguenza di miglioramenti nelle tecniche di deepfake.

Il nuovo articolo osserva che il metodo di rilevazione post-facto più efficace prodotto dalla recente competizione di rilevazione di deepfake di Facebook (DFDC) è limitato a un’accuratezza del 70% nel rilevamento di deepfake nel mondo reale. I ricercatori attribuiscono questo fallimento rappresentativo a una cattiva generalizzazione contro nuovi e innovativi sistemi di deepfake basati su GAN e encoder/decoder, e alla qualità spesso degradata dei sostituti di deepfake.

Nel secondo caso, ciò può essere causato da un lavoro di bassa qualità da parte dei creatori di deepfake o da artefatti di compressione quando i video vengono caricati su piattaforme di condivisione che cercano di limitare i costi di larghezza di banda e ri-codificano i video a bitrate drasticamente più bassi rispetto alle sottomissioni. Ironia della sorte, non solo questa degradazione dell’immagine non interferisce con l’autenticità apparente di un deepfake, ma può effettivamente rafforzare l’illusione, poiché il video di deepfake viene assorbito in un comune idioma visivo di bassa qualità che viene percepito come autentico.

Etichettatura sopravvivibile come aiuto all’inversione del modello

L’identificazione dei dati di origine dall’output del machine learning è un campo relativamente nuovo e in crescita, e uno che rende possibile una nuova era di litigi basati sulla proprietà intellettuale, poiché le attuali regolamentazioni permissive di scraping dello schermo (progettate per non soffocare la preminenza della ricerca nazionale di fronte a una corsa globale alle armi dell’IA) evolvono in legislazioni più strette man mano che il settore si commercializza.

L’inversione del modello si occupa della mappatura e dell’identificazione dei dati di origine dall’output generato da sistemi di sintesi in una serie di domini, tra cui la generazione di linguaggio naturale (NLG) e la sintesi di immagini. L’inversione del modello è particolarmente efficace nel ri-identificare i volti che sono stati offuscati, pixelati o che sono passati attraverso il processo di astrazione di una rete generativa avversariale o di un sistema di trasformazione encoder/decoder come DeepFaceLab.

L’aggiunta di etichette mirate a nuove o esistenti immagini facciali è un potenziale nuovo aiuto alle tecniche di inversione del modello, con watermarking un campo emergente.

Etichettatura post-facto

FakeTagger è destinato a essere un approccio post-elaborazione. Ad esempio, quando un utente carica una foto su una rete sociale (che di solito coinvolge un qualche tipo di processo di ottimizzazione e raramente un trasferimento diretto e non adulterato dell’immagine originale), l’algoritmo elaborerebbe l’immagine per applicare caratteristiche suppostamente indelebili al volto.

In alternativa, l’algoritmo potrebbe essere applicato a raccolte di immagini storiche, come è successo diverse volte negli ultimi vent’anni, poiché grandi siti di raccolta di foto e immagini commerciali hanno cercato metodi per identificare il contenuto che è stato riutilizzato senza autorizzazione.

FakeTagger cerca di incorporare caratteristiche di identificazione recuperabili da vari processi di deepfake.

Sviluppo e testing

I ricercatori hanno testato FakeTagger contro una serie di applicazioni di deepfake su quattro approcci, tra cui il repository più utilizzato, DeepFaceLab; Stanford’s Face2Face, che può trasferire espressioni facciali tra immagini e identità; e STGAN, che può modificare gli attributi facciali.

Il testing è stato eseguito con CelebA-HQ, un repository pubblico popolare che contiene 30.000 immagini di volti di celebrità a varie risoluzioni fino a 1024 x 1024 pixel.

Come base di riferimento, i ricercatori hanno inizialmente testato tecniche di watermarking di immagini convenzionali per vedere se le etichette impostate sarebbero sopravvissute ai processi di formazione dei flussi di lavoro di deepfake, ma i metodi hanno fallito su tutti e quattro gli approcci.

I dati incorporati di FakeTagger sono stati iniettati allo stadio dell’encoder nelle immagini del set di volti utilizzando un’architettura basata sulla rete convoluzionale U-Net per la segmentazione di immagini biomediche, rilasciata nel 2015. Successivamente, la sezione del decoder del framework è stata addestrata per trovare le informazioni incorporate.

Il processo è stato provato in un simulatore GAN che ha sfruttato le applicazioni/algoritmi FOSS menzionati, in un ambiente black box senza accesso discreto o speciale ai flussi di lavoro di ciascun sistema. Segnali casuali sono stati allegati alle immagini di celebrità e registrati come dati relativi a ciascun’immagine.

In un ambiente black box, FakeTagger è stato in grado di raggiungere un’accuratezza superiore all’88,95% sui quattro approcci delle applicazioni. In uno scenario white-box parallelo, l’accuratezza è aumentata a quasi il 100%. Tuttavia, poiché ciò suggerisce future iterazioni di software di deepfake che incorporano direttamente FakeTagger, è uno scenario improbabile nel prossimo futuro.

Calcolare il costo

I ricercatori notano che lo scenario più impegnativo per FakeTagger è la sintesi completa dell’immagine, come la generazione astratta basata su CLIP, poiché i dati di input di formazione sono soggetti ai livelli più profondi di astrazione in tale caso. Tuttavia, ciò non si applica ai flussi di lavoro di deepfake che hanno dominato i titoli negli ultimi anni, poiché questi dipendono dalla fedele riproduzione delle caratteristiche facciali che definiscono l’identità.

L’articolo osserva anche che gli attaccanti avversari potrebbero tentare di aggiungere perturbazioni, come rumore e grana artificiali, per ostacolare un tale sistema di etichettatura, sebbene ciò sarebbe probabilmente avere un effetto deteriore sull’autenticità dell’output di deepfake.

Inoltre, notano che FakeTagger deve aggiungere dati ridondanti alle immagini per garantire la sopravvivenza delle etichette che incorpora, e che ciò potrebbe avere un costo computazionale notevole su larga scala.

Gli autori concludono notando che FakeTagger potrebbe avere un potenziale per il tracciamento della provenienza in altri domini, come ad esempio attacchi di pioggia avversariale e altri tipi di attacchi basati su immagini, come ad esempio esposizione avversariale, nebbia, sfocatura, vignettatura e jittering di colore.

, e che questo potrebbe avere un costo computazionale notevole su larga scala. Gli autori concludono notando che FakeTagger potrebbe avere un potenziale per il tracciamento della provenienza in altri domini, come ad esempio attacchi di pioggia avversariale e altri tipi di attacchi basati su immagini, come ad esempio esposizione avversariale, nebbia, sfocatura, vignettatura e jittering di colore, e che questo potrebbe avere un costo computazionale notevole su larga scala.