Fidelità contro Realismo nei Video Deepfake

Non tutti i praticanti di deepfake condividono lo stesso obiettivo: l’impulso del settore di ricerca sull’elaborazione delle immagini – sostenuto da influenti sostenitori come Adobe, NVIDIA e Facebook – è quello di avanzare lo stato dell’arte in modo che le tecniche di apprendimento automatico possano eventualmente ricreare o sintetizzare l’attività umana ad alta risoluzione e nelle condizioni più impegnative (fidelità).

Al contrario, l’obiettivo di coloro che desiderano utilizzare le tecnologie deepfake per diffondere disinformazione è quello di creare simulazioni plausibili di persone reali con metodi diversi dalla mera veridicità dei volti deepfaked. In questo scenario, fattori aggiuntivi come il contesto e la plausibilità sono quasi equivalenti alla capacità di un video di simulare i volti (realismo).

Questo approccio di “prestidigitazione” si estende alla degradazione della qualità dell’immagine finale di un video deepfake, in modo che l’intero video (e non solo la porzione ingannevole rappresentata da un volto deepfaked) abbia un aspetto coerente che sia accurato per la qualità attesa del mezzo.

‘Coerente’ non significa necessariamente ‘buono’ – è sufficiente che la qualità sia coerente in tutto il video originale e nel contenuto inserito e adulterato, e che si conformi alle aspettative. In termini di output di streaming VOIP su piattaforme come Skype e Zoom, la soglia può essere sorprendentemente bassa, con video a scatti, jerky e una gamma di potenziali artefatti di compressione, nonché algoritmi di ‘smoothing’ progettati per ridurre gli effetti – che di per sé costituiscono una gamma aggiuntiva di effetti ‘inautentici’ che abbiamo accettato come corollari alle limitazioni ed eccentricità della trasmissione live.

DeepFaceLive in azione: questa versione di streaming del software deepfake premier DeepFaceLab può fornire realismo contestuale presentando falsi nel contesto di una qualità video limitata, completa di problemi di riproduzione e altri artefatti di connessione ricorrenti. Fonte: https://www.youtube.com/watch?v=IL517EgYH8U

Degradazione Incorporata

In effetti, i due pacchetti deepfake più popolari (entrambi derivati dal controverso codice sorgente del 2017) contengono componenti progettati per integrare il volto deepfaked nel contesto di ‘storico’ o video di qualità inferiore degradando il volto generato. In DeepFaceLab, il parametro bicubic_degrade_power realizza questo obiettivo, e in FaceSwap, l’impostazione ‘grain’ nella configurazione Ffmpeg aiuta anch’essa l’integrazione del falso volto preservando il grain durante la codifica*.

L’impostazione ‘grain’ in FaceSwap aiuta l’integrazione autentica nel contenuto video non HQ e nel contenuto legacy che potrebbe presentare effetti di grain del film relativamente rari questi giorni.

Spesso, invece di un video deepfake completo e integrato, i deepfakers produrranno una serie isolata di file PNG con canali alpha, ogni immagine che mostra solo il volto sintetico, in modo che il flusso di immagini possa essere convertito in video su piattaforme con capacità di effetti di degradazione più sofisticate, come Adobe After Effects, prima che il falso e gli elementi reali siano uniti per il video finale.

Oltre a queste degradazioni intenzionali, il contenuto del lavoro deepfake viene spesso ricompresso, sia in modo algoritmico (dove le piattaforme di social media cercano di risparmiare banda producendo versioni più leggere degli upload degli utenti) su piattaforme come YouTube e Facebook, o attraverso l’elaborazione del lavoro originale in GIF animate, sezioni di dettaglio o altri flussi di lavoro diversamente motivati che trattano il rilascio originale come punto di partenza e introducono ulteriore compressione.

Contesti di Rilevamento Realistici dei Deepfake

Con questo in mente, un nuovo articolo della Svizzera ha proposto una rivisitazione della metodologia alla base degli approcci di rilevamento dei deepfake, insegnando ai sistemi di rilevamento a imparare le caratteristiche del contenuto deepfake quando viene presentato in contesti degradati intenzionalmente.

Data augmentation stocastica applicata a uno dei set di dati utilizzati nel nuovo articolo, con rumore gaussiano, correzione gamma e sfocatura gaussiana, nonché artefatti della compressione JPEG. Fonte: https://arxiv.org/pdf/2203.11807.pdf

Nel nuovo articolo, i ricercatori sostengono che i pacchetti di rilevamento dei deepfake più all’avanguardia si basano su condizioni di benchmark irrealistiche per il contesto delle metriche che applicano e che il contenuto deepfake ‘degradato’ può scendere al di sotto della soglia di qualità minima per il rilevamento, anche se il suo contenuto ‘grungy’ realistico è probabile che inganni gli spettatori a causa di un’attenzione corretta al contesto.

I ricercatori hanno istituito un nuovo processo di degradazione dei dati ‘real world’ che riesce a migliorare la generalizzabilità dei principali rilevatori di deepfake, con solo una perdita marginale di precisione sui tassi di rilevamento originali ottenuti dai dati ‘puliti’. Offrono anche un nuovo quadro di valutazione che può valutare la robustezza dei rilevatori di deepfake in condizioni del mondo reale, supportato da ampi studi di ablazione.

L’articolo si intitola Un Nuovo Approccio per Migliorare il Rilevamento dei Deepfake basato sull’Apprendimento in Condizioni Realistiche e proviene da ricercatori del Multimedia Signal Processing Group (MMSPG) e dell’Ecole Polytechnique Federale de Lausanne (EPFL), entrambi con sede a Losanna.

Confusione Utile

Precedenti sforzi per incorporare output degradato negli approcci di rilevamento dei deepfake includono la rete neurale Mixup, un’offerta del 2018 di MIT e FAIR, e AugMix, una collaborazione del 2020 tra DeepMind e Google, entrambi metodi di data augmentation che tentano di ‘confondere’ il materiale di addestramento in un modo che tende ad aiutare la generalizzazione.

I ricercatori del nuovo lavoro notano anche precedenti studi che hanno applicato rumore gaussiano e artefatti di compressione ai dati di addestramento al fine di stabilire i confini della relazione tra una caratteristica derivata e il rumore in cui è incorporata.

Il nuovo studio offre una pipeline che simula le condizioni compromesse del processo di acquisizione delle immagini e della compressione e degli altri algoritmi che possono ulteriormente degradare l’output dell’immagine. Incorporando questo flusso di lavoro del mondo reale in un quadro di valutazione, è possibile produrre dati di addestramento per i rilevatori di deepfake che sono più resistenti agli artefatti.

La logica concettuale e il flusso di lavoro per il nuovo approccio.

Il processo di degradazione è stato applicato a due set di dati popolari e di successo utilizzati per il rilevamento dei deepfake: FaceForensics++ e Celeb-DFv2. Inoltre, i principali framework di rilevamento dei deepfake Capsule-Forensics e XceptionNet sono stati addestrati sulle versioni adulterate dei due set di dati.

I rilevatori sono stati addestrati con l’ottimizzatore Adam per 25 e 10 epoche rispettivamente. Per la trasformazione del set di dati, 100 frame sono stati campionati casualmente da ogni video di addestramento, con 32 frame estratti per il test, prima dell’aggiunta dei processi di degradazione.

Le distorsioni considerate per il flusso di lavoro sono state rumore, dove è stato applicato un rumore gaussiano a zero media a sei livelli variabili; ridimensionamento, per simulare la risoluzione ridotta del footage all’aperto tipico, che può tipicamente influenzare i rilevatori; compressione, dove sono stati applicati livelli di compressione JPEG variabili sui dati; smoothing, dove sono stati valutati tre filtri di smoothing tipici utilizzati nel ‘denoising’; miglioramento, dove sono stati regolati contrasto e luminosità; e combinazioni, dove è stata applicata una combinazione di tre dei metodi sopra menzionati a un’immagine singola.

Test e Risultati

Nel testare i dati, i ricercatori hanno adottato tre metriche: Precisione (ACC); Area Under Receiver Operating Characteristic Curve (AUC); e F1-score.

I ricercatori hanno testato le versioni standard addestrate dei due rilevatori di deepfake contro i dati adulterati e li hanno trovati carenti:

‘In generale, la maggior parte delle distorsioni realistiche e dell’elaborazione sono estremamente dannose per i rilevatori di deepfake basati sull’apprendimento addestrati normalmente. Ad esempio, il metodo Capsule-Forensics mostra punteggi AUC molto alti su entrambi i set di test FFpp e Celeb-DFv2 non compressi dopo l’addestramento sui rispettivi set di dati, ma poi soffre di un calo di prestazioni drastico sui dati modificati del nostro quadro di valutazione. Tendenze simili sono state osservate con il rilevatore XceptionNet.’

Al contrario, le prestazioni dei due rilevatori sono state notevolmente migliorate addestrando su dati trasformati, con ogni rilevatore ora più in grado di rilevare media ingannevoli non viste.

‘Lo schema di data augmentation migliora significativamente la robustezza dei due rilevatori e nel frattempo mantiene prestazioni elevate sui dati originali non alterati.’

Confronti delle prestazioni tra i set di dati grezzi e aumentati utilizzati nei due rilevatori di deepfake valutati nello studio.

L’articolo conclude:

‘I metodi di rilevamento attuali sono progettati per ottenere prestazioni il più possibile elevate su benchmark specifici. Ciò spesso comporta il sacrificio della capacità di generalizzazione in scenari più realistici. In questo articolo, è stato proposto uno schema di data augmentation basato su un processo di degradazione delle immagini naturale.’

‘Gli esperimenti estensivi mostrano che la tecnica semplice ma efficace migliora significativamente la robustezza del modello contro varie distorsioni realistiche e operazioni di elaborazione in flussi di lavoro di imaging tipici.’

* La corrispondenza del grain nel viso generato è una funzione del trasferimento di stile durante il processo di conversione.

Pubblicato per la prima volta il 29 marzo 2022. Aggiornato alle 20:33 EST per chiarire l’uso del grain in Ffmpeg.