I ricercatori identificano un tratto resiliente dei deepfake che potrebbe aiutare il rilevamento a lungo termine

Da quando nel 2018 sono emerse le prime soluzioni di rilevamento dei deepfake, il settore della ricerca sulla visione artificiale e sulla sicurezza ha cercato di definire un approccio caratteristica essenziale di video deepfake: segnali che potrebbero rivelarsi resistenti ai miglioramenti nelle popolari tecnologie di sintesi facciale (come i pacchetti deepfake basati su autoencoder come DeepFaceLab e FaceSwap e l'uso di video deepfake Reti del contraddittorio generativo ricreare, simulare o alterare volti umani).

Molti dei 'racconta', come mancanza di lampeggiamento, sono stati resi superflui dai miglioramenti apportati ai deepfake, mentre il potenziale utilizzo di tecniche di provenienza digitale (come il metodo guidato da Adobe) Iniziativa di autenticità dei contenuti) – compresi gli approcci blockchain e filigrana digitale di potenziali foto di origine – o richiedono modifiche radicali e costose al corpus esistente di immagini di origine disponibili su Internet, oppure richiederebbero un notevole sforzo di cooperazione tra nazioni e governi per creare sistemi di sorveglianza e autenticazione.

Pertanto sarebbe molto utile se un tratto veramente fondamentale e resiliente potesse essere individuato nei contenuti di immagini e video che presentano volti umani alterati, inventati o scambiati di identità; una caratteristica che potrebbe essere desunta direttamente dai video falsificati, senza verifica su larga scala, hashing delle risorse crittografiche, controllo del contesto, valutazione della plausibilità, routine di rilevamento incentrate sugli artefatti o altri approcci gravosi al rilevamento dei deepfake.

Deepfake nella cornice

Una nuova collaborazione di ricerca tra Cina e Australia ritiene di aver trovato questo "Santo Graal", sotto forma di interruzione della regolarità.

Gli autori hanno ideato un metodo per confrontare l'integrità spaziale e la continuità temporale dei video reali con quelli che contengono contenuti deepfake e hanno scoperto che qualsiasi tipo di interferenza deepfake interrompe la regolarità dell'immagine, per quanto impercettibilmente.

Ciò è in parte dovuto al fatto che il processo deepfake suddivide il video di destinazione in frame e applica l'effetto di un modello deepfake addestrato a ciascun frame (sostituito). Le popolari distribuzioni di deepfake agiscono allo stesso modo degli animatori, a questo proposito, prestando più attenzione all'autenticità di ogni fotogramma che al contributo di ogni fotogramma all'integrità spaziale complessiva e alla continuità temporale del video.

Dall'articolo: A) Differenze tra i tipi di dati. Qui vediamo che i disturbi di p-fake modificano la qualità spazio-temporale dell'immagine allo stesso modo di un deepfake, senza sostituire l'identità. B) Analisi del rumore dei tre tipi di dati, che mostra come p-fake imiti l'interruzione del deepfake. C) Una visualizzazione temporale dei tre tipi di dati, con dati reali che dimostrano una maggiore integrità nella fluttuazione. d) il T-SNE visualizzazione delle funzionalità estratte per video reali, contraffatti e contraffatti. Fonte: https://arxiv.org/pdf/2207.10402.pdf

Questo non è il modo in cui un codec video tratta una serie di fotogrammi quando viene effettuata o elaborata una registrazione originale. Per risparmiare sulla dimensione del file o rendere un video adatto allo streaming, un'enorme quantità di informazioni viene scartata dal codec video. Anche con le impostazioni di massima qualità, il codec assegnerà fotogrammi chiave (una variabile che può essere impostata dall'utente) – immagini intere, praticamente non compresse, che si verificano a intervalli prestabiliti nel video.

I fotogrammi interstiziali tra i fotogrammi chiave sono, in una certa misura, stimati come una variante dei fotogrammi e lo saranno riutilizzare quante più informazioni possibili dai fotogrammi chiave adiacenti, piuttosto che essere fotogrammi completi a sé stanti.

A sinistra, un fotogramma chiave completo, o "i-frame", viene memorizzato nel video compresso, a scapito delle dimensioni del file; a destra, un "delta frame" interstiziale riutilizza qualsiasi parte applicabile del fotogramma chiave più ricco di dati. Fonte: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

In questo modo, il bloccare (contenente x numero di fotogrammi, a seconda delle impostazioni dei fotogrammi chiave) è probabilmente l'unità più piccola considerata in un tipico video compresso, piuttosto che ogni singolo fotogramma. Anche il fotogramma chiave stesso, noto come an i-frame, fa parte di tale unità.

In termini di animazione tradizionale dei cartoni animati, un codec sta eseguendo una specie di in mezzo, con i fotogrammi chiave che funzionano come pali della tenda per i fotogrammi derivati ​​interstiziali, noti come telai delta.

Al contrario, la sovrapposizione deepfake dedica un'enorme attenzione e risorse a ogni singolo fotogramma, senza considerare il contesto più ampio del fotogramma e senza tenere conto del modo in cui la compressione e la codifica basata su blocchi influenzano le caratteristiche del video "autentico".

Uno sguardo più da vicino alla discontinuità tra la qualità temporale di un video autentico (a sinistra) e lo stesso video quando viene interrotto dai deepfake (a destra).

Sebbene alcuni dei migliori deepfaker utilizzino un'ampia post-elaborazione, in pacchetti come After Effects, e sebbene la distribuzione DeepFaceLab abbia qualche capacità nativa per applicare procedure di "fusione" come il motion blur, tale gioco di prestigio non influisce sulla mancata corrispondenza della qualità spaziale e temporale tra video autentici e deepfaked.

I nuovo documento è intitolato Rilevamento di deepfake creando un'interruzione della regolarità spazio-temporale, e proviene da ricercatori della Tsinghua University, del Department of Computer Vision Technology (VIS) di Baidu Inc. e dell'Università di Melbourne

Video falsi "falsi".

I ricercatori dietro il documento hanno incorporato la funzionalità della ricerca in un modulo plug-and-play chiamato Pseudo-fake Generator (P-falso generatore), che trasforma i video reali in falsi video deepfake, perturbandoli nello stesso modo in cui lo fa l'effettivo processo deepfake, senza eseguire effettivamente alcuna operazione deepfake.

I test indicano che il modulo può essere aggiunto a tutti i sistemi di rilevamento deepfake esistenti praticamente a costo zero delle risorse e che ne migliora notevolmente le prestazioni.

La scoperta potrebbe aiutare ad affrontare uno degli altri ostacoli nella ricerca sul rilevamento dei deepfake: la mancanza di set di dati autentici e aggiornati. Poiché la generazione di deepfake è un processo elaborato e dispendioso in termini di tempo, la comunità ha sviluppato una serie di set di dati deepfake negli ultimi cinque anni, molti dei quali sono piuttosto obsoleti.

Isolando l'interruzione della regolarità come segnale deepfake-agnostic per i video alterati post-fatto, il nuovo metodo consente di generare video di campioni e set di dati illimitati che si inseriscono in questo aspetto dei deepfake.

Panoramica del blocco STE, in cui la convoluzione temporale a livello di canale viene utilizzata come stimolo per generare codifiche migliorate spazio-temporalmente, risultando nella stessa firma che produrrà anche un deepfake molto convincente. Con questo metodo, è possibile generare video falsi "falsi" che presentano le stesse caratteristiche distintive di qualsiasi video alterato in stile deepfake e che non dipendono da distribuzioni particolari o da aspetti volatili come il comportamento delle caratteristiche o artefatti algoritmici.

Test

I ricercatori hanno condotto esperimenti su sei noti set di dati utilizzati nella ricerca sul rilevamento di deepfake: FaceForensics ++ (FF++); WildDeepFake; Anteprima della Sfida Rilevamento Deepfake (DFDC); Celeb-DF; Rilevamento deepfake (DFD); E Cambio facciale (FSh).

Per FF++, i ricercatori hanno addestrato il loro modello sul set di dati originale e hanno testato separatamente ciascuno dei quattro sottoinsiemi. Senza l'uso di alcun materiale deepfake nella formazione, il nuovo metodo è stato in grado di superare i risultati dello stato dell'arte.

Il metodo ha anche preso la pole position rispetto al set di dati compresso FF++ C23, che fornisce esempi che presentano il tipo di artefatti di compressione che sono credibili negli ambienti di visualizzazione deepfake del mondo reale.

Gli autori commentano:

"Le prestazioni all'interno di FF++ convalidano la fattibilità della nostra idea principale, mentre la generalizzabilità rimane un problema importante dei metodi di rilevamento deepfake esistenti, poiché le prestazioni non sono garantite durante i test su deepfake generati da tecniche invisibili".

"Considerando ulteriormente la realtà della corsa agli armamenti tra rilevatori e falsari, la generalizzabilità è un criterio importante per misurare l'efficacia di un metodo di rilevamento nel mondo reale."

Sebbene i ricercatori abbiano condotto una serie di test secondari (vedere il documento per i dettagli) sulla "robustezza" e variando i tipi di input video (ovvero reale, falso, p-falso, ecc.), i risultati più interessanti provengono dal test per le prestazioni tra set di dati.

Per questo, gli autori hanno addestrato il loro modello sulla suddetta versione c23 del "mondo reale" di FF++ e l'hanno testato su quattro set di dati, ottenendo, affermano gli autori, prestazioni superiori su tutti loro.

Risultati della sfida tra set di dati. Il documento rileva che SBI utilizza un approccio simile a quello degli autori, mentre, affermano i ricercatori, p-fake mostra prestazioni migliori per l'interruzione della regolarità spazio-temporale.

Il documento afferma:

'Sul Deepwild più impegnativo, il nostro metodo supera il metodo SOTA di circa 10 punti percentuali in termini di AUC%. Pensiamo che ciò sia dovuto alla grande diversità di deepfake in Deepwild, che impedisce ad altri metodi di generalizzare bene dai deepfake visti.'

Le metriche utilizzate per i test sono state Accuracy Score (ACC), Area Under the Receiver Operating Characteristic Curve (AUC) e Equal Error Rate (EER).

Contrattacchi?

Sebbene i media caratterizzino la tensione tra sviluppatori di deepfake e ricercatori di rilevamento di deepfake in termini di guerra tecnologica, è discutibile che i primi stiano semplicemente cercando di produrre un output più convincente e che l'aumento della difficoltà di rilevamento dei deepfake sia un sottoprodotto circostanziale di questi sforzi.

Se gli sviluppatori cercheranno di affrontare questa lacuna appena rivelata dipende, forse, dal fatto che sentano o meno che l'interruzione della regolarità possa essere percepita in un video deepfake, ad occhio nudo, come segno di non autenticità, e che quindi questa metrica vale affrontare da un punto di vista puramente qualitativo.

Sebbene siano passati cinque anni da quando i primi deepfake sono stati pubblicati online, il deepfaking è ancora una tecnologia relativamente nascente e la comunità è probabilmente più ossessionata dai dettagli e dalla risoluzione che dal contesto corretto o dalla corrispondenza delle firme del video compresso, entrambi i quali richiedono un certo ' "degrado" dell'output, proprio la cosa contro cui l'intera comunità di deepfake sta attualmente lottando.

Se il consenso generale risulta essere che l'interruzione della regolarità è una firma nascente che non influisce sulla qualità, potrebbe non esserci alcuno sforzo per compensarla, anche se può essere "cancellato" da alcune procedure di post-elaborazione o interne all'architettura, il che è tutt'altro che chiaro.

Pubblicato per la prima volta il 22 luglio 2022.