GOTCHA– Un sistema CAPTCHA per le Deepfakes in tempo reale

Una nuova ricerca dell’Università di New York aggiunge alle crescenti indicazioni che potremmo presto dover superare un test di autenticazione equivalente a un “test di sobrietà” per autenticarci prima di iniziare una videochiamata sensibile, come una videoconferenza lavorativa o qualsiasi altra situazione sensibile che possa attirare truffatori che utilizzano software di streaming deepfake in tempo reale.

Alcune delle sfide attive e passive applicate a scenari di videochiamata in GOTCHA. L’utente deve obbedire e superare le sfide, mentre vengono utilizzati metodi ‘passivi’ aggiuntivi (come tentare di sovraccaricare un potenziale sistema deepfake) su cui il partecipante non ha influenza. Fonte: http://export.arxiv.org/pdf/2210.06186

Il sistema proposto si chiama GOTCHA – un omaggio ai sistemi CAPTCHA che sono diventati un ostacolo crescente alla navigazione web negli ultimi 10-15 anni, in cui i sistemi automatizzati richiedono all’utente di eseguire compiti che le macchine sono cattive, come identificare animali o decifrare testo distorto (e, ironicamente, queste sfide spesso trasformano l’utente in un annotatore esterno gratuito di tipo AMT).

In sostanza, GOTCHA estende il paper di agosto 2022 DF-Captcha dell’Università Ben-Gurion, che è stato il primo a proporre di far saltare l’utente all’altro capo della chiamata attraverso alcuni anelli visivi semantici per provare la propria autenticità.

Il paper di agosto 2022 dell’Università Ben Gurion ha proposto per la prima volta una serie di test interattivi per l’utente, tra cui oscurare il viso o anche depressare la pelle – compiti che anche i sistemi deepfake live ben addestrati potrebbero non aver previsto o essere in grado di gestire in modo fotorealistico. Fonte: https://arxiv.org/pdf/2208.08524.pdf

Notabilmente, GOTCHA aggiunge metodologie ‘passive’ a una ‘cascata’ di test proposti, tra cui la sovrapposizione automatica di elementi irreali sul viso dell’utente e il ‘sovraccarico’ dei frame che attraversano il sistema di origine. Tuttavia, solo i compiti che richiedono la risposta dell’utente possono essere valutati senza permessi speciali per accedere al sistema locale dell’utente – che, presumibilmente, verrebbe concesso sotto forma di moduli o add-on locali per sistemi popolari come Skype e Zoom, o anche sotto forma di software proprietario dedicato specificamente al compito di eliminare i falsi.

Dall’articolo, un’illustrazione dell’interazione tra il chiamante e il sistema in GOTCHA, con linee tratteggiate come flussi di decisione.

I ricercatori hanno validato il sistema su un nuovo set di dati contenente oltre 2,5 milioni di frame video da 47 partecipanti, ciascuno dei quali ha intrapreso 13 sfide da GOTCHA. Affermano che la struttura induce una ‘riduzione costante e misurabile’ della qualità del contenuto deepfake per gli utenti fraudolenti, che mette a dura prova il sistema locale fino a quando non si verificano artefatti evidenti che rendono l’inganno chiaro all’occhio umano (sebbene GOTCHA contenga anche alcuni metodi di analisi algoritmica più sottili).

Il nuovo articolo si intitola Gotcha: un sistema di risposta alle sfide per la rilevazione dei deepfake in tempo reale (il nome del sistema è capitalizzato nel corpo ma non nel titolo della pubblicazione, sebbene non sia un acronimo).

Una gamma di sfide

In gran parte in accordo con il paper di Ben Gurion, le sfide effettive che l’utente deve affrontare sono divise in diversi tipi di compiti.

Per occlusione, all’utente viene richiesto di oscurare il viso con la mano o con altri oggetti, o di presentare il viso ad un angolo che non è probabile sia stato addestrato in un modello deepfake (di solito a causa della mancanza di dati di addestramento per pose ‘strane’ – vedi gamma di immagini nella prima illustrazione sopra).

Oltre alle azioni che l’utente può eseguire di persona in base alle istruzioni, GOTCHA può sovrapporre tagli di viso casuali, adesivi e filtri di realtà aumentata, al fine di ‘corrompere’ il flusso di viso che un modello deepfake locale addestrato potrebbe aspettarsi, facendolo fallire. Come indicato in precedenza, sebbene questo sia un processo ‘passivo’ per l’utente, è un processo invasivo per il software, che deve essere in grado di intervenire direttamente nel flusso dell’utente.

Successivamente, all’utente potrebbe essere richiesto di assumere espressioni facciali insolite che sono probabili assenti o sottorappresentate in qualsiasi set di dati di addestramento, causando un abbassamento della qualità dell’output deepfaked (immagine ‘b’, seconda colonna da sinistra, nella prima illustrazione sopra).

Come parte di questa serie di test, all’utente potrebbe essere richiesto di leggere un testo o fare conversazione progettata per sfidare un sistema di deepfaking live locale, che potrebbe non aver addestrato un’adeguata gamma di fonemi o altri tipi di dati della bocca a un livello in cui possa ricostruire movimenti labiali precisi sotto tale scrutinio.

Infine (e questo sembra sfidare le capacità di recitazione del corrispondente), in questa categoria, all’utente potrebbe essere chiesto di eseguire una ‘micro-espressione’ – un’espressione facciale breve e involontaria che rivela un’emozione. Di questo, il paper afferma ‘[esso] dura solitamente 0,5-4,0 secondi e è difficile da fingere’.

Sebbene il paper non descriva come estrarre una micro-espressione, la logica suggerisce che l’unico modo per farlo sia creare un contenuto adatto a suscitare un’emozione nell’utente finale, forse con alcuni tipi di contenuti sorprendenti presentati come parte della routine del test.

Distorzione facciale, illuminazione e ospiti inattesi

Inoltre, in linea con le suggerimenti del paper di agosto, il nuovo lavoro propone di chiedere all’utente di eseguire distorsioni facciali insolite e manipolazioni, come premere il dito contro la guancia, interagire con il viso e/o i capelli e eseguire altri movimenti che nessun sistema di deepfaking live attuale è probabile possa gestire bene, poiché questi sono azioni marginali – anche se fossero presenti nel set di dati di addestramento, la loro riproduzione sarebbe probabilmente di bassa qualità, in linea con altri dati ‘outlier’.

Un sorriso, ma questo ‘viso depresso’ non è tradotto bene da un sistema di deepfaking live locale.

Una sfida aggiuntiva consiste nel modificare le condizioni di illuminazione in cui si trova l’utente finale, poiché è possibile che l’addestramento di un modello deepfake sia stato ottimizzato per situazioni di videoconferenza standard o addirittura per le condizioni di illuminazione esatte in cui si sta svolgendo la chiamata.

Pertanto, all’utente potrebbe essere chiesto di puntare la torcia del telefono sul viso o di alterare in qualche modo l’illuminazione (e vale la pena notare che questo approccio è la proposta centrale di un altro paper di rilevazione dei deepfake live pubblicato quest’estate).

I sistemi di deepfaking live sono messi in difficoltà dall’illuminazione inattesa – e anche dalla presenza di più persone nel flusso, dove si aspettava solo un individuo singolo.

Nel caso in cui il sistema proposto abbia la capacità di intervenire nel flusso dell’utente locale (che si sospetta di ospitare un intermediario deepfake), l’aggiunta di modelli inattesi (vedi colonna centrale nell’immagine sopra) può compromettere la capacità dell’algoritmo deepfake di mantenere una simulazione.

Inoltre, sebbene sia irragionevole aspettarsi che un corrispondente abbia a disposizione altre persone per aiutarlo ad autenticarsi, il sistema può interporre volti aggiuntivi (immagine più a destra sopra) e vedere se un sistema di deepfaking live locale commette l’errore di cambiare attenzione – o anche solo provare a deepfakare tutti loro (i sistemi di deepfaking autoencoder non hanno capacità di ‘riconoscimento dell’identità’ che potrebbero mantenere l’attenzione focalizzata su un individuo in questo scenario).

Steganografia e sovraccarico

GOTCHA incorpora anche un approccio proposto per la prima volta dall’Università della California a San Diego nel mese di aprile di quest’anno, che utilizza la steganografia per crittografare un messaggio nel flusso video dell’utente. Le routine deepfake distruggerebbero completamente questo messaggio, portando a un fallimento dell’autenticazione.

Da un paper di aprile 2022 dell’Università della California a San Diego e della San Diego State University, un metodo per determinare l’identità autentica verificando se un segnale steganografico inviato nel flusso video dell’utente sopravvive al ciclo locale integro – se non lo fa, potrebbe essere in atto un’astuzia deepfake. Fonte: https://arxiv.org/pdf/2204.01960.pdf

Inoltre, GOTCHA è in grado di sovraccaricare il sistema locale (dato l’accesso e il permesso), duplicando un flusso e presentando ‘dati eccessivi’ a qualsiasi sistema locale, progettato per causare un fallimento di replica in un sistema deepfake locale.

Il sistema contiene ulteriori test (vedi il paper per i dettagli), tra cui una sfida, nel caso di un corrispondente basato su smartphone, di capovolgere il telefono, che distorcerebbe un sistema deepfake locale:

Ancora una volta, questo tipo di cosa funzionerebbe solo con un caso d’uso convincente, in cui all’utente viene costretto a concedere l’accesso locale al flusso e non può essere implementato con una semplice valutazione passiva del video dell’utente, a differenza dei test interattivi (come premere un dito contro il viso).

Praticità

Il paper tocca brevemente l’estensione in cui test di questo tipo potrebbero infastidire l’utente finale o in qualche modo disturbarlo – ad esempio, obbligandolo ad avere a portata di mano una serie di oggetti che potrebbero essere necessari per i test, come occhiali da sole.

Riconosce anche che potrebbe essere difficile ottenere che i corrispondenti potenti collaborino con le routine di test. Per quanto riguarda il caso di una videochiamata con un amministratore delegato, gli autori affermano:

‘La facilità d’uso potrebbe essere fondamentale qui, quindi sfide informali o frivole (come distorsioni facciali o espressioni) potrebbero non essere appropriate. Le sfide che utilizzano articoli fisici esterni potrebbero non essere desiderabili. Il contesto qui è opportunamente modificato e GOTCHA adatta di conseguenza la sua serie di sfide.’

Dati e test

GOTCHA è stato testato contro quattro ceppi di sistemi deepfake live locali, tra cui due varianti del molto popolare creatore di deepfake autoencoder DeepFaceLab (‘DFL’, sebbene sorprendentemente il paper non menzioni DeepFaceLive, che dal agosto 2021 è l’implementazione ‘live’ di DeepFaceLab e sembra la risorsa più probabile per un potenziale truffatore).

I quattro sistemi sono stati DFL addestrati ‘leggermente’ su una persona non famosa che partecipa ai test e una celebrità; DFL addestrato più a fondo, fino a 2 milioni di iterazioni o passaggi, in cui ci si aspetterebbe un modello molto più performante; Latent Image Animator (LIA); e Face Swapping Generative Adversarial Network (FSGAN).

Per i dati, i ricercatori hanno catturato e curato i suddetti clip video, che presentano 47 utenti che eseguono 13 sfide da GOTCHA, con ogni utente che produce circa 5-6 minuti di video in 1080p a 60 fps. Gli autori affermano anche che questi dati saranno eventualmente resi pubblici.

La rilevazione delle anomalie può essere eseguita da un osservatore umano o in modo algoritmico. Per la seconda opzione, il sistema è stato addestrato su 600 volti del set di dati FaceForensics. La funzione di perdita di regressione è stata la potente Learned Perceptual Image Patch Similarity (LPIPS), mentre la cross-entropia binaria è stata utilizzata per addestrare il classificatore. EigenCam è stato utilizzato per visualizzare i pesi del rilevatore.

Risultati principali dei test per GOTCHA.

I ricercatori hanno scoperto che per la piena cascata di test sui quattro sistemi, il numero più basso e la gravità delle anomalie (ovvero, degli artefatti che rivelerebbero la presenza di un sistema deepfake) sono stati ottenuti dalla distribuzione DFL addestrata più a fondo. La versione addestrata in modo meno approfondito ha faticato in particolare a ricreare movimenti labiali complessi (che occupano molto poco del frame, ma che ricevono un’alta attenzione umana), mentre FSGAN occupava il terreno di mezzo tra le due versioni DFL, e LIA si è rivelata completamente inadeguata al compito, con i ricercatori che ritengono che LIA fallirebbe in un vero e proprio schieramento. Prima pubblicazione 17 ottobre 2022.