Streaming DeepFake in tempo reale con DeepFaceLive

Il software deepfake più utilizzato al mondo, e quello più fortemente associato al deepfake porno, sta ottenendo una nuova implementazione: la capacità di sovrapporre deepfake delle sembianze di una celebrità ai filmati live della webcam.

L'archivio open source DeepFace dal vivo è un'applicazione Windows 10 costruita sulle fondamenta di DeepFaceLab, che è diventata rapidamente la risorsa principale per lo scambio di volti basato sul porno dopo che il creatore del software deepfake originale ha abbandonato il progetto poco dopo che l'avvento del deepfaking ha creato polemiche mondiali nel 2018. Entrambi i progetti stratagemma la sezione forum del sito porno deepfake mrdeepfakes come risorsa di supporto ufficiale.

In un video dell'interfaccia DeepFaceLive rilasciato dallo sviluppatore Ivan Petrov ad aprile, vediamo filmati scaricati dell'imitatore Miles Fisher che viene trasformato in Tom Cruise in tempo reale. Fonte: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparentemente

Ieri il lead su entrambi i progetti, sviluppatore russo Ivan Petrov, ha annunciato una nuova versione di DeepFaceLive sul gruppo Discord del progetto, osservando che DeepFaceLive ora incorpora un modello addestrato dell'attrice Margot Robbie, un soggetto frequente di video pornografici su mrdeepfakes.

Sono stati caricati quattro videoclip di esempio per dimostrare la capacità di DeepFaceLive di allegare l'identità di Robbie a qualsiasi oratore in un feed della webcam.

Una delle dimostrazioni di live deepfaking di Margot Robbie. Fonte: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

I video di trasformazione di Robbie sono stati originariamente condivisi su Twitch, ma successivamente eliminati.

Gli altri tre esempi di scambio di volti forniti da DeepFaceLive. Il requisito per una corrispondenza approssimativa del volto con il soggetto target è ancora evidente. Nell'immagine in basso a sinistra vediamo che il software non è in grado di mascherare efficacemente le ostruzioni, come si può ottenere in DeepFaceLab, poiché ciò richiede l'addestramento delle maschere nel Applicazione XSeg di DeepFaceLab, un metodo che non può essere applicato alla falsificazione in tempo reale.

Un ulteriore modello predefinito, del comico e attore britannico Rowan Atkinson, dovrebbe essere presto reso disponibile per DeepFaceLive. Originariamente il repository DeepFaceLive presentava una categoria CELEB_MODEL, dove era possibile scaricare altre celebrità, tra cui Tom Cruise, come Open Neural Network Exchange (.onnx) file, sebbene queste directory siano state successivamente eliminate.

Tom Cruise era un'identità incorporata per una beta di DeepFaceLive nell'aprile del 2021, ma da allora è stato apparentemente rimosso come impostazione predefinita nel pacchetto. Tuttavia, il modello può essere scaricato e installato, insieme a modelli addestrati da molte altre celebrità e modelli personalizzati addestrati dagli utenti finali.

DeepFaceLive funziona esclusivamente come applicazione Windows 10 e lo è segnalati da un utente per lavorare bene con lo streaming live di NVIDIA Broadcast applicazione.

Ottenere identità

Gli utenti non devono passare attraverso il laborioso processo di raccolta del materiale facciale per un set di dati, seguito dai 3-10 giorni necessari per ottenere un'ottima corrispondenza, poiché le FAQ per DeepFaceLive affermano che può utilizzare "modelli di volti pubblici" standard ' che sono già stati compilati da altri creatori. In effetti, la più grande fonte di tali modelli è il Modelli formati dal forum (collegamento all'archivio) sul sito porno mrdeepfakes, che può essere visto in uso da un utente finale russo in un recente video di YouTube.

Vladislav Pedro usa DeepFaceLive per trasformarsi in Tom Cruise in tempo reale. Il modello che carica nel video è ospitato su mrdeepfakes ed è stato utilizzato fino ad ora per l'elaborazione deepfake offline. Fonte: https://www.youtube.com/watch?v=0TcCKtObSnI

Sebbene i migliori risultati si ottengano confrontando il volto dell'utente finale con la celebrità bersaglio, la qualità della simulazione sembra essere direttamente proporzionale a quanto l'utente finale somigli al bersaglio. Quando l'utente è relativamente ben adattato alla celebrità, è possibile ottenere un risultato convincente.

Come è evidente negli ultimi tre Margot Robbie swap nelle immagini qui sopra, il software non può fare miracoli dove il volto dell'utente finale ha caratteristiche generali radicalmente diverse. Tuttavia, anche DeepFaceLab può farlo eseguire interi cambi di testa, lavorazione che sovrascrive completamente la testina sorgente, seppur con limitazioni per quanto riguarda le acconciature. I commenti sul server Discord confermano che questi possono essere implementati anche in DeepFaceLive.

DeepFaceLive attualmente supporta solo GPU NVIDIA, con la GTX 750 l'hardware più basso che può ottenere un risultato ragionevole con l'applicazione. Su una scheda grafica con 4 GB di VRAM, richiede anche 32 GB di spazio su disco di scambio.

Addestrare il modello di Margot Robbie – un'immagine postato al DeepFaceLab/DeepFaceLive Discord di Ivan Petrov. Qui vediamo che il set di dati di origine è estremamente vario, apparentemente con l'intento di creare un modello robusto e ben generalizzato in grado di trasformare un'ampia gamma di tipi di viso nell'immagine dell'attrice australiana. La maggior parte dei set "A" sono generalmente di un singolo individuo.

Gli utenti segnalano che DeepFaceLive è estremamente esigente in termini di risorse hardware, ma Petrov ha risposto affermando che DeepFaceLive è destinato a PC ben equipaggiati in un ambiente interno.

Il DeepFaceLab GitHub è stato biforcuta oltre 6,000 volte, mentre il nuovo DeepFaceLive ha attualmente 85 fork.

Possibili usi

Commentatori in a filo (lingua russa) sul sito social russo VK.com specula sui possibili usi di DeepFaceLive e sembra aver individuato tutte le possibili applicazioni per il software: come "anonimizzazione" o filtro ricreativo in Zoom e applicazioni simili; come mezzo per commettere frodi o ingannare la persona che guarda il live streaming; e - forse molto probabilmente, alla luce della provenienza del software e della base di utenti - come mezzo per implementare il lavoro sessuale basato su webcam incentrato sulle celebrità (vedi immagine alla fine dell'articolo).

La possibilità di "deepfake cam girls" emerse sui media un paio di anni fa. Nel 2020 l'app Avatarify ha annunciato funzionalità webcam celebrità deepfake, ma con una qualità significativa inferiore rispetto allo standard stabilito da DeepFaceLab, che ora è il deposito di scelta per recente accattivante Il deepfaker di Tom Cruise Chris Ume, così come società di produzione cinematografica e televisiva di alto livello in tutto il mondo.

DeepFaceLab, l'applicazione seed per DeepFaceLive e il segnalati (in lingua russa) per il 95% di tutti i deepfake su YouTube, è anche il software utilizzato da Shamook, il deepfaker il cui straordinario lavoro sul miglioramento dell'apparizione come ospite di Luke Skywalker in The Mandalorian ha recentemente ispirato Lucasfilm assumerlo come consulente VFX.

Adattato alle limitazioni di Deepfake

La metodologia del software deepfake come DeepFaceLab e Cambia faccia è ben servito da un tipico ambiente webcam e rimuove molti degli ostacoli all'autenticità che possono ancora affliggere i deepfake offline.

Ad esempio, i deepfake si comportano in modo meno convincente quando l'utente si rivolge al profilo (o guarda in alto), si muove rapidamente o è soggetto a cambi di scena o improvvisi cambiamenti di illuminazione.

Pertanto la natura "statica" di una tipica chiamata Zoom o webcam gioca con i punti di forza del software. Molti degli esempi più venerati di inganno deepfake negli ultimi tre anni hanno visto relatori rivolti direttamente alla telecamera e muoversi molto poco in un ambiente limitato, come l'imposizione di Steve Buscemi su Jennifer Lawrence a un discorso da Oscare la trasformazione di varie trasmissioni politiche "in telecamera".

Probabilmente l'uso più probabile del modello predefinito di Margot Robbie incluso in DeepFaceLive: un video di test sull'implementazione della cam pubblicato su DeepFaceLab Discord dell'utente russo 'NoFace'.

Modificato 8:52 7 agosto - Cognome corretto.
Modificato alle 8:30 dell'8 agosto – aggiunte immagini da Discord.