Streaming DeepFake in tempo reale con DeepFaceLive

Il software deepfake più utilizzato al mondo, nonché quello più strettamente associato al porno deepfake, sta per ricevere una nuova implementazione: la possibilità di sovrapporre deepfake raffiguranti una celebrità a riprese live della webcam.

L'archivio open source DeepFace dal vivo è un'applicazione Windows 10 costruita sulle fondamenta di DeepFaceLab, che è diventata rapidamente la risorsa principale per lo scambio di volti basato sul porno dopo che il creatore del software deepfake originale ha abbandonato il progetto poco dopo che l'avvento del deepfaking ha creato polemiche mondiali nel 2018. Entrambi i progetti stratagemma la sezione forum del sito porno deepfake mrdeepfakes come risorsa di supporto ufficiale.

In un video dell'interfaccia DeepFaceLive rilasciato dallo sviluppatore Ivan Petrov ad aprile, vediamo filmati scaricati dell'imitatore Miles Fisher che viene trasformato in Tom Cruise in tempo reale. Fonte: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparentemente

Ieri il lead su entrambi i progetti, sviluppatore russo Ivan Petrov, ha annunciato una nuova versione di DeepFaceLive sul gruppo Discord del progetto, sottolineando che DeepFaceLive ora incorpora una modella qualificata dell'attrice Margot Robbie, spesso oggetto di video pornografici su mrdeepfakes.

Sono stati caricati quattro videoclip di esempio per dimostrare la capacità di DeepFaceLive di allegare l'identità di Robbie a qualsiasi oratore in un feed della webcam.

Una delle dimostrazioni di live deepfaking di Margot Robbie. Fonte: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

I video di trasformazione di Robbie sono stati originariamente condivisi su Twitch, ma successivamente eliminati.

Gli altri tre esempi di scambio di volti forniti da DeepFaceLive. Il requisito per una corrispondenza approssimativa del volto con il soggetto target è ancora evidente. Nell'immagine in basso a sinistra vediamo che il software non è in grado di mascherare efficacemente le ostruzioni, come si può ottenere in DeepFaceLab, poiché ciò richiede l'addestramento delle maschere nel Applicazione XSeg di DeepFaceLab, un metodo che non può essere applicato alla falsificazione in tempo reale.

Un ulteriore modello predefinito, del comico e attore britannico Rowan Atkinson, dovrebbe essere presto reso disponibile per DeepFaceLive. Originariamente il repository DeepFaceLive presentava una categoria CELEB_MODEL, dove era possibile scaricare altre celebrità, tra cui Tom Cruise, come Open Neural Network Exchange (.onnx) file, sebbene queste directory siano state successivamente eliminate.

Tom Cruise era un'identità incorporata per una beta di DeepFaceLive nell'aprile del 2021, ma da allora è stato apparentemente rimosso come impostazione predefinita nel pacchetto. Tuttavia, il modello può essere scaricato e installato, insieme a modelli addestrati da molte altre celebrità e modelli personalizzati addestrati dagli utenti finali.

DeepFaceLive funziona esclusivamente come applicazione Windows 10 e lo è segnalati da un utente per funzionare bene con lo streaming live di NVIDIA Broadcast applicazione.

Ottenere identità

Gli utenti non devono affrontare il laborioso processo di raccolta di materiale facciale per un set di dati, seguito dai 3-10 giorni necessari per ottenere una corrispondenza ottimale, poiché le FAQ di DeepFaceLive affermano che è possibile utilizzare "modelli di volti pubblici" già disponibili in commercio, compilati da altri creatori. In effetti, la fonte principale di tali modelli è Modelli formati dal forum (collegamento all'archivio) sul sito porno mrdeepfakes, che può essere visto in uso da un utente finale russo in un recente video di YouTube.

Vladislav Pedro usa DeepFaceLive per trasformarsi in Tom Cruise in tempo reale. Il modello che carica nel video è ospitato su mrdeepfakes ed è stato utilizzato fino ad ora per l'elaborazione deepfake offline. Fonte: https://www.youtube.com/watch?v=0TcCKtObSnI

Sebbene i risultati migliori si ottengano simulando il volto dell'utente finale con quello della celebrità target, la qualità della simulazione sembra essere direttamente proporzionale alla somiglianza tra l'utente finale e il target. Quando l'utente è relativamente ben accoppiato con la celebrità, si può ottenere un risultato convincente.

Come è evidente negli ultimi tre scambi di Margot Robbie nelle immagini sopra, il software non può fare miracoli quando il volto dell'utente finale ha caratteristiche generali radicalmente diverse. Tuttavia, DeepFaceLab può anche eseguire interi cambi di testa, lavorazione che sovrascrive completamente la testina sorgente, seppur con limitazioni per quanto riguarda le acconciature. I commenti sul server Discord confermano che questi possono essere implementati anche in DeepFaceLive.

DeepFaceLive attualmente supporta solo GPU NVIDIA, con la GTX 750 l'hardware più basso che può ottenere un risultato ragionevole con l'applicazione. Su una scheda grafica con 4 GB di VRAM, richiede anche 32 GB di spazio su disco di scambio.

Addestrare il modello di Margot Robbie – un'immagine postato Sul Discord DeepFaceLab/DeepFaceLive di Ivan Petrov. Qui vediamo che il set di dati di origine è estremamente diversificato, apparentemente con l'intento di creare un modello robusto e ben generalizzato in grado di trasformare un'ampia gamma di tipologie facciali nell'immagine dell'attrice australiana. La maggior parte dei set "A" sono solitamente di un singolo individuo.

Gli utenti segnalano che DeepFaceLive è estremamente esigente in termini di risorse hardware, ma Petrov ha risposto affermando che DeepFaceLive è destinato a PC ben equipaggiati in un ambiente interno.

Il DeepFaceLab GitHub è stato biforcuta oltre 6,000 volte, mentre il nuovo DeepFaceLive ha attualmente 85 fork.

Possibili usi

Commentatori in a filo (in lingua russa) sul sito social russo VK.com ipotizzano i possibili utilizzi di DeepFaceLive e sembrano aver individuato tutte le probabili applicazioni del software: come filtro di "anonimizzazione" o ricreativo in Zoom e applicazioni simili; come mezzo per commettere frodi o ingannare la persona che guarda la diretta streaming; e – forse più probabilmente, alla luce della provenienza e della base di utenti del software – come mezzo per implementare un lavoro sessuale basato su webcam incentrato sulle celebrità (vedere l'immagine alla fine dell'articolo).

La possibilità di "ragazze cam deepfake" emerse sui media un paio di anni fa. Nel 2020 l'app Avatarify ha annunciato funzionalità webcam celebrità deepfake, ma con una qualità significativa abbassarla rispetto allo standard stabilito da DeepFaceLab, che ora è il deposito di scelta per recente accattivante Il deepfaker di Tom Cruise Chris Ume, così come società di produzione cinematografica e televisiva di alto livello in tutto il mondo.

DeepFaceLab, l'applicazione seed per DeepFaceLive e il segnalati (in lingua russa) per il 95% di tutti i deepfake su YouTube, è anche il software utilizzato da Shamook, il deepfaker il cui straordinario lavoro il miglioramento dell'apparizione di Luke Skywalker in The Mandalorian ha recentemente ispirato Lucasfilm assumerlo come consulente VFX.

Adattato alle limitazioni di Deepfake

La metodologia del software deepfake come DeepFaceLab e Cambia faccia è ben servito da un tipico ambiente webcam e rimuove molti degli ostacoli all'autenticità che possono ancora affliggere i deepfake offline.

Ad esempio, i deepfake si comportano in modo meno convincente quando l'utente si rivolge al profilo (o guarda in alto), si muove rapidamente o è soggetto a cambi di scena o improvvisi cambiamenti di illuminazione.

Pertanto, la natura "statica" di una tipica chiamata Zoom o webcam gioca a favore dei punti di forza del software. Molti degli esempi più noti di trucchi deepfake degli ultimi tre anni hanno visto gli speaker puntare direttamente verso la telecamera e muoversi pochissimo in un ambiente ristretto, come l'imposizione di Steve Buscemi a Jennifer Lawrence. a un discorso da Oscare la trasformazione di varie trasmissioni politiche "in diretta".

Probabilmente l'uso più probabile del modello predefinito di Margot Robbie incluso in DeepFaceLive: un video di test sull'implementazione della cam pubblicato sul Discord di DeepFaceLab dall'utente russo 'NoFace'.

Modificato 8:52 7 agosto - Cognome corretto.
Modificato alle 8:30 dell'8 agosto – aggiunte immagini da Discord.