Streaming in tempo reale con DeepFaceLive

Il software di deepfake più utilizzato al mondo, e quello più fortemente associato al porno deepfake, sta ottenendo una nuova implementazione – la capacità di sovrapporre deepfake di somiglianza di celebrità in filmati di webcam in tempo reale.

Il repository open source DeepFaceLive è un’applicazione Windows 10 costruita sulle fondamenta di DeepFaceLab, che è diventata rapidamente la risorsa principale per lo scambio di volti basato su porno dopo che il creatore del software originale deepfake ha abbandonato il progetto poco dopo l’avvento del deepfaking che ha creato una controversia mondiale nel 2018. Entrambi i progetti elencano la sezione del forum del sito di porno deepfake mrdeepfakes come risorsa di supporto ufficiale.

In un video dell’interfaccia di DeepFaceLive rilasciato dallo sviluppatore Ivan Petrov in aprile, vediamo il footage scaricato dell’impersonatore Miles Fisher trasformato in Tom Cruise in tempo reale. Fonte: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Ieri il capo di entrambi i progetti, lo sviluppatore russo Ivan Petrov, ha annunciato una nuova versione di DeepFaceLive nel gruppo Discord del progetto, notando che DeepFaceLive ora incorpora un modello addestrato dell’attrice Margot Robbie, una soggetto frequente di video pornografici su mrdeepfakes.

Quattro clip video di esempio sono stati caricati per dimostrare la capacità di DeepFaceLive di attaccare l’identità di Robbie a qualsiasi speaker in un flusso di webcam.

Una delle dimostrazioni di Margot Robbie di deepfaking in tempo reale. Fonte: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

I video di trasformazione di Robbie sono stati originariamente condivisi su Twitch, ma successivamente cancellati.

Gli altri tre esempi di faceswapping forniti da DeepFaceLive. La richiesta di una corrispondenza approssimativa con il soggetto bersaglio è ancora in evidenza. Nell’immagine in basso a sinistra vediamo che il software non può mascherare efficacemente gli ostacoli, come può essere fatto in DeepFaceLab, poiché ciò richiede l’addestramento di maschere nell’applicazione XSeg di DeepFaceLab, un metodo che non può essere applicato al faking in tempo reale.

Un modello predefinito aggiuntivo, del comico e attore britannico Rowan Atkinson, è promesso di essere reso disponibile per DeepFaceLive presto. Originariamente il repository di DeepFaceLive presentava una categoria CELEB_MODEL, dove era possibile scaricare altri celebrità, tra cui Tom Cruise, come file Open Neural Network Exchange (.onnx), sebbene queste directory siano state successivamente cancellate.

Tom Cruise era un’identità incorporata per una versione beta di DeepFaceLive nel mese di aprile del 2021, ma sembra essere stato rimosso come predefinito nel pacchetto. Tuttavia, il modello può essere scaricato e installato, insieme a modelli addestrati da molte altre celebrità, e modelli personalizzati addestrati dagli utenti finali.

DeepFaceLive funziona esclusivamente come un’applicazione Windows 10 e viene segnalato da un utente come funzionante bene con l’applicazione di streaming live di NVIDIA (NVDA ) Broadcast.

Ottenimento delle Identità

Gli utenti non devono passare attraverso il processo laborioso di raccolta di materiale per un set di dati, seguito dai 3-10 giorni necessari per ottenere una corrispondenza molto buona, poiché la FAQ per DeepFaceLive afferma che può utilizzare modelli di volti “pubblici” già compilati da altri creatori. In effetti, la più grande fonte di tali modelli è il thread Forum-Trained Models (collegamento di archiviazione) nel sito di porno deepfake mrdeepfakes, che può essere visto in uso da un utente finale russo in un video recente di YouTube.

Vladislav Pedro che utilizza DeepFaceLive per trasformarsi in Tom Cruise in tempo reale. Il modello che carica nel video è ospitato su mrdeepfakes e è stato utilizzato fino ad ora per l’elaborazione offline di deepfake. Fonte: https://www.youtube.com/watch?v=0TcCKtObSnI

Sebbene i migliori risultati saranno ottenuti addestrando il viso dell’utente finale contro quello della celebrità bersaglio, la qualità della simulazione sembra essere in proporzione diretta con quanto da vicino l’utente finale assomiglia alla celebrità. Quando l’utente finale è relativamente ben adatto alla celebrità, un risultato convincente può essere ottenuto.

Come è evidente negli ultimi tre scambi di Margot Robbie nelle immagini sopra, il software non può eseguire miracoli quando il viso dell’utente finale ha caratteristiche generali radicalmente diverse. Tuttavia, DeepFaceLab può anche eseguire intere sostituzioni di teste, un processo che sovrascrive completamente la testa di origine, sebbene con limitazioni riguardo ai capelli. I commenti sul server Discord confermano che queste possono essere implementate anche in DeepFaceLive.

DeepFaceLive attualmente supporta solo GPU NVIDIA, con la GTX 750 come hardware più basso che può ottenere un risultato ragionevole con l’applicazione. Su una scheda grafica con 4GB di VRAM, richiede anche 32GB di spazio di swap del disco.

Addestramento del modello di Margot Robbie – un’immagine pubblicata su Discord da Ivan Petrov. Qui vediamo che il set di dati di origine è estremamente diversificato, apparentemente con l’intento di creare un modello robusto e ben generalizzato che possa trasformare una vasta gamma di tipi di volti nell’immagine dell’attrice australiana. La maggior parte dei set “A” sono solitamente di un singolo individuo.

Gli utenti segnalano che DeepFaceLive è estremamente esigente in termini di risorse hardware, ma Petrov ha risposto a questo affermando che DeepFaceLive è destinato a PC ben specificati in un ambiente indoor.

Il repository GitHub di DeepFaceLab è stato forkato oltre 6.000 volte, mentre il nuovo DeepFaceLive attualmente ha 85 fork.

Usi Possibili

I commentatori in un thread (lingua russa) sul sito sociale russo VK.com speculano sugli usi possibili di DeepFaceLive e sembrano aver individuato tutte le applicazioni probabili per il software: come “anonimizzazione” o filtro ricreativo in applicazioni come Zoom; come mezzo per commettere frodi o ingannare la persona che guarda il flusso di webcam; e – forse più probabilmente, alla luce della provenienza del software e della sua base di utenti – come mezzo per implementare lavoro di webcam basato su celebrità (vedi immagine alla fine dell’articolo).

La possibilità di “cam girl deepfake” è emersa nei media un paio di anni fa. Nel 2020 l’app Avatarify ha annunciato la funzionalità di webcam deepfake di celebrità, ma a una qualità significativamente inferiore a quella stabilita da DeepFaceLab, che è ora il repository di scelta per gli ultimi titoli di Tom Cruise deepfaker Chris Ume, nonché società di produzione cinematografica e televisiva di alto livello in tutto il mondo.

DeepFaceLab, l’applicazione originale per DeepFaceLive e il framework segnalato (lingua russa) per il 95% di tutti i deepfake su YouTube, è anche il software utilizzato da Shamook, il deepfaker la cui straordinaria opera sull’aspetto di Luke Skywalker in The Mandalorian ha recentemente ispirato Lucasfilm ad assumerlo come consulente VFX.

Adattato alle Limitazioni dei Deepfake

La metodologia del software di deepfake come DeepFaceLab e FaceSwap è ben servita da un ambiente di webcam tipico e rimuove molti degli ostacoli all’autenticità che possono ancora affliggere i deepfake offline.

Ad esempio, i deepfake si eseguono meno convincentemente quando l’utente si volta di profilo (o guarda in alto), si muove rapidamente o è soggetto a cambiamenti di scena o improvvisi cambiamenti di illuminazione.

Pertanto, la natura “statica” di una tipica chiamata Zoom o webcam gioca a favore del software. Molti degli esempi più riveriti di trucchi di deepfake negli ultimi tre anni hanno presentato speaker che affrontano direttamente la telecamera e si muovono molto poco in un ambiente limitato, come l’imposizione di Steve Buscemi su Jennifer Lawrence al discorso degli Oscar, e la trasformazione di vari annunci politici “to camera”.

Probabilmente l’uso più probabile del modello predefinito di Margot Robbie incluso in DeepFaceLive – un video di test di implementazione della webcam pubblicato su Discord da utente russo ‘NoFace’.

Modificato alle 20:52 del 7 agosto – Corretto il cognome.
Modificato alle 20:30 dell’8 agosto – aggiunte immagini da Discord.