Transmisie în timp real de DeepFake cu DeepFaceLive

Lumea cel mai utilizat software de deepfake și cel mai puternic asociat cu pornografia de deepfake primește o nouă implementare – capacitatea de a suprapune deepfake-uri de asemănare cu celebrități în imagini live de webcam.

Depozitul de cod deschis DeepFaceLive este o aplicație Windows 10 construită pe baza DeepFaceLab, care a devenit rapid resursa principală pentru schimbul de fețe bazat pe pornografie după ce creatorul software-ului original de deepfake a abandonat proiectul în curând după ce apariția deepfake-urilor a creat o controversă la nivel mondial în 2018. Ambele proiecte listă secțiunea forum a site-ului de pornografie de deepfake mrdeepfakes ca o resursă de suport oficial.

Într-un videoclip al interfeței DeepFaceLive lansat de dezvoltatorul Ivan Petrov în aprilie, vedem imagini descărcate ale impersonatorului Miles Fisher transformat în Tom Cruise în timp real. Sursă: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Ieri, liderul ambelor proiecte, dezvoltatorul rus Ivan Petrov, a anunțat o nouă versiune a DeepFaceLive în grupul Discord al proiectului, notând că DeepFaceLive incorporează acum un model antrenat al actriței Margot Robbie, o subiect frecventă a videoclipurilor pornografice de la mrdeepfakes.

Patru clipuri video de exemplu au fost încărcate pentru a demonstra capacitatea DeepFaceLive de a atașa identitatea Robbie la orice vorbitor într-un flux de webcam.

Una dintre demonstrațiile lui Margot Robbie de deepfaking în timp real. Sursă: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Videoclipurile de transformare Robbie au fost inițial distribuite pe Twitch, dar ulterior șterse.

Celelalte trei exemple de schimbare de fețe oferite de DeepFaceLive. Cerința pentru o potrivire aproximativă a feței cu subiectul țintă este încă în evidență. În imaginea din stânga jos, vedem că software-ul nu poate masca eficient obstacolele, așa cum se poate face în DeepFaceLab, deoarece aceasta necesită antrenarea de măști în aplicația XSeg a DeepFaceLab, o metodă care nu poate fi aplicată la deepfaking în timp real.

Un model implicit suplimentar, al comedianului și actorului britanic Rowan Atkinson, este promis a fi disponibil pentru DeepFaceLive în curând. Inițial, depozitul DeepFaceLive a prezentat o categorie CELEB_MODEL, unde era posibil să descărcați alte celebrități, inclusiv Tom Cruise, ca fișiere Open Neural Network Exchange (.onnx), deși aceste directoare au fost ulterior șterse.

Tom Cruise a fost o identitate încorporată într-o versiune beta a DeepFaceLive încă din aprilie 2021, dar a fost ulterior eliminat ca implicit în pachet. Cu toate acestea, modelul poate fi descărcat și instalat, împreună cu modele antrenate de la multe alte celebrități și modele personalizate antrenate de utilizatori.

DeepFaceLive rulează exclusiv ca o aplicație Windows 10 și este raportat de un utilizator că funcționează bine cu aplicația de difuzare live Broadcast a NVIDIA (NVDA ).

Obținerea Identităților

Utilizatorii nu au nevoie să treacă prin procesul laborios de colectare a materialului de față pentru un set de date, urmat de 3-10 zile necesare pentru a obține o potrivire foarte bună, deoarece FAQ-ul pentru DeepFaceLive afirmă că poate utiliza “modele de fețe publice” care au fost deja compilate de alți creatori. În esență, cea mai mare sursă de astfel de modele este Forum-Trained Models (legătură de arhivă) la site-ul de pornografie de deepfake mrdeepfakes, care poate fi văzută în utilizare de un utilizator rus într-un videoclip recent de pe YouTube.

Vladislav Pedro utilizând DeepFaceLive pentru a se transforma în Tom Cruise în timp real. Modelul pe care îl încarcă în videoclip este găzduit la mrdeepfakes și a fost utilizat până acum pentru procesarea offline de deepfake. Sursă: https://www.youtube.com/watch?v=0TcCKtObSnI

Deși cele mai bune rezultate vor fi obținute prin antrenarea feței utilizatorului împotriva celei a celebrității, calitatea simulării pare a fi direct proporțională cu cât de mult se aseamănă utilizatorul cu celebritatea. Când utilizatorul este relativ bine adaptat la celebritate, poate fi obținut un rezultat convingător.

Așa cum se vede în ultimele trei schimbări de fețe cu Margot Robbie din imaginile de mai sus, software-ul nu poate face minuni atunci când fața utilizatorului are caracteristici generale radical diferite. Cu toate acestea, DeepFaceLab poate efectua schimbări complete de cap, un proces care suprascrie complet capul sursă, cu limitări în ceea ce privește coafurile. Comentariile de pe serverul Discord confirmă că acestea pot fi implementate și în DeepFaceLive.

DeepFaceLive suportă în prezent doar GPU-uri NVIDIA, cu GTX 750 ca cel mai mic hardware care poate obține un rezultat rezonabil cu aplicația. Pe o cartelă grafică cu 4GB de VRAM, necesită și 32GB de spațiu de schimb pe disc.

Antrenarea modelului Margot Robbie – o imagine postată la Discordul DeepFaceLab/DeepFaceLive de Ivan Petrov. Aici vedem că setul de date sursă este extrem de divers, aparent cu intenția de a crea un model robust și bine generalizat care poate transforma o gamă largă de tipuri de fețe în imaginea actriței australiene. Cele mai multe seturi “A” sunt de obicei ale unei singure persoane.

Utilizatorii raportează că DeepFaceLive este extrem de solicitant în ceea ce privește resursele de hardware, dar Petrov a răspuns la acest lucru, afirmând că DeepFaceLive este destinat pentru calculatoare bine echipate într-un mediu interior.

Depozitul GitHub al DeepFaceLab a fost forkat de peste 6.000 de ori, în timp ce noul DeepFaceLive are în prezent 85 de fork-uri.

Posibile Utilizări

Comentatorii dintr-un thread (limbă rusă) de pe site-ul social rus VK.com speculează asupra posibilelor utilizări ale DeepFaceLive și par să fi descoperit toate aplicațiile probabile ale software-ului: ca un filtru de “anonimizare” sau de divertisment în aplicații precum Zoom; ca un mijloc de a comite fraude sau de a înșela persoana care urmărește fluxul live; și – poate cel mai probabil, în lumina provenienței software-ului și a bazei sale de utilizatori – ca un mijloc de implementare a muncii sexuale bazate pe celebrități pe webcam (a se vedea imaginea de la sfârșitul articolului).

Possibilitatea “cam girl-urilor de deepfake” a apărut în mass-media acum câțiva ani. În 2020, aplicația Avatarify a anunțat funcționalitatea de deepfake de celebritate pe webcam, dar la o calitate semnificativ mai mică decât standardul stabilit de DeepFaceLab, care este acum depozitul de alegere pentru deepfaker-ul Tom Cruise, Chris Ume, precum și pentru companii de producție de film și televiziune de înalt nivel din întreaga lume.

DeepFaceLab, aplicația inițială pentru DeepFaceLive și raportat (limbă rusă) cadru pentru 95% din toate deepfake-urile de pe YouTube, este și software-ul utilizat de Shamook, deepfaker-ul a cărui lucrare extraordinară de îmbunătățire a apariției lui Luke Skywalker în The Mandalorian a inspirat recent Lucasfilm să-l angajeze ca consultant VFX.

Adaptat la Limitările Deepfake

Metodologia software-ului de deepfake, cum ar fi DeepFaceLab și FaceSwap, este bine servită de un mediu tipic de webcam și elimină multe dintre obstacolele care pot încă plaga deepfake-urile offline.

De exemplu, deepfake-urile funcționează mai puțin convingător atunci când utilizatorul se întoarce spre profil (sau se uită în sus), se mișcă rapid sau este supus schimbărilor de scenă sau schimbărilor bruște de iluminare.

Prin urmare, natura “statică” a unei apeluri Zoom tipice sau a unei webcam joacă în favoarea software-ului. Multe dintre exemplele cele mai reverite de deepfake au prezentat vorbitori care se uită direct la cameră și se mișcă foarte puțin într-un mediu constrâns, cum ar fi impunerea lui Steve Buscemi pe Jennifer Lawrence la un discurs de la Oscar, și transformarea transmisiunilor politice “la cameră”.

Probabil cea mai probabilă utilizare a modelului implicit Margot Robbie inclus în DeepFaceLive – un videoclip de test de implementare a camerei publicat pe Discordul DeepFaceLab de utilizatorul rus ‘NoFace’.

Revizuit la 8:52 pm, 7 august – Corectat numele de familie.
Revizuit la 8:30 pm, 8 august – adăugate imagini de pe Discord.