Realtids DeepFake-strömning med DeepFaceLive

Världens mest använda deepfake-mjukvara, och den som är starkast associerad med deepfake-porr, får en ny implementation – förmågan att överlägga deepfakes av en kändisliknande ansikte i live-webbkamerabild.

Det öppna källarkivet DeepFaceLive är ett Windows 10-program byggt på grunderna av DeepFaceLab, som snabbt blev den ledande resursen för porr-baserad ansiktsbyte efter att skaparen av den ursprungliga deepfake-mjukvaran övergav projektet strax efter att deepfaking skapade världsomspännande kontrovers 2018. Båda projekten listar forumavdelningen på deepfake-porr-sajten mrdeepfakes som en officiell supportresurs.

I en video av DeepFaceLive-gränssnittet som släpptes av utvecklaren Ivan Petrov i april, ser vi nedladdad footage av imitatören Miles Fisher som förvandlas till Tom Cruise i realtid. Källa: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Igår meddelade den ledande utvecklaren för båda projekten, den ryske utvecklaren Ivan Petrov, en ny version av DeepFaceLive på projektets Discord-grupp, och noterade att DeepFaceLive nu inkorporerar en tränad modell av skådespelerskan Margot Robbie, en frekvent föremål för pornografiska videor på mrdeepfakes.

Fyra exempelvideo klipp har laddats upp för att demonstrera DeepFaceLives förmåga att fästa Robbie-identiteten på någon talare i en webbkamerabild.

Ett av Margot Robbie-demonstrationerna av live deepfaking. Källa: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie-omvandlingsvideorna delades ursprungligen på Twitch, men togs sedan bort.

De tre andra exemplen på ansiktsbyte som tillhandahålls av DeepFaceLive. Kravet på en ungefärlig ansiktsmatch med målsubjektet är fortfarande tydligt. I den nedre vänstra bilden ser vi att programvaran inte kan maskera hinder effektivt, vilket kan uppnås i DeepFaceLab, eftersom detta kräver träningsmasker i XSeg-programvaran i DeepFaceLab, en metod som inte kan tillämpas på realtidsfaking.

En ytterligare standardmodell, av den brittiska komikern och skådespelaren Rowan Atkinson, lovas att bli tillgänglig för DeepFaceLive snart. Ursprungligen innehöll DeepFaceLive-repot ett CELEB_MODEL-kategori, där det var möjligt att ladda ner andra kändisar, inklusive Tom Cruise, som Open Neural Network Exchange (.onnx)-filer, även om dessa kataloger har tagits bort.

Tom Cruise var en inkorporerad identitet för en DeepFaceLive-beta i april 2021, men har sedan tydligen tagits bort som standard i paketet. Men modellen kan laddas ner och installeras, tillsammans med tränade modeller från många andra kändisar, och anpassade modeller tränade av slutanvändare.

DeepFaceLive körs exklusivt som ett Windows 10-program och rapporteras av en användare att fungera bra med NVIDIA:s live-strömning Broadcast-applikation.

Att skaffa identiteter

Användare behöver inte gå igenom den mödosamma processen att samla in ansiktsmaterial för en dataset, följt av de 3-10 dagar som krävs för att få en mycket bra match, eftersom DeepFaceLive-FAQ anger att det kan använda färdiga “offentliga ansiktsmodeller” som redan har sammanställts av andra skapare. I själva verket är den största källan till sådana modeller Forum-Trained Models (arkivlänk) -tråden på mrdeepfakes-porr-sajten, som kan ses i användning av en rysk slutanvändare i en senaste YouTube-video.

Vladislav Pedro använder DeepFaceLive för att förvandla sig till Tom Cruise i realtid. Modellen han laddar i videon är värd på mrdeepfakes och har använts hittills för offline-deepfake-bearbetning. Källa: https://www.youtube.com/watch?v=0TcCKtObSnI

Även om de bästa resultaten kommer att erhållas genom att träna slutanvändarens ansikte mot målkändisen, verkar kvaliteten på simuleringen vara direkt proportionell till hur nära slutanvändaren liknar kändisen. När användaren är relativt väl anpassad till kändisen kan ett övertygande resultat erhållas.

Som är tydligt i de tre sista Margot Robbie-byten i bilderna ovan, kan programvaran inte utföra mirakel där slutanvändarens ansikte har radikalt olika allmänna egenskaper. Men DeepFaceLab kan också utföra hela huvudbyten, en process som helt skriver över källhuvudet, men med begränsningar när det gäller frisyrer. Kommentarer på Discord-servern bekräftar att dessa också kan implementeras i DeepFaceLive.

DeepFaceLive stöder för närvarande endast NVIDIA-GPU:er, med GTX 750 som den lägsta hårdvaran som kan erhålla ett rimligt resultat med applikationen. På en grafikkort med 4 GB VRAM kräver det också 32 GB swap-diskutrymme.

Träning av Margot Robbie-modellen – en bild publicerad på DeepFaceLab/DeepFaceLive Discord av Ivan Petrov. Här ser vi att käll-datasets är extremt diversifierat, tydligen med avsikt att skapa en robust och välanpassad modell som kan omvandla en mängd olika ansiktsformer till bilden av den australiensiska skådespelerskan. De flesta “A”-uppsättningar är vanligtvis av en enskild individ.

Användare rapporterar att DeepFaceLive är extremt krävande när det gäller hårdvaruresurser, men Petrov har svarat på detta genom att hävda att DeepFaceLive är avsett för välutrustade datorer i en inomhusmiljö.

DeepFaceLab-GitHub har forkats över 6 000 gånger, medan den nya DeepFaceLive för närvarande har 85 fork.

Möjliga användningar

Kommentatorer i en tråd (ryska) på den ryska sociala sajten VK.com spekulerar om de möjliga användningarna av DeepFaceLive, och verkar ha upptäckt alla troliga tillämpningar för programvaran: som en “anonymiserings”- eller rekreativ filter i Zoom och liknande applikationer; som ett sätt att begå bedrägeri eller lura den som tittar på live-strömmen; och – kanske mest sannolikt, med tanke på programvarans ursprung och användarbas – som ett sätt att implementera kändisfokuserad webbkamerabaserad sexarbete (se bild i slutet av artikeln).

Möjligheten till “deepfake-kameratjejer” uppstod i media för ett par år sedan. 2020 meddelade Avatarify-appen deepfake-kändis-webbkamerfunktion, men i en kvalitet som var betydligt lägre än den standard som satts av DeepFaceLab, som nu är arkivet för nyligen rubrikskapande Tom Cruise-deepfaker Chris Ume, samt högnivåfilm- och TV-produktionsföretag runt om i världen.

DeepFaceLab, den ursprungliga applikationen för DeepFaceLive och den rapporterade (ryska) ramen för 95% av alla deepfakes på YouTube, är också den programvara som används av Shamook, den deepfaker vars extraordinära arbete på att förbättra Luke Skywalkers gästframträdande i The Mandalorian nyligen inspirerade Lucasfilm att anställa honom som en VFX-konsult.

Anpassad till deepfake-begränsningar

Metodiken för deepfake-programvara som DeepFaceLab och FaceSwap är väl serverad av en typisk webbkameramiljö, och tar bort många av de hinder som kan fortfarande plåga offline-deepfakes.

Till exempel fungerar deepfakes mindre övertygande när användaren vänder till profil (eller tittar upp), flyttar snabbt eller är föremål för scenförändringar eller plötsliga förändringar av belysning.

Därför “statiska” naturen av en typisk Zoom-samtal eller webbkamera spelar till fördel för programvaran. Många av de mest respekterade exemplen på deepfake-trickery under de senaste tre åren har visat talare som tittar direkt på kameran och flyttar mycket lite i en begränsad miljö, såsom påläggningen av Steve Buscemi på Jennifer Lawrence vid en Oscars-tal, och omvandlingen av olika “till kamera” politiska sändningar.

Det mest sannolika användningsområdet för den standard-Margot Robbie-modell som ingår i DeepFaceLive – en kameraimplementeringstestvideo publicerad på DeepFaceLab Discord av den ryska användaren ‘NoFace’.

Ändrad 8:52 pm 7:e augusti – Rättad efternamn.
Ändrad 8:30 pm 8:e augusti – lade till bilder från Discord.