Real-Time DeepFake Streaming Med DeepFaceLive

Verdens mest brugte deepfake-software og den, der stærkest er forbundet med deepfake-porno, får en ny implementering – evnen til at indsætte deepfakes af en berømtheds lighed i live-webcam-optagelser.

Det open source-repositorium DeepFaceLive er en Windows 10-applikation bygget på grundlag af DeepFaceLab, som hurtigt blev den førende ressource for pornobaseret ansigtsudskiftning efter, at skaberen af den originale deepfake-software forlod projektet kort efter, at deepfaking skabte verdensomspændende kontrovers i 2018. Begge projekter lister forumsektionen af deepfake-porno-sitet mrdeepfakes som en officiel supportressource.

I en video af DeepFaceLive-grænsefladen, offentliggjort af udvikler Ivan Petrov i april, ser vi downloadede optagelser af impersonator Miles Fisher, der bliver transformeret til Tom Cruise i realtid. Kilde: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

I går annoncerede lederen af begge projekter, den russiske udvikler Ivan Petrov, en ny version af DeepFaceLive på projektets Discord-gruppe og bemærkede, at DeepFaceLive nu inkorporerer en trænet model af skuespillerinden Margot Robbie, en hyppig genstand for pornografiske videoer på mrdeepfakes.

Fire samplevideoer er blevet uploadet for at demonstrere DeepFaceLives evne til at tilføje Robbie-identiteten til enhver taler i en webcam-feed.

En af Margot Robbie-demonstrationerne af live deepfaking. Kilde: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie-transformationerne blev oprindeligt delt på Twitch, men blev herefter slettet.

De tre andre eksempler på ansigtsudskiftning leveret af DeepFaceLive. Kravet om en omtrentlig ansigtstemning med målpersonen er stadig tydeligt. I billedet nederst til venstre ser vi, at softwaren ikke effektivt kan maskere forhindringer, som kan opnås i DeepFaceLab, da dette kræver træning af masker i XSeg-applikationen i DeepFaceLab, en metode der ikke kan anvendes til realtids-faking.

En yderligere standardmodel, af den britiske komiker og skuespiller Rowan Atkinson, er lovet at blive tilgængelig for DeepFaceLive snart. Oprindeligt havde DeepFaceLive-repositoriet en CELEB_MODEL-kategori, hvor det var muligt at downloade andre berømtheder, herunder Tom Cruise, som Open Neural Network Exchange (.onnx)-filer, selvom disse kataloger er blevet slettet.

Tom Cruise var en inkorporeret identitet for en DeepFaceLive-beta tilbage i april 2021, men er siden blevet fjernet som standard i pakken. Dog kan modellen downloades og installeres, sammen med trænede modeller fra mange andre berømtheder og brugerdefinerede modeller.

DeepFaceLive kører eksklusivt som en Windows 10-applikation og er rapporteret af en bruger til at fungere godt med NVIDIA’s live-streaming Broadcast-applikation.

Indhentning af Identiteter

Brugere behøver ikke at gå igennem den omstændelige proces med at samle ansigtmateriale til en dataset, efterfulgt af de 3-10 dage, der er nødvendige for at opnå en meget god match, da FAQ’en for DeepFaceLive angiver, at det kan bruge færdige ‘offentlige ansigtmodeller’, der allerede er samlet af andre skabere. I virkeligheden er den største kilde til sådanne modeller Forum-Trained Models (arkivlink) -tråden på mrdeepfakes-porno-sitet, som kan ses i brug af en russisk slutbruger i en seneste YouTube-video.

Vladislav Pedro, der bruger DeepFaceLive til at transformere sig selv til Tom Cruise i realtid. Modellen, han indlæser i videoen, er hostet på mrdeepfakes og er blevet brugt indtil nu til offline deepfake-behandling. Kilde: https://www.youtube.com/watch?v=0TcCKtObSnI

Selvom de bedste resultater vil blive opnået ved at træne brugerens ansigt mod målberømtheden, synes kvaliteten af simulationen at være direkte proportional med, hvor tæt brugeren ligner berømtheden. Når brugeren er relativt veltilpasset til berømtheden, kan et overbevisende resultat opnås.

Som det er tydeligt i de sidste tre Margot Robbie-udskiftninger i billederne ovenfor, kan softwaren ikke udføre mirakler, hvor brugerens ansigt har radikalt forskellige generelle karakteristika. Dog kan DeepFaceLab også udføre komplette hovedudskiftninger, en proces, der fuldstændigt overskriver kildehovedet, dog med begrænsninger i forhold til frisurer. Kommentarer på Discord-serveren bekræfter, at disse også kan implementeres i DeepFaceLive.

DeepFaceLive understøtter i øjeblikket kun NVIDIA-GPU’er, med GTX 750 som den laveste hardware, der kan opnå et rimeligt resultat med applikationen. På en grafikkort med 4 GB VRAM kræver det også 32 GB swap-diskplads.

Træning af Margot Robbie-modellen – et billede offentliggjort på DeepFaceLab/DeepFaceLive Discord af Ivan Petrov. Her ser vi, at kilde-datasættet er ekstremt diversificeret, åbenbart med det formål at skabe en robust og velgeneraliseret model, der kan transformere en bred vifte af ansigtstyper til billedet af den australske skuespillerinde. De fleste ‘A’-sæt er normalt af en enkelt person.

Brugere rapporterer, at DeepFaceLive er ekstremt krævende i forhold til hardware-resourcer, men Petrov har svaret på dette ved at hævde, at DeepFaceLive er beregnet til veludstyrede PC’er i en indendørs miljø.

DeepFaceLab-GitHub-repositoriet er blevet forket over 6.000 gange, mens den nye DeepFaceLive i øjeblikket har 85 forks.

Mulige Anvendelser

Kommentatorer i en tråd (russisk sprog) på det russiske sociale websted VK.com spekulerer over de mulige anvendelser af DeepFaceLive og synes at have opdaget alle de sandsynlige anvendelser for softwaren: som en ‘anonymiserings’- eller rekreativ filter i Zoom og lignende applikationer; som et middel til at begå svig eller bedrage den person, der ser live-streamingen; og – måske mest sandsynligt, i lyset af softwarens oprindelse og brugerbase – som et middel til at implementere berømthedsfokuseret webcam-baseret sexarbejde (se billedet i slutningen af artiklen).

Muligheden for ‘deepfake-cam-girls’ opstod i medierne for et par år siden. I 2020 annoncerede Avatarify-appen deepfake-berømtheds-webcam-funktion på et niveau, der var betydeligt lavere end standarden sat af DeepFaceLab, som nu er repositoriet af valg for nylig overskriftsinddragende Tom Cruise-deepfaker Chris Ume, samt højt niveau film- og tv-produktionsvirksomheder over hele verden.

DeepFaceLab, den grundlæggende applikation for DeepFaceLive og den rapporterede (russisk sprog) ramme for 95% af alle deepfakes på YouTube, er også den software, der bruges af Shamook, den deepfaker, hvis ekstraordinære arbejde med at forbedre Luke Skywalkers gæsteoptræden i The Mandalorian for nylig inspirerede Lucasfilm til at ansætte ham som VFX-konsulent.

Tilpasset til Deepfake-begrænsninger

Metoden for deepfake-software som DeepFaceLab og FaceSwap er godt betjent af en typisk webcam-miljø, og fjerner mange af de hindringer for autenticitet, der stadig kan plage offline-deepfakes.

For eksempel udfører deepfakes mindre overbevisende, når brugeren vender til profil (eller ser op), flytter hurtigt eller er underlagt sceneændringer eller pludselige ændringer i belysning.

Derfor spiller den ‘statiske’ natur af en typisk Zoom-opkald eller webcam til softwarens styrker. Mange af de mest respekterede eksempler på deepfake-trickery over de sidste tre år har fremhævet talere, der ser direkte ind i kameraet og flytter meget lidt i et begrænset miljø, såsom indsættelsen af Steve Buscemi på Jennifer Lawrence ved en Oscar-tale, og transformationen af forskellige ’til kamera’-politisk udsendelser.

Det mest sandsynlige brug af den standard Margot Robbie-model, der er inkluderet i DeepFaceLive – en cam-implementationstestvideo offentliggjort på DeepFaceLab Discord af den russiske bruger ‘NoFace’.

Ændret 20:52 7. august – Rettet efternavn.
Ændret 20:30 8. august – Tilføjet billeder fra Discord.