Sanntids DeepFake-strømming med DeepFaceLive

Verdens mest brukte deepfake-programvare, og det som er sterkest assosiert med deepfake-porn, får en ny implementering – evnen til å overføre deepfakes av en celebrity-liknelse inn i live webcam-opptak.

Åpnekilde-repositoriet DeepFaceLive er en Windows 10-applikasjon bygget på grunnlag av DeepFaceLab, som raskt ble den ledende ressursen for pornobasert ansiktsbytte etter at skaperen av den opprinnelige deepfake-programvaren forlot prosjektet kort tid etter at deepfaking skapte verdensomspennende kontrovers i 2018. Begge prosjektene lister forumdelen av deepfake-pornosiden mrdeepfakes som en offisiell støtteressurs.

I en video av DeepFaceLive-grensesnittet utgitt av utvikler Ivan Petrov i april, ser vi nedlastet opptak av impersonator Miles Fisher som blir transformert til Tom Cruise i sanntid. Kilde: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

I går kunngjorde lederen for begge prosjektene, den russiske utvikleren Ivan Petrov, en ny versjon av DeepFaceLive på prosjektets Discord-gruppe, og bemerket at DeepFaceLive nå inkorporerer en trenet modell av skuespillerinnen Margot Robbie, en hyppig forekommende subjekt i pornografiske videoer på mrdeepfakes.

Fire eksempelvideoer har blitt lastet opp for å demonstrere evnen til DeepFaceLive til å feste Robbie-identiteten til enhver taler i en webcam-strøm.

En av Margot Robbie-demonstrasjonene av sanntids deepfaking. Kilde: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie-transformasjonsvideoene ble opprinnelig delt på Twitch, men ble deretter slettet.

De tre andre eksemplene på ansiktsbytte som tilbys av DeepFaceLive. Kravet om en omtrentlig ansiktsmatch med målsubjektet er fortsatt synlig. I nedre venstre bilde ser vi at programvaren ikke kan maskere hindringer effektivt, slik som kan oppnås i DeepFaceLab, ettersom dette krever trening av masker i XSeg-applikasjonen i DeepFaceLab, en metode som ikke kan brukes til sanntids-faking.

En ekstra standardmodell, av den britiske komikeren og skuespilleren Rowan Atkinson, er lovet å bli tilgjengelig for DeepFaceLive snart. Opprinnelig hadde DeepFaceLive-repositoriet en CELEB_MODEL-kategori, hvor det var mulig å laste ned andre kjendiser, inkludert Tom Cruise, som Open Neural Network Exchange (.onnx)-filer, selv om disse katalogene har blitt slettet.

Tom Cruise var en inkorporert identitet for en DeepFaceLive-beta tilbake i april 2021, men har siden blitt fjernet som standard i pakken. Imidlertid kan modellen lastes ned og installeres, sammen med trenede modeller fra mange andre kjendiser, og tilpassede modeller trenet av sluttbrukere.

DeepFaceLive kjører eksklusivt som en Windows 10-applikasjon, og er rapportert av en bruker å fungere godt med NVIDIA’s (NVDA ) live-strømming Broadcast-applikasjon.

Å skaffe identiteter

Brukere trenger ikke å gå gjennom den omstendelige prosessen med å samle inn ansiktsmateriale for en datasett, fulgt av de 3-10 dagene som er nødvendige for å få en meget god match, siden FAQ-en for DeepFaceLive sier at det kan bruke ferdige ‘offentlige ansiktsmodeller’ som allerede er samlet inn av andre skapere. I virkeligheten er den største kilden til slike modeller Forum-Trained Models (arkivlenke) -tråden på mrdeepfakes-pornosiden, som kan sees i bruk av en russisk sluttbruker i en nylig YouTube-video.

Vladislav Pedro som bruker DeepFaceLive til å transformere seg selv til Tom Cruise i sanntid. Modellen han laster i videoen er vertet på mrdeepfakes, og har blitt brukt til nå for offline deepfake-behandling. Kilde: https://www.youtube.com/watch?v=0TcCKtObSnI

Selv om de beste resultater vil bli oppnådd ved å trene sluttbrukerens ansikt mot mål-kjendisen, synes kvaliteten på simuleringen å være direkte proporsjonal med hvor nært sluttbrukeren ligner mål-kjendisen. Når brukeren er relativt godt tilpasset kjendisen, kan et overbevisende resultat oppnås.

Som er synlig i de siste tre Margot Robbie-utvekslinger i bildene ovenfor, kan programvaren ikke utføre mirakler der sluttbrukerens ansikt har radikalt forskjellige generelle karakteristika. Imidlertid kan DeepFaceLab også utføre hele hodebytter, en prosess som fullstendig overskriver kildehodet, selv om med begrensninger med hensyn til frisyrer. Kommentarer på Discord-serveren bekrefter at disse også kan implementeres i DeepFaceLive.

DeepFaceLive støtter for øyeblikket bare NVIDIA-GPU-er, med GTX 750 som den laveste maskinvaren som kan oppnå et rimelig resultat med applikasjonen. På en grafikkort med 4GB VRAM, krever det også 32GB swap-diskplass.

Trening av Margot Robbie-modellen – et bilde postet på DeepFaceLab/DeepFaceLive Discord av Ivan Petrov. Her ser vi at kilde-datasettet er ekstremt diversifisert, åpenbart med intensjonen av å skape en robust og godt-generalisert modell som kan transformere en rekke ansiktstyper til bildet av den australske skuespillerinnen. De fleste ‘A’-sett er vanligvis av en enkelt person.

Brukere rapporterer at DeepFaceLive er ekstremt krevende når det gjelder maskinvare-resurser, men Petrov har respondert på dette ved å hevde at DeepFaceLive er ment for godt spesifiserte PC-er i en innendørs miljø.

DeepFaceLab-GitHub har blitt forket over 6 000 ganger, mens den nye DeepFaceLive for øyeblikket har 85 forker.

Mulige bruksområder

Kommentatorer i en tråd (russisk språk) på den russiske sosiale siden VK.com spekulerer på mulige bruksområder for DeepFaceLive, og synes å ha funnet alle de sannsynlige anvendelsene for programvaren: som en ‘anonymisering’ eller rekreasjonsfilter i Zoom og lignende applikasjoner; som et middel for å begå svindel eller bedra personen som ser på live-strømmen; og – kanskje mest sannsynlig, i lys av programvarens proveniens og brukerbase – som et middel for å implementere celebrity-fokusert webcam-basert sexarbeid (se bilde ved slutten av artikkelen).

Muligheten for ‘deepfake cam-girls’ oppstod i media for et par år siden. I 2020 kunngjorde Avatarify-appen deepfake-kjendis-webcam-funksjonalitet, men i en kvalitet som var betydelig lavere enn standarden satt av DeepFaceLab, som nå er repository of choice for nylige overskrift-grabbing Tom Cruise-deepfaker Chris Ume, samt høynivå film- og TV-produksjonsselskaper over hele verden.

DeepFaceLab, kildeapplikasjonen for DeepFaceLive og den rapporterte (russisk språk) rammen for 95% av alle deepfakes på YouTube, er også programvaren som brukes av Shamook, deepfakeren hvis ekstraordinære arbeid på å forbedre Luke Skywalkers gjesteopptreden i The Mandalorian nylig inspirerte Lucasfilm til å ansette ham som en VFX-konsulent.

Tilpasset til deepfake-begrensninger

Metodologien for deepfake-programvare som DeepFaceLab og FaceSwap er godt tjent av en typisk webcam-miljø, og fjerner mange av hindringene til autentisitet som kan fortsatt plage offline-deepfakes.

For eksempel utfører deepfakes mindre overbevisende når brukeren vender til profil (eller ser opp), beveger seg raskt, eller er underlagt sceneendringer eller plutselige endringer i lys.

Derfor spiller den ‘statiske’ naturen til en typisk Zoom-opptak eller webcam til styrkene til programvaren. Mange av de mest respekterte eksemplene på deepfake-triks i de siste tre årene har vist talere som ser direkte mot kameraet og beveger seg svært lite i et begrenset miljø, som påleggelsen av Steve Buscemi på Jennifer Lawrence ved en Oscar-tale, og transformasjonen av ulike ’til kamera’ politiske sendinger.

Det mest sannsynlige bruksområdet for den standard Margot Robbie-modellen som er inkludert i DeepFaceLive – en cam-implementeringstestvideo publisert på DeepFaceLab Discord av den russiske brukeren ‘NoFace’.

Endret 8:52pm 7. august – Rettet etternavn.
Endret 8:30pm 8. august – lagt til bilder fra Discord.