Echt-tijd DeepFake Streaming Met DeepFaceLive

De meest gebruikte deepfake software ter wereld, en degene die het sterkst geassocieerd wordt met deepfake porn, krijgt een nieuwe implementatie – de mogelijkheid om deepfakes van een beroemdhedenlijkenis in live webcambeelden te projecteren.

De open source repository DeepFaceLive is een Windows 10-toepassing gebouwd op de fundamenten van DeepFaceLab, die snel de leidende bron werd voor pornogerelateerde gezichtsvervanging nadat de maker van de oorspronkelijke deepfake software het project verliet kort na de wereldwijde controverse over deepfaking in 2018. Beide projecten lijsten de forumsectie van de deepfake porn site mrdeepfakes als officiële ondersteuningsbron.

In een video van de DeepFaceLive-interface, vrijgegeven door ontwikkelaar Ivan Petrov in april, zien we gedownloade beelden van impersonator Miles Fisher die in real-time wordt getransformeerd in Tom Cruise. Bron: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Gisteren kondigde de leidinggevende van beide projecten, de Russische ontwikkelaar Ivan Petrov, een nieuwe versie van DeepFaceLive aan op de Discord-groep van het project, waarin hij aangaf dat DeepFaceLive nu een getraind model van actrice Margot Robbie bevat, een veelvoorkomende onderwerp van pornografische video’s op mrdeepfakes.

Vier voorbeeldvideo’s zijn geüpload om de mogelijkheid van DeepFaceLive te demonstreren om de Robbie-identiteit aan elke spreker in een webcamfeed te koppelen.

Een van de Margot Robbie-demonstraties van live deepfaking. Bron: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

De Robbie-transformatievideo’s werden oorspronkelijk gedeeld op Twitch, maar zijn later verwijderd.

De drie andere voorbeelden van gezichtsvervanging die worden geboden door DeepFaceLive. De vereiste voor een benadering van de doelonderwerp is nog steeds zichtbaar. In de onderste linkerafbeelding zien we dat de software geen obstakels effectief kan maskeren, zoals bereikt kan worden in DeepFaceLab, aangezien dit het trainen van masks in de XSeg-toepassing van DeepFaceLab vereist, een methode die niet kan worden toegepast op real-time faking.

Een extra standaardmodel, van de Britse komiek en acteur Rowan Atkinson, zal binnenkort beschikbaar worden gesteld voor DeepFaceLive. Oorspronkelijk bevatte de DeepFaceLive-repository een CELEB_MODEL-categorie, waarin het mogelijk was om andere beroemdheden, waaronder Tom Cruise, te downloaden als Open Neural Network Exchange (.onnx) bestanden, hoewel deze directories inmiddels zijn verwijderd.

Tom Cruise was een geïntegreerde identiteit voor een DeepFaceLive-bèta terug in april 2021, maar is sindsdien blijkbaar verwijderd als standaard in het pakket. Het model kan echter worden gedownload en geïnstalleerd, evenals getrainde modellen van veel andere beroemdheden, en aangepaste modellen getraind door eindgebruikers.

DeepFaceLive draait exclusief als een Windows 10-toepassing en wordt gerapporteerd door een gebruiker als goed werkend met NVIDIA’s live streaming Broadcast-toepassing.

Identiteiten verkrijgen

Gebruikers hoeven niet door het tijdrovende proces van het verzamelen van gezichtsmateriaal voor een dataset, gevolgd door de 3-10 dagen die nodig zijn om een zeer goede overeenkomst te verkrijgen, aangezien de FAQ voor DeepFaceLive aangeeft dat het gebruik kan maken van “publieke gezichtsmodellen” die al zijn samengesteld door andere makers. In feite is de grootste bron van dergelijke modellen de Forum-Trained Models (archiefkoppeling) thread op de mrdeepfakes-pornssite, die kan worden gezien in gebruik door een Russische eindgebruiker in een recente YouTube-video.

Vladislav Pedro die DeepFaceLive gebruikt om zichzelf in real-time te transformeren in Tom Cruise. Het model dat hij in de video laadt, wordt gehost op mrdeepfakes en is tot nu toe gebruikt voor offline deepfake-verwerking. Bron: https://www.youtube.com/watch?v=0TcCKtObSnI

Hoewel de beste resultaten worden behaald door het trainen van het gezicht van de eindgebruiker tegen het doelberoemde gezicht, lijkt de kwaliteit van de simulatie recht evenredig te zijn met hoe goed de eindgebruiker overeenkomt met de beroemdheid. Wanneer de gebruiker redelijk goed past bij de beroemdheid, kan een overtuigend resultaat worden behaald.

Zoals duidelijk is in de laatste drie Margot Robbie-uitwisselingen in de bovenstaande afbeeldingen, kan de software geen wonderen verrichten waar het gezicht van de eindgebruiker radicaal andere algemene kenmerken heeft. DeepFaceLab kan echter ook hele hoofdruil uitvoeren, een proces dat het bronhoofd volledig overschrijft, hoewel met beperkingen met betrekking tot haardrachten. Opmerkingen op de Discord-server bevestigen dat deze ook in DeepFaceLive kunnen worden geïmplementeerd.

DeepFaceLive ondersteunt momenteel alleen NVIDIA-GPU’s, met de GTX 750 als laagste hardware die een redelijk resultaat kan behalen met de toepassing. Op een grafische kaart met 4 GB VRAM vereist het ook 32 GB swap-schijfruimte.

Het trainen van het Margot Robbie-model – een afbeelding gepost op de DeepFaceLab/DeepFaceLive Discord door Ivan Petrov. Hier zien we dat de bron-dataset uiterst divers is, blijkbaar met de bedoeling om een robuust en goed-generaliseerd model te creëren dat een breed scala aan gezichtstypen kan transformeren in het beeld van de Australische actrice. De meeste ‘A’-sets zijn meestal van één individu.

Gebruikers melden dat DeepFaceLive extreem veeleisend is in termen van hardwarebronnen, maar Petrov heeft hierop gereageerd door te beweren dat DeepFaceLive is bedoeld voor goed uitgeruste pc’s in een binnenomgeving.

De DeepFaceLab GitHub is meer dan 6.000 keer geforkt, terwijl de nieuwe DeepFaceLive momenteel 85 forks heeft.

Mogelijke toepassingen

Commentatoren in een thread (Russische taal) op de Russische sociale site VK.com speculeren over de mogelijke toepassingen van DeepFaceLive en lijken alle waarschijnlijke toepassingen voor de software te hebben onderscheiden: als “anonieme” of recreatieve filter in Zoom en soortgelijke toepassingen; als middel om fraude te plegen of de persoon die de live stream bekijkt te misleiden; en – misschien wel het meest waarschijnlijk, gezien de oorsprong en het gebruikersbestand van de software – als middel om beroemdhedengerichte webcam-gebaseerde sekswerk te implementeren (zie afbeelding aan het einde van het artikel).

De mogelijkheid van ‘deepfake cam girls’ kwam een paar jaar geleden in de media. In 2020 kondigde de Avatarify-app aan deepfake-beroemdheden-webcam-functionaliteit aan, maar op een kwaliteitsniveau aanzienlijk lager dan de standaard die wordt gesteld door DeepFaceLab, dat nu de repository van keuze is voor recente headlinende Tom Cruise-deepfaker Chris Ume, evenals hoogwaardige film- en tv-productiebedrijven over de hele wereld.

DeepFaceLab, de bron-toepassing voor DeepFaceLive en de gerapporteerde (Russische taal) framework voor 95% van alle deepfakes op YouTube, is ook de software die wordt gebruikt door Shamook, de deepfaker wiens buitengewone werk op het verbeteren van Luke Skywalker’s gastoptreden in The Mandalorian onlangs Lucasfilm hielp om hem in te huren als VFX-consultant.

Aangepast aan deepfake-beperkingen

De methodologie van deepfake-software zoals DeepFaceLab en FaceSwap is goed gediend door een typische webcam-omgeving en verwijdert veel van de obstakels voor authenticiteit die nog steeds offline deepfakes kunnen plagen.

Om bijvoorbeeld te noemen: deepfakes presteren minder overtuigend wanneer de gebruiker naar profiel draait (of omhoog kijkt), snel beweegt of onderhevig is aan scène-wijzigingen of plotselinge veranderingen in verlichting.

Derhalve speelt de ‘statische’ aard van een typische Zoom-call of webcam in het voordeel van de software. Veel van de meest gerespecteerde voorbeelden van deepfake-trucs in de afgelopen drie jaar hebben sprekers getoond die rechtstreeks naar de camera kijken en weinig bewegen in een beperkte omgeving, zoals de projectie van Steve Buscemi op Jennifer Lawrence tijdens een Oscar-toespraak, en de transformatie van verschillende ‘naar de camera’ politieke uitzendingen.

Waarschijnlijk het meest waarschijnlijke gebruik van het standaard Margot Robbie-model dat is opgenomen in DeepFaceLive – een cam-implementatietestvideo gepubliceerd op de DeepFaceLab Discord door de Russische gebruiker ‘NoFace’.

Gewijzigd 8:52 uur ‘s avonds 7 augustus – Achternaam gecorrigeerd.
Gewijzigd 8:30 uur ‘s avonds 8 augustus – afbeeldingen van Discord toegevoegd.