Realtime DeepFake-streaming met DeepFaceLive

De meestgebruikte deepfake-software ter wereld, die het meest wordt geassocieerd met deepfake-porno, krijgt een nieuwe implementatie: de mogelijkheid om deepfakes van een beroemdheid over live webcambeelden heen te leggen.

De open source-repository DeepFaceLive is een Windows 10-applicatie gebouwd op de fundamenten van DeepFaceLab, dat al snel de belangrijkste bron werd voor op porno gebaseerde face-swapping nadat de maker van de originele deepfake-software het project had verlaten kort nadat de komst van deepfaking in 2018 wereldwijde controverse veroorzaakte. Beide projecten lijst het forumgedeelte van de deepfake-pornosite mrdeepfakes als officiële ondersteuningsbron.

In een video van de DeepFaceLive-interface die in april door ontwikkelaar Ivan Petrov is uitgebracht, zien we gedownloade beelden van imitator Miles Fisher die in realtime wordt getransformeerd in Tom Cruise. Bron: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Gisteren de leiding over beide projecten, Russische ontwikkelaar Ivan Petrov, aangekondigd een nieuwe versie van DeepFaceLive in de Discord-groep van het project, waarbij werd opgemerkt dat DeepFaceLive nu een getraind model van actrice Margot Robbie incorporeert, een vaak voorkomend onderwerp van pornografische video's op mrdeepfakes.

Er zijn vier voorbeeldvideo's geüpload om het vermogen van DeepFaceLive te demonstreren om de Robbie-identiteit aan elke spreker in een webcamfeed te koppelen.

Een van de Margot Robbie-demonstraties van live deepfaking. Bron: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

De Robbie-transformatievideo's werden oorspronkelijk gedeeld op Twitch, maar werden vervolgens verwijderd.

De drie andere voorbeelden van facewapping van DeepFaceLive. De vereiste voor een geschatte gezichtsovereenkomst met het beoogde onderwerp is nog steeds aanwezig. In de afbeelding linksonder zien we dat de software obstakels niet effectief kan maskeren, zoals kan worden bereikt in DeepFaceLab, omdat hiervoor trainingsmaskers in de XSeg-toepassing van DeepFaceLab, een methode die niet kan worden toegepast op real-time vervalsing.

Er wordt beloofd dat een extra standaardmodel, van de Britse komiek en acteur Rowan Atkinson, binnenkort beschikbaar zal worden gesteld voor DeepFaceLive. Oorspronkelijk bevatte de DeepFaceLive-repository een CELEB_MODEL-categorie, waar het mogelijk was om andere beroemdheden, waaronder Tom Cruise, te downloaden als Open Neural Network Exchange (.onnx) bestanden, hoewel deze mappen inmiddels zijn verwijderd.

Tom Cruise was een ingebouwde identiteit voor een DeepFaceLive-bèta in april 2021, maar is sindsdien blijkbaar als standaard in het pakket verwijderd. Het model kan echter worden gedownload en geïnstalleerd, samen met getrainde modellen van vele andere beroemdheden en aangepaste modellen die zijn getraind door eindgebruikers.

DeepFaceLive werkt uitsluitend als een Windows 10-applicatie en is dat ook gerapporteerd door één gebruiker om goed te werken met NVIDIA's live streaming Uitzending toepassing.

Identiteiten verkrijgen

Gebruikers hoeven niet het moeizame proces te doorlopen van het verzamelen van gezichtsmateriaal voor een dataset, gevolgd door de 3-10 dagen die nodig zijn om een ​​zeer goede match te verkrijgen, aangezien de FAQ van DeepFaceLive aangeeft dat het gebruik kan maken van kant-en-klare 'openbare gezichtsmodellen' die al door andere makers zijn samengesteld. De grootste bron van dergelijke modellen is in feite de Forum-getrainde modellen (archieflink) thread op de mrdeepfakes-pornosite, die in gebruik kan worden gezien door een Russische eindgebruiker in een recente YouTube-video.

Vladislav Pedro gebruikt DeepFaceLive om zichzelf in realtime te transformeren in Tom Cruise. Het model dat hij in de video laadt, wordt gehost bij mrdeepfakes en is tot nu toe gebruikt voor offline deepfake-verwerking. Bron: https://www.youtube.com/watch?v=0TcCKtObSnI

Hoewel de beste resultaten worden behaald door het gezicht van de eindgebruiker te trainen tegen de beoogde beroemdheid, lijkt de kwaliteit van de simulatie direct evenredig te zijn met hoe goed de eindgebruiker op de beoogde beroemdheid lijkt. Wanneer de gebruiker relatief goed bij de beroemdheid past, kan een overtuigend resultaat worden behaald.

Zoals blijkt uit de laatste drie Margot Robbie-wissels in de bovenstaande afbeeldingen, kan de software geen wonderen verrichten wanneer het gezicht van de eindgebruiker radicaal andere algemene kenmerken heeft. DeepFaceLab kan echter ook volledige head swaps uitvoeren, een proces dat de bronkop volledig overschrijft, zij het met beperkingen met betrekking tot haarstijlen. Reacties op de Discord-server bevestigen dat deze ook in DeepFaceLive kunnen worden geïmplementeerd.

DeepFaceLive ondersteunt momenteel alleen NVIDIA GPU's, waarbij de GTX 750 de laagste hardware is die met de applicatie een redelijk resultaat kan behalen. Op een grafische kaart met 4 GB VRAM is ook 32 GB wisselschijfruimte vereist.

Het model van Margot Robbie trainen – een afbeelding geplaatst op de DeepFaceLab/DeepFaceLive Discord door Ivan Petrov. Hier zien we dat de brondataset extreem divers is, kennelijk met de bedoeling een robuust en goed gegeneraliseerd model te creëren dat een breed scala aan gezichtstypen kan transformeren naar het beeld van de Australische actrice. De meeste 'A'-sets zijn meestal van één persoon.

Gebruikers melden dat DeepFaceLive extreem veeleisend is op het gebied van hardwarebronnen, maar Petrov heeft hierop gereageerd door te beweren dat DeepFaceLive bedoeld is voor goed gespecificeerde pc's in een binnenomgeving.

De DeepFaceLab GitHub is geweest gevorkt meer dan 6,000 keer, terwijl de nieuwe DeepFaceLive momenteel 85 vorken heeft.

Mogelijke toepassingen:

Commentatoren in een draad (in het Russisch) op de Russische sociale site VK.com speculeren over mogelijke toepassingen van DeepFaceLive en lijken alle mogelijke toepassingen voor de software te hebben onderscheiden: als een 'anonimiserings'- of recreatief filter in Zoom en vergelijkbare toepassingen; als middel om fraude te plegen of de persoon die de livestream bekijkt te misleiden; en – gezien de herkomst en het aantal gebruikers van de software misschien wel het meest waarschijnlijk – als middel om op beroemdheden gerichte webcam-gebaseerde sekswerk te implementeren (zie afbeelding aan het einde van het artikel).

De mogelijkheid van 'deepfake camgirls' voortgekomen een paar jaar geleden in de media. In 2020 de Avatarify-app aangekondigd deepfake webcamfunctionaliteit voor beroemdheden, maar met een aanzienlijke kwaliteit te verlagen dan de standaard van DeepFaceLab, die nu de archief naar keuze voor recent kop grijpen Tom Cruise deepfaker Chris Ume, evenals hoogwaardige film- en tv-productiebedrijven over de hele wereld.

DeepFaceLab, de seed-applicatie voor DeepFaceLive en de gerapporteerd (Russisch) framework voor 95% van alle deepfakes op YouTube, is ook de software die wordt gebruikt door Shamook, de deepfaker wiens buitengewone zelfstandig over het verbeteren van Luke Skywalkers gastoptreden in The Mandalorian, onlangs geïnspireerd door Lucasfilm om hem in dienst te nemen als VFX-adviseur.

Aangepast aan deepfake-beperkingen

De methodologie van deepfake-software zoals DeepFaceLab en gezicht wisselen wordt goed bediend door een typische webcamomgeving en verwijdert veel van de obstakels voor authenticiteit die off-line deepfakes nog steeds kunnen plagen.

Deepfakes presteren bijvoorbeeld minder overtuigend wanneer de gebruiker zich omdraait (of opkijkt), snel beweegt of onderhevig is aan scèneveranderingen of plotselinge veranderingen in de verlichting.

Daarom speelt het 'statische' karakter van een typisch Zoom-gesprek of webcam de sterke punten van de software in de hand. Veel van de meest geprezen voorbeelden van deepfake-trucs van de afgelopen drie jaar waren sprekers die recht in de camera keken en nauwelijks bewogen in een beperkte omgeving, zoals de oplegging van Steve Buscemi aan Jennifer Lawrence. bij een Oscar-speechen de transformatie van diverse politieke uitzendingen 'naar de camera'.

Ongetwijfeld het meest waarschijnlijke gebruik van het standaard Margot Robbie-model dat is opgenomen in DeepFaceLive - een testvideo voor cam-implementatie gepubliceerde op de DeepFaceLab Discord door de Russische gebruiker 'NoFace'.

Gewijzigd 8:52 7 augustus - Achternaam gecorrigeerd.
Gewijzigd 8 uur 30 augustus - afbeeldingen van Discord toegevoegd.