Realtime DeepFake-streaming met DeepFaceLive

's Werelds meest gebruikte deepfake-software, en degene die het sterkst wordt geassocieerd met deepfake-porno, krijgt een nieuwe implementatie: de mogelijkheid om deepfakes van een beroemdheid over elkaar heen te leggen in live webcambeelden.

De open source-repository DeepFaceLive is een Windows 10-applicatie gebouwd op de fundamenten van DeepFaceLab, dat al snel de belangrijkste bron werd voor op porno gebaseerde face-swapping nadat de maker van de originele deepfake-software het project had verlaten kort nadat de komst van deepfaking in 2018 wereldwijde controverse veroorzaakte. Beide projecten lijst het forumgedeelte van de deepfake-pornosite mrdeepfakes als officiële ondersteuningsbron.

In een video van de DeepFaceLive-interface die in april door ontwikkelaar Ivan Petrov is uitgebracht, zien we gedownloade beelden van imitator Miles Fisher die in realtime wordt getransformeerd in Tom Cruise. Bron: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Gisteren de leiding over beide projecten, Russische ontwikkelaar Ivan Petrov, aangekondigd een nieuwe versie van DeepFaceLive op de Discord-groep van het project, waarin wordt opgemerkt dat DeepFaceLive nu een getraind model bevat van actrice Margot Robbie, een veel voorkomend onderwerp van pornografische video's op mrdeepfakes.

Er zijn vier voorbeeldvideo's geüpload om het vermogen van DeepFaceLive te demonstreren om de Robbie-identiteit aan elke spreker in een webcamfeed te koppelen.

Een van de Margot Robbie-demonstraties van live deepfaking. Bron: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

De Robbie-transformatievideo's werden oorspronkelijk gedeeld op Twitch, maar werden vervolgens verwijderd.

De drie andere voorbeelden van facewapping van DeepFaceLive. De vereiste voor een geschatte gezichtsovereenkomst met het beoogde onderwerp is nog steeds aanwezig. In de afbeelding linksonder zien we dat de software obstakels niet effectief kan maskeren, zoals kan worden bereikt in DeepFaceLab, omdat hiervoor trainingsmaskers in de XSeg-toepassing van DeepFaceLab, een methode die niet kan worden toegepast op real-time faken.

Er wordt beloofd dat een extra standaardmodel, van de Britse komiek en acteur Rowan Atkinson, binnenkort beschikbaar zal worden gesteld voor DeepFaceLive. Oorspronkelijk bevatte de DeepFaceLive-repository een CELEB_MODEL-categorie, waar het mogelijk was om andere beroemdheden, waaronder Tom Cruise, te downloaden als Open Neural Network Exchange (.onnx) bestanden, hoewel deze mappen inmiddels zijn verwijderd.

Tom Cruise was een ingebouwde identiteit voor een DeepFaceLive-bèta in april 2021, maar is sindsdien blijkbaar als standaard in het pakket verwijderd. Het model kan echter worden gedownload en geïnstalleerd, samen met getrainde modellen van vele andere beroemdheden en aangepaste modellen die zijn getraind door eindgebruikers.

DeepFaceLive werkt uitsluitend als een Windows 10-applicatie en is dat ook gerapporteerd door één gebruiker om goed te werken met NVIDIA's live streaming Uitzending toepassing.

Identiteiten verkrijgen

Gebruikers hoeven niet het moeizame proces te doorlopen van het verzamelen van gezichtsmateriaal voor een dataset, gevolgd door de 3-10 dagen die nodig zijn om een ​​zeer goede match te verkrijgen, aangezien de FAQ voor DeepFaceLive stelt dat het kant-en-klare 'openbare gezichtsmodellen' kan gebruiken ' die al zijn samengesteld door andere makers. In feite is de grootste bron van dergelijke modellen de Forum-getrainde modellen (archieflink) thread op de mrdeepfakes-pornosite, die in gebruik kan worden gezien door een Russische eindgebruiker in een recente YouTube-video.

Vladislav Pedro gebruikt DeepFaceLive om zichzelf in realtime te transformeren in Tom Cruise. Het model dat hij in de video laadt, wordt gehost bij mrdeepfakes en is tot nu toe gebruikt voor offline deepfake-verwerking. Bron: https://www.youtube.com/watch?v=0TcCKtObSnI

Hoewel de beste resultaten worden verkregen door het gezicht van de eindgebruiker te trainen tegen de doelberoemdheid, lijkt de kwaliteit van de simulatie recht evenredig te zijn met hoe sterk de eindgebruiker op het doelwit lijkt. Wanneer de gebruiker relatief goed past bij de beroemdheid, kan een overtuigend resultaat worden verkregen.

Zoals blijkt uit de laatste drie Margot Robbie-swaps in de afbeeldingen hierboven, kan de software geen wonderen verrichten wanneer het gezicht van de eindgebruiker radicaal andere algemene kenmerken heeft. DeepFaceLab kan dat echter ook volledige head swaps uitvoeren, een proces dat de bronkop volledig overschrijft, zij het met beperkingen met betrekking tot haarstijlen. Reacties op de Discord-server bevestigen dat deze ook in DeepFaceLive kunnen worden geïmplementeerd.

DeepFaceLive ondersteunt momenteel alleen NVIDIA GPU's, waarbij de GTX 750 de laagste hardware is die met de applicatie een redelijk resultaat kan behalen. Op een grafische kaart met 4 GB VRAM is ook 32 GB wisselschijfruimte vereist.

Het model van Margot Robbie trainen – een afbeelding geplaatst bij de DeepFaceLab/DeepFaceLive Discord door Ivan Petrov. Hier zien we dat de brondataset buitengewoon divers is, blijkbaar met de bedoeling een robuust en goed gegeneraliseerd model te creëren dat een breed scala aan gezichtstypes kan transformeren in het beeld van de Australische actrice. De meeste 'A'-sets zijn meestal van één persoon.

Gebruikers melden dat DeepFaceLive extreem veeleisend is op het gebied van hardwarebronnen, maar Petrov heeft hierop gereageerd door te beweren dat DeepFaceLive bedoeld is voor goed gespecificeerde pc's in een binnenomgeving.

De DeepFaceLab GitHub is geweest gevorkt meer dan 6,000 keer, terwijl de nieuwe DeepFaceLive momenteel 85 vorken heeft.

Mogelijke toepassingen:

Commentatoren in een draad (in het Russisch) speculeren op de Russische sociale site VK.com over de mogelijke toepassingen van DeepFaceLive en lijken alle waarschijnlijke toepassingen voor de software te hebben onderscheiden: als een 'anonimisering' of recreatieve filter in Zoom en soortgelijke toepassingen; als middel om fraude te plegen of de persoon die naar de livestream kijkt te misleiden; en - misschien wel het meest waarschijnlijk, in het licht van de herkomst en het gebruikersbestand van de software - als een middel om op beroemdheden gericht sekswerk via webcam te implementeren (zie afbeelding aan het einde van het artikel).

De mogelijkheid van 'deepfake cammeisjes' voortgekomen een paar jaar geleden in de media. In 2020 de Avatarify-app aangekondigd deepfake webcamfunctionaliteit voor beroemdheden, maar met een aanzienlijke kwaliteit te verlagen dan de standaard van DeepFaceLab, die nu de archief naar keuze voor recent kop grijpen Tom Cruise deepfaker Chris Ume, evenals hoogwaardige film- en tv-productiebedrijven over de hele wereld.

DeepFaceLab, de seed-applicatie voor DeepFaceLive en de gerapporteerd (Russisch) framework voor 95% van alle deepfakes op YouTube, is ook de software die wordt gebruikt door Shamook, de deepfaker wiens buitengewone werk over het verbeteren van het gastoptreden van Luke Skywalker in The Mandalorian inspireerde onlangs Lucasfilm om hem in dienst te nemen als VFX-adviseur.

Aangepast aan deepfake-beperkingen

De methodologie van deepfake-software zoals DeepFaceLab en gezicht wisselen wordt goed bediend door een typische webcamomgeving en verwijdert veel van de obstakels voor authenticiteit die off-line deepfakes nog steeds kunnen plagen.

Deepfakes presteren bijvoorbeeld minder overtuigend wanneer de gebruiker zich omdraait (of opkijkt), snel beweegt of onderhevig is aan scèneveranderingen of plotselinge veranderingen in de verlichting.

Daarom speelt de 'statische' aard van een typische Zoom-oproep of webcam een ​​rol in de sterke punten van de software. Veel van de meest gerespecteerde voorbeelden van deepfake-trucs van de afgelopen drie jaar waren luidsprekers die recht naar de camera gericht waren en heel weinig bewogen in een beperkte omgeving, zoals het opleggen van Steve Buscemi aan Jennifer Lawrence bij een Oscar-speech, en de transformatie van verschillende 'naar de camera' politieke uitzendingen.

Ongetwijfeld het meest waarschijnlijke gebruik van het standaard Margot Robbie-model dat is opgenomen in DeepFaceLive - een testvideo voor cam-implementatie gepubliceerde op de DeepFaceLab Discord door de Russische gebruiker 'NoFace'.

Gewijzigd 8:52 7 augustus - Achternaam gecorrigeerd.
Gewijzigd 8 uur 30 augustus - afbeeldingen van Discord toegevoegd.