Ontkoppeling is de volgende deepfake-revolutie

CGI-gegevensverrijking wordt gebruikt in een nieuw project om meer controle te krijgen over deepfake-beelden. Hoewel u nog steeds geen CGI-hoofden kunt gebruiken om de ontbrekende gaten in deepfake-gezichtsdatasets te vullen, betekent een nieuwe golf van onderzoek naar het ontkoppelen van identiteit van context dat u dit binnenkort wel kunt.

De makers van enkele van de meest succesvolle virale deepfake-video’s van de afgelopen jaren selecteren hun bronvideo’s zeer zorgvuldig, waarbij ze gestaagde profielfoto’s (d.w.z. de soort van zij-aanzichten die populair zijn gemaakt door politie-arrestprocedures), acute hoeken en ongebruikelijke of overdreven uitdrukkingen vermijden. Steeds vaker zijn de demonstratievideo’s die door virale deepfakers worden geproduceerd, bewerkte compilaties die de ‘makkelijkste’ hoeken en uitdrukkingen selecteren om te deepfaken.

Feitelijk is de meest geschikte doelvideo voor het invoegen van een deepfake van een beroemde persoon een video waarin de oorspronkelijke persoon (wiens identiteit wordt gewist door de deepfake) rechtstreeks in de camera kijkt, met een minimale range aan uitdrukkingen.

De meeste populaire deepfakes van de afgelopen jaren hebben onderwerpen getoond die rechtstreeks in de camera kijken en ofwel alleen populaire uitdrukkingen (zoals glimlachen) dragen, die gemakkelijk kunnen worden geëxtraheerd uit paparazzi-uitvoer op de rode loper, of (zoals bij de valse Sylvester Stallone als Terminator uit 2019, links afgebeeld), ideaal zonder enige uitdrukking, aangezien neutrale uitdrukkingen extreem gewoon zijn en gemakkelijk kunnen worden geïntegreerd in deepfake-modellen.

Omdat deepfake-technologieën zoals DeepFaceLab en FaceSwap deze eenvoudige swaps heel goed uitvoeren, zijn we voldoende verbaasd over wat ze bereiken, zonder te merken wat ze niet kunnen, en – vaak – proberen we het zelfs niet eens:

Grabs uit een geprezen deepfake-video waarin Arnold Schwarzenegger wordt getransformeerd in Sylvester Stallone – tenzij de hoeken te lastig zijn. Profielen blijven een hardnekkig probleem bij huidige deepfake-benaderingen, gedeeltelijk omdat de open source-software die wordt gebruikt om gezichtshoudingen in deepfake-kaders te definiëren, niet is geoptimaliseerd voor zij-aanzichten, maar voornamelijk omdat er een gebrek is aan geschikt bronmateriaal in een of beide benodigde datasets. Bron: https://www.youtube.com/watch?v=AQvCmQFScMA

Nieuw onderzoek uit Israël stelt een novate methode voor om synthetische gegevens, zoals CGI-hoofden, te gebruiken om deepfaking naar de jaren 2020 te brengen, door identiteit echt te scheiden van context (d.w.z. de essentiële gezichtskenmerken van ‘Tom Cruise’, vanuit alle hoeken).

Het nieuwe systeem scheidt pose en context (d.w.z. het knipperen van een oog) van de identiteitscodering van de persoon, met behulp van ongerelateerde synthetische gezichtsgegevens (links afgebeeld). In de bovenste rij zien we een ‘knipperen’ dat wordt overgebracht op de identiteit van Barack Obama, aangestuurd door het geleerde niet-lineaire pad van de latentruimte van een GAN, vertegenwoordigd door het CGI-beeld links. In de rij eronder zien we de uitgestrekte mondhoekfacet die wordt overgebracht op de voormalige president. Onderaan rechts zien we beide kenmerken tegelijkertijd toegepast. Bron: https://arxiv.org/pdf/2111.08419.pdf

Dit is geen deepfake-hoofdpoppenkast, een techniek die meer geschikt is voor avatars en gedeeltelijke lip-synchronisatie, en die beperkte mogelijkheden heeft voor volwaardige deepfake-video-transformaties.

Het vertegenwoordigt eerder een manier om vooruit te komen voor een fundamentele scheiding van instrumentatie (zoals ‘verander de hoek van het hoofd’, ‘maak een frons’) van identiteit, en biedt een pad naar een hoogwaardige in plaats van ‘afgeleide’ beeldsynthese-gebaseerde deepfake-kader.

Het nieuwe artikel heet Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples, en komt van onderzoekers aan de Technion – Israel Institute of Technology.

Om te begrijpen wat het onderzoek betekent, laten we eens kijken hoe deepfakes momenteel worden geproduceerd, van deepfake-pornosites tot Industrial Light and Magic (aangezien de DeepFaceLab-open source-repository momenteel dominant is in zowel ‘amateur’ als professionele deepfaking).

Wat houdt de huidige deepfake-technologie tegen?

Deepfakes worden momenteel gemaakt door een encoder/decoder-machine learning-model te trainen op twee mappen met gezichtsbeelden – de persoon die u wilt ‘overschilderen’ (in het eerder genoemde voorbeeld, dat is Arnie) en de persoon die u in de beelden wilt projecteren (Sly).

Voorbeelden van variërende pose en lichtomstandigheden in twee verschillende gezichtssets. Let op de kenmerkende uitdrukking aan het einde van de derde rij in kolom A, die waarschijnlijk geen directe equivalent heeft in de andere dataset.

Het encoder/decoder-systeem vergelijkt vervolgens elk afzonderlijk beeld in elke map met elkaar, onderhoudt, verbetert en herhaalt deze bewerking honderdduizenden keren (vaak gedurende een week), totdat het de essentiële kenmerken van beide identiteiten voldoende begrijpt om ze naar believen om te wisselen.

Voor elk van de twee personen die in het proces worden omgewisseld, is wat de deepfake-architectuur over identiteit leert verweven met context. Het kan geen principes leren en toepassen over een generieke pose ‘voor goed en alle’, maar heeft overvloedige voorbeelden nodig in de trainingsdataset, voor elke identiteit die betrokken is bij het gezichtswisselen.

Daarom, als u twee identiteiten wilt omwisselen die iets ongebruikelijks doen dan alleen maar glimlachen of rechtstreeks in de camera kijken, heeft u veel voorbeelden nodig van die specifieke pose/identiteit in de twee gezichtssets:

Omdat gezichts-ID en pose-kenmerken momenteel zo verweven zijn, is een brede gelijkheid van expressie, hoofdpose en (in mindere mate) licht nodig in twee gezichtsdatasets om een effectief deepfake-model te trainen op systemen zoals DeepFaceLab. Hoe minder een bepaalde configuratie (zoals ‘zijaanzicht/glimlachen/belicht’) in beide gezichtssets voorkomt, hoe minder nauwkeurig het zal worden weergegeven in een deepfake-video, als dat nodig is.

Als set A de ongebruikelijke pose bevat, maar set B deze ontbreekt, bent u eigenlijk pech hebt; ongeacht hoe lang u het model traint, het zal nooit leren om die pose goed te reproduceren tussen de identiteiten, omdat het alleen de helft van de benodigde informatie had toen het werd getraind.

Zelfs als u overeenkomende beelden heeft, kan het nog niet genoeg zijn: als set A de overeenkomende pose heeft, maar met harde zijverlichting, in vergelijking met de vlak verlichte overeenkomende pose in de andere gezichtsset, zal de kwaliteit van de swap niet zo goed zijn als wanneer elk een gemeenschappelijke lichtkenmerken zou hebben.

Waarom de gegevens schaars zijn

Tenzij u regelmatig wordt aangehouden, heeft u waarschijnlijk niet veel profielfoto’s van uzelf. Als er al enkele waren, hebt u ze waarschijnlijk weggegooid. Aangezien fotoagentschappen dit ook doen, zijn profielgezichten moeilijk te vinden.

Deepfakers voegen vaak meerdere kopieën van de beperkte profielgegevens die ze voor een identiteit in een gezichtsset hebben toe, alleen maar om ervoor te zorgen dat die pose tenminste een beetje aandacht en tijd krijgt tijdens de training, in plaats van te worden genegeerd als een outlier.

Maar er zijn veel meer mogelijke soorten zij-aanzichten dan waarschijnlijk beschikbaar zullen zijn voor opname in een dataset – glimlachen, fronsen, schreeuwen, huilen, donker verlicht, minachtend, verveeld, vrolijk, flits verlicht, omhoog kijken, omlaag kijken, ogen open, ogen dicht… enzovoort. Elke van deze poses, in meerdere combinaties, kan nodig zijn in een doel-deepfake-video.

En dat is nog maar profielen. Hoeveel foto’s van uzelf heeft u die recht omhoog kijken? Hebt u er genoeg om breed de 10.000 mogelijke uitdrukkingen te vertegenwoordigen die u zou kunnen dragen terwijl u die exacte pose van die exacte camerahoek houdt, die tenminste enkele van de één miljoen mogelijke lichtomgevingsomstandigheden dekt?

De kans is groot dat u niet eens één foto van uzelf heeft die omhoog kijkt. En dat is nog maar twee hoeken van de honderd of meer die nodig zijn voor volledige dekking.

Zelfs als het mogelijk zou zijn om een volledige dekking van een gezicht vanuit alle hoeken onder een reeks lichtomstandigheden te genereren, zou de resulterende dataset veel te groot zijn om te trainen, in de orde van honderdduizenden foto’s; en zelfs als het wel getraind kon worden, zou de aard van het trainingsproces voor huidige deepfake-kaders de meerderheid van die extra gegevens ten gunste van een beperkt aantal afgeleide kenmerken weggooien, omdat de huidige kaders reductionistisch zijn en niet erg schaalbaar.

Synthetische vervanging

Sinds het begin van deepfakes hebben deepfakers geëxperimenteerd met het gebruik van CGI-achtige beelden, hoofden gemaakt in 3D-toepassingen zoals Cinema4D en Maya, om die ‘ontbrekende poses’ te genereren.

Geen AI nodig; een actrice wordt gereconstrueerd in een traditioneel CGI-programma, Cinema 4D, met behulp van netwerken en bitmap-teksturen – technologie die teruggaat tot de jaren 60, maar pas vanaf de jaren 90 op grote schaal werd gebruikt. In theorie kan dit gezichtsmodel worden gebruikt om deepfake-brondata te genereren voor ongebruikelijke poses, lichtstijlen en gezichtsuitdrukkingen. In werkelijkheid is het van beperkt of geen nut geweest in deepfaking, omdat de ‘valsheid’ van de renders de neiging heeft door te dringen in gewisselde video’s. Bron: Deze afbeelding van de auteur op https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Deze methode wordt over het algemeen vroeg in de praktijk door nieuwe deepfake-beoefenaars verlaten, omdat het, hoewel het poses en uitdrukkingen kan bieden die anders niet beschikbaar zijn, de synthetische verschijning van de CGI-gezichten meestal doorsijpelt naar de swaps vanwege de verweving van ID en contextuele/semantische informatie.

Dit kan leiden tot het plotselinge verschijnen van ‘uncanny valley’-gezichten in een overtuigende deepfake-video, omdat het algoritme begint te putten uit de enige gegevens die het mogelijk heeft voor een ongebruikelijke pose of uitdrukking – manifest fake gezichten.

Onder de meest populaire onderwerpen voor deepfakers, is een 3D-deepfake-algoritme voor de Australische actrice Margot Robbie opgenomen in de standaardinstallatie van DeepFaceLive, een versie van DeepFaceLab die deepfakes kan uitvoeren in een live-stream, zoals een webcam-sessie. Een CGI-versie, zoals hierboven afgebeeld, kan worden gebruikt om ongebruikelijke ‘ontbrekende’ hoeken in deepfake-datasets te verkrijgen. Bron: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

CGI-gezichten als losse, conceptuele richtlijnen

In plaats daarvan is de nieuwe Delta-GAN-Encoder (DGE)-methode van de Israëlische onderzoekers effectiever, omdat de pose- en contextuele informatie van de CGI-beelden volledig zijn gescheiden van de ‘identiteitsinformatie’ van het doelwit.

We kunnen dit principe in actie zien in de onderstaande afbeelding, waarin verschillende hoofdoriëntaties zijn verkregen door het gebruik van CGI-beelden als richtlijn. Aangezien de identiteitskenmerken niet verwant zijn aan de contextuele kenmerken, is er geen doorsijpeling van de fake uitziende synthetische verschijning van het CGI-gezicht, noch van de identiteit die erin wordt afgebeeld:

Met de nieuwe methode hebt u geen drie afzonderlijke echte bronbeelden nodig om een deepfake vanuit meerdere hoeken te maken – u kunt gewoon het CGI-hoofd draaien, waarvan de hoogwaardige abstracte kenmerken worden opgelegd aan de identiteit zonder enige ID-informatie te lekken.

Delta-GAN-Encoder. Bovenste groep links: de hoek van een bronbeeld kan in een seconde worden gewijzigd om een nieuw bronbeeld te renderen, dat wordt weerspiegeld in de uitvoer; bovenste groep rechts: licht is ook ontkoppeld van identiteit, waardoor het mogelijk is om lichtstijlen te projecteren; onderste groep links: meerdere gezichtsdetails worden gewijzigd om een ‘treurige’ uitdrukking te creëren; onderste groep rechts: één enkel gezichtsdetailuitdrukking wordt gewijzigd, zodat de ogen knijpen.

Deze scheiding van identiteit en context wordt bereikt in de trainingsfase. De pijplijn voor de nieuwe deepfake-architectuur zoekt de latent vector in een pre-getrainde Generatieve Adversarial Network (GAN) die overeenkomt met het beeld dat moet worden getransformeerd – een Sim2Real-methode die voortbouwt op een project uit 2018 van IBM’s AI-onderzoeksafdeling.

De onderzoekers merken op:

‘Met slechts enkele voorbeelden, die verschillen door een specifiek kenmerk, kan men het ontkoppelde gedrag van een pre-getrainde verweven generatief model leren. Er is geen behoefte aan exacte echte voorbeelden om dat doel te bereiken, wat niet noodzakelijkerwijs haalbaar is.

‘Door het gebruik van niet-realistische gegevensvoorbeelden kan hetzelfde doel worden bereikt door de semantiek van de gecodeerde latent vectors te benutten. Het toepassen van gewenste veranderingen op bestaande gegevensvoorbeelden kan worden gedaan zonder expliciete latent ruimtegedragsverkenning.’

De onderzoekers verwachten dat de kernprincipes van ontkoppeling die in het project worden onderzocht, kunnen worden overgedragen naar andere domeinen, zoals interieurarchitectuursimulaties, en dat de Sim2Real-methode die voor Delta-GAN-Encoder wordt gebruikt, uiteindelijk deepfake-instrumentatie op basis van schetsen in plaats van CGI-achtige invoer kan mogelijk maken.

Het kan worden betoogd dat de mate waarin het nieuwe Israëlische systeem al dan niet in staat is om deepfake-video’s te synthetiseren, veel minder belangrijk is dan de vooruitgang die het onderzoek heeft geboekt in het ontkoppelen van context van identiteit, en daarmee meer controle over de latent ruimte van een GAN.

Ontkoppeling is een actief onderzoeksgebied in beeldsynthese; in januari 2021 toonde een door Amazon geleid onderzoeksartikel vergelijkbare pose-controle en ontkoppeling, en in 2018 maakte een artikel van de Shenzhen Institutes of Advanced Technology aan de Chinese Academie van Wetenschappen vooruitgang in het genereren van willekeurige gezichtspunten in een GAN.