Waarom Deepfakes Nu Nog Niet in Staat Zijn om Subtiliteit van Emotie Over te Brengen

Gisteren werd aflevering 6 van de Star Wars-spin-off The Book of Boba Fett uitgebracht en dat lijkt de mening van fans te hebben verdeeld. Over het algemeen werd de veel betere reproductie van een verjongde Mark Hamill (in vergelijking met zijn eerder optreden in de seizoen 2 finale van The Mandalorian in 2020) goed ontvangen; er is een algemene aanname op sociale netwerken dat de verbeterde reproductie van de karakter een direct resultaat is van Industrial Light and Magic dat de amateur deepfakes-praktiserende Shamook (die radicaal had verbeterd met open source software) heeft ingehuurd; en dat de weergaven van de karakter een combinatie moeten zijn van deepfake-technologie, mogelijk opgeschoond met CGI.

Er is momenteel beperkte bevestiging van dit, hoewel Shamook weinig heeft gezegd sinds de ILM-contractuele NDA is ingegaan. Niettemin is het werk een buitengewone verbetering ten opzichte van de CGI uit 2020; het vertoont enige van de ‘glans’ die geassocieerd wordt met deepfake-modellen die zijn afgeleid van archiefwerken; en het komt overeen met de beste huidige visuele standaard voor deepfakes.

Het andere deel van de mening van fans is dat de nieuwe poging om ‘Young Luke’ een ander set van fouten heeft dan de vorige. Misschien wel het meest sprekend, het ontbreken van expressiviteit en subtiele, passende emoties in de zeer lange sequenties met de nieuwe Skywalker-reproductie zijn meer typerend voor deepfakes dan voor CGI; The Verge heeft beschreven de Boba Fett-simulatie in termen van de ‘onbehaaglijke, lege uitdrukking van Mark Hamill’s bevroren gezicht uit 1983’.

Ongeacht de technologieën achter de nieuwe ILM-reproductie, hebben deepfake-transformaties een fundamenteel probleem met subtiliteit van emotie dat moeilijk aan te pakken is, door veranderingen in de architectuur of door het verbeteren van de brontrainingsmaterialen, en dat meestal wordt vermeden door de zorgvuldige keuzes die virale deepfakers maken bij het selecteren van een doelvideo.

Beperkingen van Gezichtsuitlijning

De twee meest gebruikte deepfake-FOSS-repositories zijn DeepFaceLab (DFL) en FaceSwap, beide afgeleid van de anonieme en omstreden broncode uit 2017, met DFL een enorme voorsprong in de VFX-industrie, ondanks de beperkte instrumentatie.

Elk van deze pakketten wordt in eerste instantie belast met het extraheren van gezichtskenmerken uit de gezichten die het heeft kunnen identificeren uit de bronmaterialen (d.w.z. frames van video’s en/of stills).

De Facial Alignment Network (FAN) in actie, vanuit de officiële repository. Bron: https://github.com/1adrianb/face-alignment

Beide DFL en FaceSwap gebruiken de Facial Alignment Network (FAN)-bibliotheek. FAN kan 2D- en 3D- (zie bovenstaande afbeelding) kenmerken maken voor geëxtraheerde gezichten. 3D-kenmerken kunnen uitgebreid rekening houden met de waargenomen oriëntatie van het gezicht, tot extreme profielen en relatief scherpe hoeken.

Maar het is duidelijk dat dit zeer basale richtlijnen zijn voor het hoeden en evalueren van pixels:

Vanuit de FaceSwap-forum, een ruwe indicator van de beschikbare kenmerken voor gezichtslijnen. Bron: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

De meest basale lijnen van het gezicht worden toegestaan: ogen kunnen wijder en smaller worden, evenals de kaak, terwijl basisconfiguraties van de mond (zoals glimlachen, fronsen, etc.) getraceerd en aangepast kunnen worden. Het gezicht kan in elke richting draaien tot ongeveer 200 graden vanuit het oogpunt van de camera.

Daarbij zijn deze nogal grove hekken voor de manier waarop pixels zich binnen of in de buurt van deze grenzen zullen gedragen, en vertegenwoordigen de enige echt wiskundige en precieze gezichtsrichtlijnen in het hele deepfake-proces. Het trainingsproces zelf vergelijkt eenvoudigweg de manier waarop pixels zijn gerangschikt binnen of in de buurt van deze grenzen.

Trainen in DeepFaceLab. Bron: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Aangezien er geen voorziening is voor de topologie van subdelen van het gezicht (convexiteit en concaviteit van wangen, verouderingsdetails, kuiltjes, etc.), is het niet eens mogelijk om te proberen om dergelijke ‘subtiele’ subfuncties te matchen tussen een bron (‘gezicht dat je wilt overschrijven’) en een doel (‘gezicht dat je wilt plakken’) identiteit.

Werken met Beperkte Data

Het verkrijgen van overeenkomende data tussen twee identiteiten voor het trainen van deepfakes is niet gemakkelijk. Hoe ongebruikelijker de hoek die je moet matchen, hoe meer je moet compromissen sluiten over of die (zeldzame) hoekmatch tussen identiteiten A en B daadwerkelijk dezelfde uitdrukking heeft.

Dichtbij, maar niet precies een match.

In het bovenstaande voorbeeld zijn de twee identiteiten vrijwel gelijk in dispositie, maar dit is zo dichtbij als deze dataset kan komen bij een exacte match.

Duidelijke verschillen blijven: de hoek en de lens komen niet exact overeen, en evenmin de verlichting; onderwerp A heeft zijn ogen niet helemaal dicht, in tegenstelling tot onderwerp B; de beeldkwaliteit en compressie is slechter in onderwerp A; en op de een of andere manier lijkt onderwerp B veel gelukkiger dan onderwerp A.

Maar, je weet, het is alles wat we hebben, dus we zullen het toch moeten trainen.

Omdat deze A><B-match zo veel ongebruikelijke elementen bevat, kun je er zeker van zijn dat er weinig, zo niet geen, soortgelijke paren in de set zijn. Daarom zal de training of onderfit of overfit zijn.

Onderfit: Als deze match een echte minderheid is (d.w.z. de ouderdataset is vrij groot en bevat deze kenmerken van deze twee foto’s niet vaak), zal het niet veel trainingsuur krijgen in vergelijking met meer ‘populaire’ (d.w.z. gemakkelijke/neutrale) paren. Gevolg hiervan is dat deze hoek/uitdrukking niet goed wordt weergegeven in een deepfake gemaakt met het getrainde model.

Overfit: In wanhoop bij schaarse data-matches voor zulke zeldzame A><B-paren, zullen deepfakers soms het paar meerdere keren dupliceren in de dataset, zodat het een betere kans krijgt om een functie te worden in het uiteindelijke model. Dit zal leiden tot overfitting, waarbij deepfake-video’s die zijn gemaakt met het model waarschijnlijk de mismatches zullen herhalen die tussen de twee foto’s zichtbaar zijn, zoals de verschillende mate waarin de ogen zijn gesloten.

In de onderstaande afbeelding zien we Vladimir Poetin die wordt getraind in DeepFaceLab om een swap uit te voeren naar Kevin Spacey. Hier is de training relatief geavanceerd bij 160.000 iteraties.

Bron: https://i.imgur.com/OdXHLhU.jpg

De onoplettende toeschouwer zou kunnen beweren dat Poetin er een beetje, tja, ruimtelijker uitziet dan Spacey in deze test-swaps. Laten we zien wat een online emotieherkenningprogramma maakt van de mismatch in uitdrukkingen:

Bron: https://www.noldus.com/facereader/measure-your-emotions

Volgens deze specifieke oracle, die een veel gedetailleerdere gezichtstopografie analyseert dan DFL en Faceswap, is Spacey minder boos, walgelijk en minachtend dan de resulterende Poetin-deepfake in deze pairing.

De ongelijke uitdrukkingen komen als onderdeel van een verstrengeld pakket, aangezien de populaire deepfakes-toepassingen geen capaciteit hebben om uitdrukkingen of emoties te registreren of te matchen, behalve impliciet, als een raw pixel>pixel-mapping.

Voor ons zijn de verschillen enorm. We leren gezichtsuitdrukkingen te lezen als een basisoverlevingstechniek vanaf onze vroegste jaren, en blijven deze vaardigheid vertrouwen in volwassenheid voor doeleinden van sociale integratie en vooruitgang, koppelen en als een voortdurend bedreigingsbeoordelingskader. Aangezien we zo gevoelig zijn voor micro-uitdrukkingen, zullen deepfake-technologieën uiteindelijk rekening moeten houden met dit.

Tegen de Graan

Hoewel de deepfake-revolutie de belofte heeft gebracht om ‘klassieke’ filmsterren in moderne films en tv te plaatsen, kan AI niet terug in de tijd gaan en hun klassieke werken opnemen op een meer compatibele definitie en kwaliteit, wat essentieel is voor dit gebruik.

Er is momenteel beperkte bevestiging van dit, hoewel Shamook weinig heeft gezegd sinds de ILM-contractuele NDA is ingegaan. Niettemin is het werk een buitengewone verbetering ten opzichte van de CGI uit 2020; het vertoont enige van de ‘glans’ die geassocieerd wordt met deepfake-modellen die zijn afgeleid van archiefwerken; en het komt overeen met de beste huidige visuele standaard voor deepfakes.

Ongeacht de technologieën achter de nieuwe ILM-reproductie, hebben deepfake-transformaties een fundamenteel probleem met subtiliteit van emotie dat moeilijk aan te pakken is, door veranderingen in de architectuur of door het verbeteren van de brontrainingsmaterialen, en dat meestal wordt vermeden door de zorgvuldige keuzes die virale deepfakers maken bij het selecteren van een doelvideo.

Beperkt Bereik van Emoties?

Als je nodig hebt dat je deepfake-acteur het decor verslindt, heb je bronmateriaal nodig dat een ongewoon breed bereik van gezichtsuitdrukkingen bevat. Het kan zijn dat de enige leeftijds-appropriiete beelden die beschikbaar zijn, niet veel van die uitdrukkingen bevatten.

Om bijvoorbeeld de verhaallijn van Return of the Jedi te nemen, had Hamills karakter grotendeels zijn emoties beheerst, een ontwikkeling die absoluut centraal staat in de oorspronkelijke franchise-mythologie. Daarom, als je een Hamill-deepfake-model maakt van Jedi-data, zul je moeten werken met het meer beperkte bereik van emoties en ongebruikelijke gezichtscompositie die Hamills rol van hem eiste op dat moment, in vergelijking met zijn eerdere optredens in de franchise.

Selfs als je aanneemt dat er momenten zijn in Return of the Jedi waarin de Skywalker-karakter onder stress staat, en materiaal kan bieden voor een groter bereik van uitdrukkingen, is het gezichtsmateriaal in deze scènes toch kortstondig en onderhevig aan de motion blur en snelle editing die typerend zijn voor actiescènes; dus is de data vrijwel onbalans.

Generalisatie: De Samensmelting van Emoties

Als de Boba Fett-Skywalker-reproductie inderdaad een deepfake is, zou het ontbreken van expressiebereik dat van sommige kanten tegen hem is ingebracht, niet geheel te wijten zijn aan beperkt bronmateriaal. Het encoder-decoder-trainingsproces van deepfakes zoekt een gegeneraliseerd model dat succesvol de centrale kenmerken distilleert uit duizenden afbeeldingen, en kan ten minste proberen om een deepfake te maken van een hoek die ontbrak of zeldzaam was in de dataset.

Als dat niet zo was, zou een deepfake-architectuur eenvoudigweg basis-morfen kopiëren en plakken op een per-frame-basis, zonder rekening te houden met temporele adaptatie of context.

Maar de pijnlijke keuze voor deze flexibiliteit is dat expressiefideliteit waarschijnlijk een slachtoffer zal zijn van het proces, en enige uitdrukkingen die zijn ‘subtiel’ niet de juiste zullen zijn. We spelen allemaal onze gezichten als 100-delige orkesten, en zijn hier goed in getraind, terwijl deepfake-software naar alle waarschijnlijkheid ten minste het strijkkwartet mist.

Dispariteit van Invloed in Uitdrukkingen

Gezichtsbewegingen en hun effecten op ons zijn geen uniforme taal over alle gezichten; de opgetrokken wenkbrauw die op Roger Moore nonchalant lijkt, kan minder gesofisticeerd lijken op Seth Rogan, terwijl de verleidelijke aantrekkingskracht van Marilyn Monroe kan worden vertaald naar een meer negatieve emotie als deze wordt diepgemaakt op een persoon wiens meest beschikbare rol ‘boos’ of ‘ontevreden’ is (zoals Aubrey Plaza’s karakter in zeven seizoenen van Parks and Recreation).

Daarom is pixel><pixel-equivalentie tussen A/B-gezichtssets niet noodzakelijk behulpzaam in dit opzicht; maar het is alles wat er te bieden is in state-of-the-art deepfake-FOSS-software.

Wat naar alle waarschijnlijkheid nodig is, is een deepfake-kader dat niet alleen uitdrukkingen en emoties kan herkennen, maar ook de mogelijkheid heeft om hoogwaardige concepten zoals boos, verleidelijk, verveeld, moe, etc. te belichamen, en om die emoties en hun gerelateerde uitdrukkingen in elk van de twee gezichtsidentiteiten te categoriseren, in plaats van de dispositie van een mond of een ooglid te onderzoeken en te repliceren.