Omstrukturering av ansikten i videor med maskinlärning

Ett forskningssamarbete mellan Kina och Storbritannien har tagit fram en ny metod för att omforma ansikten i video. Tekniken möjliggör övertygande förändringar av ansiktsstrukturen, med hög konsekvens och frånvaro av artefakter.

Från en YouTube-video som användes som källmaterial av forskarna, ser skådespelerskan Jennifer Lawrence ut som en mer gänglig personlighet (höger). Se den medföljande videon längst ner i artikeln för fler exempel i bättre upplösning. Källa: https://www.youtube.com/watch?v=tA2BxvrKvjE

Denna typ av transformation är vanligtvis bara möjlig genom traditionella CGI-metoder som skulle kräva att ansiktet återskapas via detaljerad och dyr motion-capture, rigging och texturering.

Istället integreras den CGI som finns i tekniken i en neural pipeline som parametrisk 3D-ansiktsinformation som sedan används som underlag för en maskinlärningsarbetsflöde.

Traditionella parametriska ansikten används alltmer som riktlinjer för transformeringsprocesser som använder AI istället för CGI. Källa: https://arxiv.org/pdf/2205.02538.pdf

Författarna skriver:

‘Vårt mål är att generera högkvalitativa porträttvideos genom att redigera ansiktsformen enligt naturlig ansiktsdeformation i verkligheten. Detta kan användas för tillämpningar som ansiktsgenerering för skönhet och ansiktsförstoring för visuella effekter.’

Även om 2D-ansiktsförvrängning och distorsion har varit tillgängligt för konsumenter sedan Photoshops tillkomst (och har lett till underliga och ofta oacceptabla subkulturer kring ansiktsdistorsion och kroppsdysmorfism), är det svårt att åstadkomma detta i video utan att använda CGI.

Mark Zuckerbergs ansiktsdimensioner utvidgades och minskades med den nya kinesisk-brittiska tekniken.

Kroppsomformning är för närvarande ett område av intensivt intresse inom datorseende, främst på grund av dess potential inom mode-e-handel, även om att göra någon som ser ut som en annan kroppstyp för närvarande är en notabel utmaning.

Likaså har förändring av huvudformen i videofilm i en konsekvent och övertygande form varit föremål för tidigare arbete från forskarna bakom den nya artikeln, även om den tidigare implementationen led av artefakter och andra begränsningar. Den nya metoden utvidgar förmågan i det tidigare arbetet från statiska till videoutdata.

Det nya systemet tränades på en stationär dator med en AMD Ryzen 9 3950X med 32 GB minne, och använder en optisk flödesalgoritm från OpenCV för rörelsekartor, som smoojas av StructureFlow-ramverket; Facial Alignment Network (FAN) komponenten för landmärkesestimering, som också används i populära deepfake-paket; och Ceres Solver för att lösa optimeringsutmaningar.

Ett extremt exempel på ansiktsvidgning med det nya systemet.

Artikeln heter Parametrisk omformning av porträtt i videor och kommer från tre forskare vid Zhejiang University och en från University of Bath.

Om ansikten

Under det nya systemet extraheras videon till en bildsekvens, och en rigid pose estimeras först för varje ansikte. Sedan estimeras ett representativt antal efterföljande bilder gemensamt för att konstruera konsekventa identitetsparametrar längs hela bildserien (dvs. videofilmens ramar).

Arkitektonisk flöde för ansiktsförvrängningssystemet.

Efter detta utvärderas uttrycket, vilket ger en omformningsparameter som implementeras med linjär regression. Sedan konstruerar en ny signifikant avstånds-funktion (SDF) en tät 2D-karta av ansiktslinjerna före och efter omformning.

Till sist utförs en innehållsmedveten förvrängningsoptimering på utdata-videon.

Parametriska ansikten

Processen använder en 3D-morfabel ansiktsmodell (3DMM), en alltmer populär tillägg till neurala och GAN-baserade ansiktssyntes-system, samt tillämplig för deepfake-detektionssystem.

Inte från den nya artikeln, men ett exempel på en 3D-morfabel ansiktsmodell (3DMM) – en parametrisk prototyp för ansikte som används i det nya projektet. Övre vänster, landmärke tillämpning på ett 3DMM-ansikte. Övre höger, 3D-mesh-vertex för en isomap. Nedre vänster visar landmärkesanpassning; nedre mitten, en isomap av den extraherade ansiktstexturen; och nedre höger, en resulterande anpassning och form. Källa: http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

Arbetsflödet för det nya systemet måste ta hänsyn till fall av ocklusion, såsom när föremålet tittar bort. Detta är en av de största utmaningarna i deepfake-mjukvara, eftersom FAN-landmärken har liten kapacitet att ta hänsyn till dessa fall och tenderar att försämras i kvalitet när ansiktet vänds bort eller är ockluderat.

Det nya systemet kan undvika denna fälla genom att definiera en konturenergi som kan matcha gränsen mellan det 3D-ansiktet (3DMM) och det 2D-ansiktet (som definieras av FAN-landmärken).

Optimering

En användbar distribution för ett sådant system vore att implementera realtidsdeformation, till exempel i videochattfilter. Det nuvarande ramverket möjliggör inte detta, och de beräkningsresurser som krävs skulle göra “live”-deformation till en notabel utmaning.

Enligt artikeln, och med antagande av ett 24-bilders-per-sekund-mål för videon, representerar per-ram-operationer i pipeline en fördröjning på 16,344 sekunder för varje sekund av film, med ytterligare enstaka träffar för identitetsestimering och 3D-ansiktsdeformation (321 ms och 160 ms, respektive).

Därför är optimering nyckeln till att göra framsteg mot att sänka fördröjningen. Eftersom gemensam optimering över alla ramar skulle lägga till allvarlig överhuvud till processen, och init-stil-optimering (som antar den konsekventa efterföljande identiteten av talaren från den första ramen) kunde leda till anomalier, har författarna antagit ett gles schema för att beräkna koefficienterna för ramar som sampas vid praktiska intervall.

Gemensam optimering utförs sedan på denna undermängd av ramar, vilket leder till en smalare process för rekonstruktion.

Ansiktsförvrängning

Förvrängningstekniken som används i projektet är en anpassning av författarnas arbete från 2020 Deep Shapely Portraits (DSP).

Deep Shapely Portraits, en inlämning till ACM Multimedia 2020. Artikeln leds av forskare från ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab. Källa: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

Författarna observerar ‘Vi utvidgar denna metod från omformning av en enda monokulär bild till omformning av hela bildserien.’

Tester

Artikeln observerar att det inte fanns något jämförbart tidigare material att utvärdera den nya metoden mot. Därför jämförde författarna ramar av deras förvrängda videoutdata mot statiska DSP-utdata.

Testning av det nya systemet mot statiska bilder från Deep Shapely Portraits.

Författarna noterar att artefakter resulterar från DSP-metoden, på grund av dess användning av gles mappning – ett problem som det nya ramverket löser med tät mappning. Dessutom, påstår artikeln, demonstrerar videon producerad av DSP brist på smidighet och visuell sammanhållning.

Författarna skriver:

‘Resultaten visar att vår metod kan robust producera sammanhängande omformade porträttvideos medan den bildbaserade metoden lätt kan leda till märkbara flimmerartefakter.’

Titta på den medföljande videon nedan för fler exempel:

Publicerad första gången den 9 maj 2022. Ändrad kl 18.00 EET, ersatte ‘fält’ med ‘funktion’ för SDF.