Omstrukturering av ansikter i videoer med maskinlæring

Et forskningssamarbeid mellom Kina og Storbritannia har utviklet en ny metode for å omforme ansikter i videoer. Teknikken gjør det mulig å foreta overbevisende endringer av ansiktsstrukturen, med høy konsistens og uten artefakter.

Fra en YouTube-video brukt som kilde av forskerne, ser skuespilleren Jennifer Lawrence ut som en mer gaunt personlighet (høyre). Se den tilhørende videoen nedenfor for flere eksempler i bedre oppløsning. Kilde: https://www.youtube.com/watch?v=tA2BxvrKvjE

Dette slag av transformasjon er vanligvis bare mulig gjennom tradisjonelle CGI-metoder som ville måtte gjenskape hele ansiktet via detaljerte og dyre motion-capping-, rigging- og teksturprosedyrer.

I stedet integrerer teknikken CGI i en neural pipeline som parametrisk 3D-ansiktsinformasjon, som deretter brukes som basis for en maskinlæringsarbeidsflyt.

Tradisjonelle parametrisk ansikter brukes stadig oftere som retningslinjer for transformative prosesser som bruker AI i stedet for CGI. Kilde: https://arxiv.org/pdf/2205.02538.pdf

Forfatterne skriver:

‘Vårt mål er å generere høykvalitets portretvideo-omforming ved å redigere hele ansiktsformen i henhold til naturlig ansiktsdeformasjon i den virkelige verden. Dette kan brukes til applikasjoner som ansiktsformgenerering for forbedring og ansiktsforstørrelse for visuelle effekter.’

Selv om 2D-ansiktsforvrengning og -forstørrelse har vært tilgjengelig for forbrukere siden oppfinnelsen av Photoshop (og har ført til merkelige og ofte uakseptable subkulturer rundt ansiktsforvrengning og kroppsdysmorfisme), er det vanskelig å gjøre dette i videoer uten å bruke CGI.

Mark Zuckerbergs ansiktsdimensjoner utvidet og innskrenket av den nye kinesisk-britiske teknikken.

Kroppsforandring er for tiden et felt av intens interesse i datavisjon-sektoren, hovedsakelig på grunn av dens potensiale i mote-e-handel, selv om å gjøre noen til å se høyere eller skjelettdiverse ut er for tiden en merkelig utfordring.

Liksom å endre ansiktsformen i videoopptak på en konsistent og overbevisende måte, har vært et tema for tidligere arbeid fra forskerne bak den nye artikkelen, selv om den implementeringen led av artefakter og andre begrensninger. Den nye teknikken utvider kapasiteten til det tidligere arbeidet fra statiske til video-utgang.

Det nye systemet ble trent på en desktop-PC med en AMD Ryzen 9 3950X med 32 GB minne, og bruker en optisk strømningsalgoritme fra OpenCV for bevegelseskart, glattet av StructureFlow-rammeverket; Facial Alignment Network (FAN)-komponenten for landemerke-estimering, som også brukes i populære deepfake-pakker; og Ceres Solver for å løse optimeringsutfordringer.

Et ekstremt eksempel på ansiktsforstørrelse med det nye systemet.

Artikkelen hefter tittelen Parametrisk omforming av portretter i videoer og kommer fra tre forskere ved Zhejiang University og en fra University of Bath.

Om ansiktet

Under det nye systemet, blir videoen trukket ut i en bildefølge, og en rigid pose estimeres først for hvert ansikt. Deretter estimeres en representativ mengde påfølgende rammeverk sammen for å konstruere konsistente identitetsparametere langs hele løpet av bildene (dvs. videoens rammeverk).

Arkitektonisk flyt av ansiktsforvrennings-systemet.

Deretter evalueres uttrykket, og gir en omformingsparameter som implementeres ved lineær regresjon. Deretter konstruerer en ny signert avstandsfunksjon (SDF)-tilnærming en tett 2D-mapping av ansiktslinjene før og etter omforming.

Til slutt utføres en innholdssensitiv forvrenningsoptimering på utgangsvideoen.

Parametrisk ansikter

Prosessen bruker en 3D-morfabelt ansiktsmodell (3DMM), en stadig mer populær hjelpemiddel til neurale og GAN-baserte ansiktssyntese-systemer, samt være brukbar for deepfake-avdekningssystemer.

Ikke fra den nye artikkelen, men et eksempel på en 3D-morfabelt ansiktsmodell (3DMM) – en parametrisk prototyp ansikt brukt i prosjektet. Øverst til venstre, landemerke-applikasjon på en 3DMM-ansikt. Øverst til høyre, 3D-mesh-vertexene til en isokart. Nederst til venstre viser landemerke-tilpasning; nederst i midten, en isokart av den ekstraherte ansiktsteksturen; og nederst til høyre, en resulterende tilpasning og form. Kilde: http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

Arbeidsflyten for det nye systemet må vurdere tilfeller av okklusjon, som for eksempel når subjektet ser bort. Dette er en av de største utfordringene i deepfake-programvare, siden FAN-landemerker har liten evne til å håndtere disse tilfellene, og tenderer til å forringe i kvalitet når ansiktet vender seg bort eller er okkludert.

Det nye systemet kan unngå denne fellen ved å definere en kantenergi som er i stand til å matche grensen mellom 3D-ansiktet (3DMM) og 2D-ansiktet (definert av FAN-landemerker).

Optimering

En nyttig implementering av et slikt system ville være å implementere sanntidsdeformasjon, for eksempel i video-samtale-filtre. Den nåværende rammen gjør ikke dette mulig, og de nødvendige beregningsresursene ville gjøre “sanntids”-deformasjon til en merkelig utfordring.

Ifølge artikkelen, og antar en 24fps-video-mål, representerer per-ramme-operasjoner i pipeline-latens på 16,344 sekunder for hvert sekund av opptak, med ekstra en-gangs-treff for identitets-estimering og 3D-ansiktsdeformasjon (321 ms og 160 ms, henholdsvis).

Derfor er optimering nøkkel til å gjøre fremgang mot å senke latens. Siden felles optimering over alle rammeverk ville legge til alvorlig overhead i prosessen, og init-stil optimering (antagende på den konsistente påfølgende identiteten til taleren fra den første rammen) kunne føre til anomali, har forfatterne adoptert en sparsom skjema for å beregne koeffisientene til rammeverk sampet på praktiske intervaller.

Felles optimering utføres deretter på denne undermengden av rammeverk, noe som fører til en mer strømlinjeformet prosess for rekonstruksjon.

Ansiktsforvrenning

Forvrenningsteknikken brukt i prosjektet er en tilpasning av forfatternes arbeid fra 2020 Deep Shapely Portraits (DSP).

Deep Shapely Portraits, en innlegg fra 2020 til ACM Multimedia. Artikkelen er ledet av forskere fra ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab. Kilde: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

Forfatterne observerer ‘Vi utvider denne metoden fra å omforme ett monokulært bilde til å omforme hele bildefølgen.’

Tester

Artikkelen observerer at det ikke var noen sammenlignbare tidligere materiale mot hvilket det nye metoden kunne vurderes. Derfor sammenlignet forfatterne rammeverk av deres forvrengte video-utgang mot statiske DSP-utgang.

Testing av det nye systemet mot statiske bilder fra Deep Shapely Portraits.

Forfatterne påpeker at artefakter resulterer fra DSP-metoden, på grunn av dens bruk av sparsom mapping – et problem som det nye rammeverket løser med tett mapping. I tillegg, video produsert av DSP, hevder artikkelen, demonstrerer mangel på smidighet og visuell kohens.

Forfatterne skriver:

‘Resultatene viser at vår tilnærming kan robust produsere kohesive omformet portretvideoer mens bildemetoden lett kan føre til merkbar flimren arter.

Se den tilhørende videoen nedenfor for flere eksempler:

Først publisert 9. mai 2022. Endret 18:00 EET, erstattet ‘felt’ med ‘funksjon’ for SDF.