Ny metod för djupfalska ansikten löser “face host”-problemet

Trots flera års medial överdrift om den potentiella risken för djupfalska bilder att undergräva vår långvariga tillit till autenticiteten hos videofilm, bygger alla nuvarande metoder på att hitta “face hosts” som är ungefär lika i form till målansiktet.

Där den ursprungliga filmen visar ett brett ansikte, men målsubjektet har ett smalt ansikte, har resultaten alltid varit problematiska, eftersom en sådan överföring innebär att man skär bort en del av det ursprungliga ansiktet och återuppbygger den nu exponerade bakgrunden. Nuvarande paket som DeepFaceLab och FaceSwap kan producera begränsade resultat när konfigurationen är omvänd (smal>bred), men har ingen funktion för att övertygande hantera detta scenario.

Nu har ett samarbete mellan Tencent och Kinas Xiamen University utvecklat en ny metod, med titeln HifiFace, som syftar till att åtgärda denna brist.

Två HifiFace-djupfalska ansikten, det första av Anne Hathaway, där en bra likhet uppnås trots oförenliga värdansiktsformer. HifiFace fungerar också bra på mål med glasögon, som traditionellt har varit en svårighet i djupfalska ansikten. Källa: https://arxiv.org/pdf/2106.09965.pdf

Omarbetning av ett djupfalskt ansikte

Tidigare metoder, som 2019 års Subject Agnostic Face Swapping and Reenactment (FSGAN), har byggt på 3DMM-fitting (3D Morphable Models) eller andra metoder baserade på ansiktslandmärkesigenkänning eller transformation, där ansiktslinjerna på det ansikte som ska “överskrivas” i stort sett dikterar gränserna för utbytet.

3DMM-ansiktslandmärkesdetektering. Källa: https://github.com/Yinghao-Li/3DMM-fitting

Även om konkurrerande metoder har använt funktioner som härrör från ansiktsigenkänningsnätverk, är dessa i huvudsak inriktade på att återställa textur snarare än struktur, och producerar likaså en “mask-liknande” effekt i fall där värdansiktet inte är helt kompatibelt (dvs. gränserna och formen på hårlinje, käklinje och kindben).

För att hantera dessa problem utvecklade de kinesiska forskarna, som är baserade i Media Analytics and Computing Lab vid universitetets Institution för Artificiell Intelligens, ett slut-till-slut-nätverk som approximerar koefficienterna för mål- och källansiktet med hjälp av en 3D-rekonstruktionsmodell, som sedan kombineras som forminformation och sammanfogas med identitetsvektorinformation från ett ansiktsigenkänningsnätverk.

Denna geometriska data matas sedan in i en encoder-decoder-modell som strukturerad information, som blandas med målansiktets uttryck och disposition, som utnyttjas som hjälpkällor för en exakt överföring.

Semantisk ansiktsfusion

HifiFace innehåller också en komponent för semantisk ansiktsfusion (SFF), som använder en lågnivåfunktion i encodern för att bevara rumslig och texturinformation, utan att offra målbildens identitet. Funktioner från encodern och decodern integreras i en lärd adaptiv mask, och bakgrundsinformationen blandas in i utdata med hjälp av den lärda ansiktsmasken.

HifiFace i aktion. Källa: https://johann.wang/HifiFace/

På detta sätt avviker HifiFace från användningen av ursprungliga ansiktsgränser som en hård gräns, genom att använda utvidgad ansiktssemantisk segmentering, där modellen kan utföra en bättre adaptiv fusion på ansiktskanterna.

Två tidigare metoder (överst och nederst till vänster), och den nya HifiFace-arkitekturen, som består av en encoder, decoder, 3D-formmedveten identitetsextraherare och SFF-modul.

I en jämförelse med tidigare metoder FSGAN, SimSwap och FaceShifter, visar HifiFace en överlägsen rekonstruktion av ansiktsform, eftersom den inte approximerar “spök”-element där ansiktsgränserna förvirrar identitets-identitetsmappningen, utan definitivt rekonstruerar dem.

Testning

Forskarna implementerade systemet med hjälp av VGGFace2 och DeepGlint Asian-Celeb-databaserna. Ansiktena justerades via 5 utåtriktade landmärken och beskars om till 256×256 pixlar. Ett porträttförbättringsnätverk användes också för att generera en 512×512 pixlars version, för en ytterligare högupplöst modell. Modellen tränades under Adam.

Även om FaceShifter bevarar identiteten väl, kan den inte hantera frågor som uttryck, färg och occlusion lika effektivt som HifiFace, och har en mer komplex nätverksstruktur. FSGAN har problem med att överföra belysningen från källa till mål.

Forskarna använder FaceForensics++ för kvantitativa jämförelser, genom att sampla tio ramar vardera i en batch omvandlade videor över de konkurrerande metoderna, och fann att HifiFace uppnådde en överlägsen ID-återställningsscore. Vid testning av en rad andra faktorer, som bildkvalitet, fann forskarna också att deras metod presterade bättre än de rivaliserande metoderna.

Benedict Cumberbatchs ansiktslinjer återges troget.

Arbetet representerar ett ytterligare steg mot att abstrahera källmaterialet så att det bara är en grov mall som kan fyllas med precisa identiteter. Några av de nuvarande FOSS-paketen, inklusive DeepFaceLab, har embryonala funktioner för fullständig huvudbyte, men liknar HifiFace, och tar inte hänsyn till hår, och är mer effektiva på att “bygga ut” ett ansikte än att mejsla bort det för att matcha en önskad målkälla.