Googles LipSync3D erbjuder förbättrad ‘Deepfaked’ synkronisering av munrörelser

En samarbete mellan Google AI-forskare och Indian Institute of Technology Kharagpur erbjuder ett nytt ramverk för att syntetisera talande huvuden från ljudinnehåll. Projektet syftar till att producera optimerade och rimligt resurskrävande sätt att skapa “talande huvud”-videoinnehåll från ljud, för att synkronisera läpprörelser med dubbade eller maskinöversatta ljud, och för användning i avatarer, interaktiva applikationer och andra realtidsmiljöer.

Källa: https://www.youtube.com/watch?v=L1StbX9OznY

De maskinlärningsmodeller som tränas i processen – kallad LipSync3D – kräver endast en enda video av målansiktet som indata. Dataförberedelsepipelinen separerar utvinning av ansiktsgeometri från utvärdering av belysning och andra aspekter av en inmatningsvideo, vilket möjliggör mer ekonomisk och fokuserad träning.

De tvåstegsarbetsflödet för LipSync3D. Överst, generering av en dynamiskt texturerad 3D-ansikte från ‘mål’-ljudet; underst, införandet av den genererade meshen i en målvideo.

I själva verket kan LipSync3D:s mest anmärkningsvärda bidrag till forskningsinsatsen inom detta område vara dess belysningsnormaliseringsalgoritm, som kopplar loss tränings- och inferensbelysning.

Att koppla loss belysningsdata från allmän geometri hjälper LipSync3D att producera mer realistiska läpprörelser under utmanande förhållanden. Andra tillvägagångssätt under de senaste åren har begränsat sig till ‘fasta’ belysningsförhållanden som inte avslöjar deras mer begränsade kapacitet i detta avseende.

Under förbehandling av indataframes måste systemet identifiera och ta bort spekulära punkter, eftersom dessa är specifika för belysningsförhållandena under vilka videon togs, och annars kommer att störa processen att återbelysa.

LipSync3D, som dess namn antyder, utför inte bara pixelanalys på de ansikten som det utvärderar, utan använder aktivt identifierade ansiktslandmärken för att generera motila CGI-liknande nät, tillsammans med de “utvecklade” texturerna som är lindade runt dem i en traditionell CGI-pipeline.

Posnormalisering i LipSync3D. Till vänster är inmatningsramarna och detekterade funktionerna; i mitten, de normaliserade vertexarna av den genererade meshutvärderingen; och till höger, den motsvarande texturen, som ger grunden för texturens förutsägelse. Källa: https://arxiv.org/pdf/2106.04185.pdf

Förutom den nya belysningsmetoden hävdar forskarna att LipSync3D erbjuder tre huvudinnovationer jämfört med tidigare arbete: separationen av geometri, belysning, pose och textur i separata dataströmmar i en normaliserad utrymme; en lätttränad auto-regressiv texturens förutsägelsemodell som producerar tidsmässigt konsekvent videosyntes; och ökad realism, som utvärderas av mänskliga betyg och objektiva mått.

Att dela ut de olika aspekterna av ansiktsbilden gör att man kan ha större kontroll över videosyntesen.

LipSync3D kan härleda lämplig läppgeometri direkt från ljud genom att analysera fonem och andra aspekter av tal, och översätta dem till kända motsvarande muskelposer runt munområdet.

Denna process använder en gemensam förutsägelsepipeline, där den härledda geometrin och texturen har dedikerade koderare i en autoencoderuppställning, men delar en ljudkodare med talet som ska påföras modellen:

LipSync3D:s rörliga rörelsesyntes är också avsedd att driva stiliserade CGI-avatarer, som i själva verket bara är samma typ av nät och texturens information som verkliga världens bilder:

En stiliserad 3D-avatare har sina läpprörelser drivna i realtid av en källtalarevideo. I ett sådant scenario skulle de bästa resultaten erhållas genom personlig förträning.

Forskarna förutser också användningen av avatarer med en något mer realistisk känsla:

Exempel på tränings­tider för videor sträcker sig från 3-5 timmar för en 2-5 minuters video, i en pipeline som använder TensorFlow, Python och C++ på en GeForce GTX 1080. Tränings­sessionerna använde en batchstorlek på 128 ramar över 500-1000 epoker, där varje epok representerar en fullständig utvärdering av videon.

Mot dynamisk om-synkronisering av läpprörelser

Fältet för om-synkronisering av läpprörelser för att anpassa en ny ljudspår har fått stor uppmärksamhet inom datavisualiseringsforskning under de senaste åren (se nedan), inte minst som en biprodukt av kontroversiell deepfake-teknik.

År 2017 presenterade University of Washington forskning som kunde lära sig läppsynk från ljud, och använde det för att ändra läpprörelserna på dåvarande president Obama. År 2018 ledde Max Planck Institute for Informatics ett annat forskningsinitiativ för att möjliggöra identitet-till-identitet videoöverföring, med läppsynk som en biprodukt av processen; och i maj 2021 avslöjade AI-startupbolaget FlawlessAI sin proprietära läppsynk-teknik TrueSync, som mottogs i pressen som en möjliggörare av förbättrade dubbningstekniker för stora film­släpp över språk.

Och, naturligtvis, den pågående utvecklingen av öppen källkodsrepository för deepfakes tillhandahåller en annan gren av aktivt användarbidrag till forskning inom detta område för ansiktsbildsyntes.

nc-teknologi TrueSync, som mottogs i pressen som en möjliggörare av förbättrade dubbningstekniker för stora film­släpp över språk. Och, naturligtvis, den pågående utvecklingen av öppen källkodsrepository för deepfakes tillhandahåller en annan gren av aktivt användarbidrag till forskning inom detta område för ansiktsbildsyntes.