Googles LipSync3D tilbyder forbedret ‘Deepfaked’ mundbevægelsessynkronisering

Et samarbejde mellem Google AI-forskere og det indiske teknologiske institut i Kharagpur tilbyder en ny ramme til at syntetisere talehoveder fra lydindhold. Projektet sigter mod at producere optimerede og rimeligt ressourcerede måder at oprette ‘talehoved’-videoindhold fra lyd, til formål som synkronisering af læbebevægelser til dubbede eller maskinoversatte lyd, og til brug i avatarer, i interaktive applikationer og i andre realtidsmiljøer.

Kilde: https://www.youtube.com/watch?v=L1StbX9OznY

De maskinlæringsmodeller, der er trænet under processen – kaldet LipSync3D – kræver kun en enkelt video af målfacadentiteten som inputdata. Dataforberedelsespipeline adskiller sig fra udtrækning af facadegometri fra evaluering af belysning og andre aspekter af en inputvideo, hvilket tillader mere økonomisk og fokuseret træning.

De totrins arbejdsgang for LipSync3D. Øverst, generering af en dynamisk tekstureret 3D-ansigt fra ‘mål’-lyden; nederst, indsættelse af den genererede mesh i en målvideo.

I virkeligheden kan LipSync3D’s mest bemærkelsesværdige bidrag til forskningsindsatsen på dette område være dets belysningsnormaliseringsalgoritme, som afkobler træning og slutning belysning.

Afkobling af belysningsdata fra generel geometri hjælper LipSync3D med at producere mere realistiske læbebevægelsessvar under udfordrende betingelser. Andre tilgange i de seneste år har begrænset sig til ‘faste’ belysningsbetingelser, der ikke afslører deres mere begrænsede kapacitet på dette punkt.

Under forarbejdning af inputdataframes skal systemet identificere og fjerne spekularpunkter, da disse er specifikke for belysningsbetingelserne under hvilke videoen blev optaget, og ellers vil forstyrre processen med at genbelyse.

LipSync3D, som navnet antyder, udfører ikke blot pixelanalyse på ansigterne, som det vurderer, men bruger aktivt identificerede ansigtstræk til at generere motile CGI-lignende mesh, sammen med de ‘udfoldede’ teksturer, der er viklet rundt om dem i en traditionel CGI-pipeline.

Posenormalisering i LipSync3D. Til venstre er inputframes og detekterede funktioner; i midten, de normaliserede vertex af den genererede meshvurdering; og til højre, den tilsvarende tekst atlas, der giver grundsandheden for tekstforudsigelse. Kilde: https://arxiv.org/pdf/2106.04185.pdf

Foruden den nye relighting-metode hævder forskerne, at LipSync3D tilbyder tre hovedinnovationer i forhold til tidligere arbejde: adskillelse af geometri, belysning, pose og tekstur i separate datastrømme i en normaliseret rum; en lettrænelig auto-regressiv tekstforudsigelsesmodel, der producerer tidsmæssigt konsistent video-syntese; og øget realisme, som vurderes af menneskelige vurderinger og objektive mål.

At adskille de forskellige aspekter af videoansigtets billedsprog giver større kontrol over video-syntese.

LipSync3D kan udlede passende læbegeometribevægelse direkte fra lyd ved at analysere fonemer og andre aspekter af tale, og oversætte dem til kendte tilsvarende muskelposer omkring mundområdet.

Dette proces bruger en joint-forudsigelsespipeline, hvor den påviste geometri og tekstur har dedikeret encodere i en autoencoder-opstilling, men deler en lydencoder med den tale, der skal påføres modellen:

LipSync3D’s labile bevægelsessyntese er også beregnet til at drive stiliserede CGI-avatarer, der i virkeligheden kun er den samme type mesh- og teksturinformation som virkelige billeder:

En stiliseret 3D-avatar har sin læbebevægelse drevet i realtid af en kildevideo. I sådanne scenarier ville de bedste resultater opnås ved personlig fortræning.

Forskere forventer også at bruge avatarer med en lidt mere realistisk følelse:

Eksempeltræningstider for videoer varierer fra 3-5 timer for en 2-5 minutters video, i en pipeline, der bruger TensorFlow, Python og C++ på en GeForce GTX 1080. Træningssessionerne brugte en batchstørrelse på 128 frames over 500-1000 epocher, hvor hver epoch repræsenterer en komplet vurdering af videoen.

Mod dynamisk gensynkronisering af læbebevægelse

Området for gensynkronisering af læber for at tilpasse en ny lydspor har modtaget stor opmærksomhed i computer vision-forskning i de seneste år (se nedenfor), ikke mindst fordi det er en biprodukt af kontroversiel deepfake-teknologi.

I 2017 præsenterede University of Washington forskning, der var i stand til at lære læbesynkronisering fra lyd, ved at bruge det til at ændre læbebevægelserne på daværende præsident Obama. I 2018 ledte Max Planck-instituttet for informatik en anden forskningsinitiativ til at aktivere identitet-til-identitet video-overførsel, med læbesynkronisering som en biprodukt af processen; og i maj 2021 afslørede AI-startup FlawlessAI sin proprietære læbesynkroniseringsteknologi TrueSync, der blev bredt modtaget i pressen som en muliggører af forbedret dubningsteknologi til store filmudgivelser på tværs af sprog.

Og, naturligvis, den fortsatte udvikling af åbne deepfake-kilder giver en anden gren af aktivt brugerbidraget forskning i dette område for ansigtssyntese.

nc teknologi TrueSync, der blev bredt modtaget i pressen som en muliggører af forbedret dubningsteknologi til store filmudgivelser på tværs af sprog. Og, naturligvis, den fortsatte udvikling af åbne deepfake-kilder giver en anden gren af aktivt brugerbidraget forskning i dette område for ansigtssyntese.