Lägga till dialog till riktiga videor med AI

En ny AI-ramverk kan skriva om, ta bort eller lägga till en persons ord i en video utan att behöva spela in den igen, i ett enda slut-till-slut-system.

För tre år sedan skulle internet ha blivit chockat av vilket som helst av de 20-30 AI-videoändringsramverk som publiceras på akademiska portaler varje vecka; som det är, har denna populära forskningssträng blivit så vanlig att den nästan utgör en annan gren av “AI-slop”, och jag täcker långt färre av sådana utgåvor än jag skulle ha för två eller tre år sedan.

Men en av de senaste utgåvorna i denna linje fick mitt öga: ett integrerat system som kan ingripa i riktiga videoklipp och lägga till nytt tal i den befintliga videon (i stället för att skapa ett helt genererat klipp från ett ansikte eller en ram, vilket är mycket vanligare).

I exemplen nedan, som jag har redigerat ihop från en mängd exempelvideor som finns tillgängliga på utgåvans projektwebbplats, ser vi först den riktiga källklippen, och sedan, under den, det påtvingade AI-talet i mitten av klippen, inklusive röstsyntax och läppsynkronisering:

Klicka för att spela upp. Lokal redigering med sömnad – en av flera modaliteter som erbjuds av FacEDiT. Vänligen se källwebbplatsen för bättre upplösning. Källa – https://facedit.github.io/

Denna metod är en av tre som har utvecklats för den nya metoden, och den som intresserar författarna (såväl som mig) mest. I princip utökas klippen genom att använda en av de mittersta ramarna som en startpunkt för ny AI-tolkning, och dess efterföljande (verkliga) ram som ett mål som den genererade infyllnaden ska sträva efter att matcha.

Författarna ramverket som en fullständigt integrerad metod för AI-videoändringar av detta slag, och observerar potentialen för ett fullständigt utvecklat ramverk som detta för TV- och filmproduktion:

‘Filmregissörer och medieproducenter behöver ofta revidera specifika delar av inspelade videor – kanske har ett ord uttalats fel eller har manuskriptet ändrats efter inspelningen. Till exempel i den ikoniska scenen från Titanic (1997) där Rose säger, “Jag kommer aldrig att släppa taget, Jack,” kan regissören senare besluta att det ska vara “Jag kommer aldrig att glömma dig, Jack”.

‘Traditionellt sett kräver sådana ändringar att man spelar in hela scenen igen, vilket är dyrt och tidskrävande. Talande ansikts syntes erbjuder ett praktiskt alternativ genom att automatiskt modifiera ansiktsrörelser för att matcha den reviderade talen, och eliminerar behovet av omspelningar.’

Även om AI-ingrepp av detta slag kan möta kulturell eller branschmotstånd, kan de också utgöra en ny typ av funktionalitet i människostyrda VFX-system och verktygssvit. I vilket fall som helst, för tillfället, är utmaningarna strikt tekniska.

Förutom att utöka en klipp genom ytterligare AI-genererat tal, kan det nya systemet också ändra befintligt tal:

Klicka för att spela upp. Ett exempel på att ändra befintligt tal i stället för att lägga till ytterligare tal. Vänligen se källwebbplatsen för bättre upplösning.

Tillstånd i konsten

Det finns för närvarande inga slut-till-slut-system som erbjuder denna typ av syntescapacitet; även om ett växande antal generativa AI-plattformar som Google’s Veo-serien kan generera ljud, och diverse andra ramverk kan skapa deepfaked ljud, måste man för närvarande skapa en ganska invecklad pipeline av diverse arkitekturer och tricks för att kunna ingripa i riktiga filmer på det sätt som det nya systemet – som heter FacEDiT – kan åstadkomma.

Systemet använder Diffusion Transformers (DiT) i kombination med Flow Matching för att skapa ansiktsrörelser som är villkorade av omgivande (kontextuella) rörelser och tal-ljudinnehåll. Systemet utnyttjar befintliga populära paket som hanterar ansiktsrekonstruktion, inklusive LivePortrait (nyligen övertagen av Kling).

Utöver denna metod, eftersom deras tillvägagångssätt är det första som integrerar dessa utmaningar i en enda lösning, har författarna skapat en ny benchmark som heter FacEDiTBench, tillsammans med flera helt nya utvärderingsmetoder som är lämpliga för denna specifika uppgift.

Det nya arbetet heter FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling, och kommer från fyra forskare på Koreas Pohang University of Science and Technology (POSTECH), Korea Advanced Institute of Science & Technology (KAIST) och The University of Texas at Austin.

Metod

FacEDiT är utbildat för att rekonstruera ansiktsrörelser genom att lära sig att fylla i saknade delar av en skådespelares ursprungliga prestation, baserat på omgivande rörelse och tal-ljud. Som visas i schemat nedan, tillåter denna process modellen att fungera som en gap-fyllare under utbildning, förutsägande ansiktsrörelser som matchar rösten samtidigt som den förblir konsekvent med den ursprungliga videon:

Översikt av FacEDiT-systemet, som visar hur ansiktsrörelse lärs genom självständig infyllning under utbildning, vägledning av redigerat tal vid inferens, och slutligen återges till video genom att återanvända utseendet från den ursprungliga filmen medan endast den målade rörelsen ersätts. Källa

Vid inferenstid, stöder samma arkitektur två olika utdata beroende på hur mycket av videon som maskeras: partiella redigeringar, där endast en fras ändras och resten lämnas orörd; eller fullständig meningsgenerering, där ny rörelse syntetiseras helt från scratch.

Modellen är utbildad via flow matching, som behandlar videoändringar som en sorts väg mellan två versioner av ansiktsrörelse.

I stället för att lära sig att gissa hur ett redigerat ansikte ska se ut från scratch, lär sig flow matching att flytta gradvis och smidigt mellan en bullrig placeholder och den korrekta rörelsen. För att underlätta detta, representerar systemet ansiktsrörelse som en kompakt uppsättning av nummer som extraheras från varje ram med en version av den ovannämnda LivePortrait-systemet (se schema ovan).

Dessa rörelsevektorer är utformade för att beskriva uttryck och huvudposition utan att förväxla identitet, så att talförändringar kan lokaliserats utan att påverka personens övergripande utseende.

FacEDiT-utbildning

För att utbilda FacEDiT, bröts varje videoklipp upp i en serie ansiktsrörelse-ögonblick, och varje ram parades med den motsvarande delen av ljudet. Slumpmässiga delar av rörelsedata maskerades sedan, och modellen bad att gissa hur dessa saknade rörelser skulle se ut, med hjälp av både talet och den omgivande omaskerade rörelsen som kontext.

Eftersom de maskerade spann och deras positioner varierar från ett utbildningsexempel till ett annat, lär sig modellen gradvis hur man hanterar både små inre redigeringar och längre luckor, för fullständig sekvensgenerering, beroende på hur mycket information den får.

Systemets ovannämnda Diffusion Transformer lär sig att återställa maskerad rörelse genom att förbättra bullriga ingångar över tid. I stället för att mata in tal och rörelse i modellen alla på en gång, trådas ljudet in i varje bearbetningsblock genom cross-attention, vilket hjälper systemet att matcha läpprörelser mer exakt till tal-ljudet.

För att bevara realism över redigeringar, är uppmärksamheten biaserad mot närliggande ramar snarare än hela tidsaxeln, vilket tvingar modellen att fokusera på lokal kontinuitet och förhindrar blinkningar eller rörelsehopp vid kanterna av ändrade områden. Positionella inbäddningar (som talar om för modellen var varje ram visas i sekvensen) hjälper ytterligare modellen att upprätthålla naturlig tidsflöde och kontext.

Under utbildning, lär sig systemet att förutsäga saknad ansiktsrörelse genom att rekonstruera maskerade spann baserat på tal och närliggande omaskerad rörelse. Vid inferenstid, återanvänds samma setup, men med maskerna nu vägleds av redigeringar i talet.

När ett ord eller en fras infogas, tas bort eller ändras, lokaliserar systemet den påverkade regionen, maskerar den och regenererar rörelse som matchar det nya ljudet. Fullständig sekvensgenerering behandlas som ett specialfall, där hela regionen maskeras och syntetiseras från scratch.

Data och tester

Systemets ryggrad består av 22 lager för Diffusion Transformer, var och en med 16 uppmärksamhets-huvuden och feedforward-dimensioner på 1024 och 2024px. Rörelse- och utseendefunktioner extraheras med hjälp av frusna LivePortrait-komponenter, och tal kodas via WavLM och modifieras med VoiceCraft.

En dedikerad projiceringsskikt kartlägger de 786-dimensionella talfunktionerna till DiT:s latenta utrymme, med endast DiT och projiceringmodulerna tränade från scratch.

Utbildning utfördes under AdamW-optimeraren vid en mål-lärandehastighet på 1e-4, under en miljon steg, på två A6000-GPU:er (var och en med 48 GB VRAM), vid en total batchstorlek på åtta.

FacEDiTBench

FacEDiTBench-databasen innehåller 250 exempel, var och en med en videoklipp av den ursprungliga och redigerade talen, och transkriptioner för båda. Videorna kommer från tre källor, med 100 klipp från HDTF, 100 från Hallo3 och 50 från CelebV-Dub. Var och en kontrollerades manuellt för att bekräfta att både ljud och video var tillräckligt tydliga för utvärdering.

GPT-4o användes för att revidera varje transkription för att skapa grammatiskt giltiga redigeringar. Dessa reviderade transkriptioner, tillsammans med den ursprungliga talen, skickades till VoiceCraft för att producera nytt ljud; och vid varje stadium, granskades både transkriptionen och det genererade talet manuellt för kvalitet.

Varje exempel märktes med redigeringstyp, tidpunkten för ändringen och längden på den ändrade spannen, och redigeringar klassificerades som infogningar, borttagningar eller ersättningar. Antalet ord som ändrades sträckte sig från korta redigeringar på 1 till 3 ord, medelredigeringar på 4 till 6 ord och längre redigeringar på 7 till 10 ord.

Tre anpassade metoder definierades för att utvärdera redigeringskvalitet. Fotometrisk kontinuitet, för att mäta hur väl den redigerade segmentets belysning och färg blandar sig med den omgivande videon, genom att jämföra pixelnivåskillnader vid gränserna; rörelsekontinuitet, för att bedöma ansiktsrörelsens konsekvens, genom att mäta optisk flödesförändringar över redigerade och oredigerade ramar; och identitetsskydd, för att uppskatta om ämnets utseende förblir konsekvent efter redigering, genom att jämföra ansiktsinbäddningar från den ursprungliga och genererade sekvenserna med hjälp av ArcFace-ansiktsigenkänningsmodellen.

Tester

Testmodellen tränades på material från de tre ovannämnda databaserna, totalt cirka 200 timmars videomaterial, inklusive vloggar och filmer, samt högupplösta YouTube-videor.

För att utvärdera talande ansiktsredigering, användes FacEDiTBench, tillsammans med HDTF-testdelen, som har blivit en standard för denna uppsättning uppgifter.

Eftersom det inte fanns några direkt jämförbara system som kunde omfatta denna typ av slut-till-slut-funktionalitet, valde författarna ett antal ramverk som återger åtminstone någon del av den mål-funktionen, och som kunde fungera som baslinjer; nämligen, KeyFace; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrait; och SadTalker.

Flera etablerade metoder användes också för att bedöma genererings- och redigeringskvalitet, med läppsynkroniseringsnoggrannhet utvärderad genom SyncNet, som rapporterar både den absoluta felet mellan läpprörelser och ljud (LSE-D) och en konfidenspoäng (LSE-C); Fréchet Video Distance (FVD) som kvantifierar hur realistisk videon verkar i sin helhet; och Lärda perceptuella likhetsmetoder (LPIPS), som mäter perceptuell likhet mellan genererade och ursprungliga ramar.

För redigering, tillämpades alla metoder utom LPIPS endast på den ändrade segmenten; för generering, utvärderades hela videon, med gränskontinuitet exkluderad.

Varje modell tvingades syntetisera en matchande videosegment, som sedan infogades i den ursprungliga klippen (forskarna noterar att denna metod ofta introducerade synliga diskontinuiteter, där den redigerade delen mötte den omgivande filmen). En andra metod testades också, där hela videon regenererades från det ändrade ljudet – men detta över skrev ofta oredigerade områden och misslyckades med att bevara den ursprungliga prestationen:

Jämförelse av redigeringsprestanda över system som ursprungligen var utformade för talande ansiktsgenerering, med FacEDiT som överträffar alla baslinjer över alla metoder, uppnår lägre läppsynkroniseringsfel (LSE-D), högre synkroniseringskonfidens (LSE-C), starkare identitetsskydd (IDSIM), större perceptuell realism (FVD) och smidigare övergångar över redigeringsgränser (Pkontinuitet, Mkontinuitet). Gråskuggade kolumner markerar de viktigaste kriterierna för att bedöma gränskvalitet; fet och understruken text indikerar de bästa och näst bästa resultaten, respektive

Med avseende på dessa resultat, kommenterar författarna:

‘[Vår] modell överträffar befintliga metoder på redigeringsuppgiften. Den uppnår stark gränskontinuitet och högt identitetsskydd, och visar sin förmåga att upprätthålla tidsmässig och visuell konsekvens under redigering. Dessutom visar dess överlägsna läppsynkroniseringsnoggrannhet och låga FVD den realistiska karaktären hos den syntetiserade videon.’

Klicka för att spela upp. Resultat, sammansatta av mig från de publicerade videorna på stödprojektets webbplats. Vänligen se källwebbplatsen för bättre upplösning.

Ytterligare, genomfördes en mänsklig studie för att utvärdera upplevd kvalitet över både redigering och generering.

För varje jämförelse, tittade deltagarna på sex videor och rankade dem efter övergripande kvalitet, med hänsyn till läppsynkroniseringsnoggrannhet, naturlighet och realism i huvudrörelse:

Genomsnittliga rangordningar tilldelade av mänskliga utvärderare, där lägre betyder bättre. I både redigering och generering, bedömde deltagarna hur naturlig och väl-synkroniserad varje video såg ut. För redigering, bedömde de också hur smidig övergången var mellan redigerade och oredigerade tal. Feta och understrukna siffror visar de bästa resultaten.

I studien, rankades FacEDiT konsekvent högst av en klar ledning, för både redigeringskvalitet och övergångssmidighet, och fick också starka poäng i genereringsinställningen, vilket tyder på att dess mätta fördelar översätts till perceptuellt föredragna utdata.

På grund av brist på utrymme, hänvisar vi läsaren till källpapperet för ytterligare information om avlägsnande studier och ytterligare tester som utfördes och rapporterades i det nya arbetet. I själva verket, prototypiska forskningserbjudanden av detta slag kämpar för att generera meningsfulla testresultatavsnitt, eftersom kärnerbjudandet i sig självt är oundvikligen en potentiell baslinje för senare arbete.

Slutsats

Även för inferens, kan system som detta kräva betydande beräkningsresurser vid inferenstid, vilket gör det svårt för nedströmsanvändare – här, förmodligen VFX-butiker – att hålla arbetet på plats. Därför kommer tillvägagångssätt som kan anpassas till realistiska lokala resurser alltid att föredras av leverantörer, som är under laglig skyldighet att skydda klients film och allmän IP.

Detta betyder inte att den nya erbjudandet ska kritiseras, som kan fungera perfekt under kvantiserade vikter eller andra optimeringar, och som är den första erbjudandet av sitt slag som lockar mig tillbaka till denna forskningsväg på ganska länge.

Publicerad första gången onsdag, den 17 december 202. Redigerad 20.10 EET, samma dag, för extra utrymme i första brödtextpara.