Legge til dialog i ekte video med AI

Et nytt AI-rammeverk kan omskrive, fjerne eller legge til en persons ord i video uten å måtte filme på nytt, i et enkelt ende-til-ende-system.

For tre år siden ville internett blitt forbløffet over et hvilket som helst av de 20–30 AI-videoredigeringsrammeverkene som publiseres ukentlig i akademiske portaler. Slik det er nå, har denne populære forskningsstrengen blitt så produktiv at den nesten utgjør en annen gren av «AI Slop», og jeg dekker langt færre slike utgivelser enn jeg ville ha gjort for to eller tre år siden.

Men én nåværende utgivelse i denne serien fanget oppmerksomheten min: et integrert system som kan gripe inn i ekte videoklipp og sette inn ny tale i den eksisterende videoen (i stedet for å lage et helt generativt klipp fra et ansikt eller en ramme, noe som er langt mer vanlig).

I eksemplene nedenfor, som jeg redigerte sammen fra en rekke eksempelvideoer tilgjengelig på utgivelsesstedet prosjekt nettsted, ser vi først det virkelige kildeklippet, og deretter, under, den pålagte AI-talen midt i klippet, inkludert stemmesyntese og leppesynkronisering:

Klikk for å spille. Lokal redigering med sammenføyning – en av flere modaliteter som tilbys av FacEDiT. Se kildenettstedet for bedre oppløsning. Kilde – https://facedit.github.io/

Denne tilnærmingen er en av tre som er utviklet for den nye metoden, denne med tittelen «lokal redigering med stitching», og den som interesserer forfatterne (så vel som meg selv) mest. I hovedsak forlenges klippet ved å bruke en av de midterste rammene som et utgangspunkt for en ny AI-tolkning, og den påfølgende (virkelige) rammen som et mål som det generative innsatte klippet skal sikte på å matche. I klippene vist ovenfor er disse «frø»- og «mål»-rammene representert ved at den øverste videoen pauserer, mens den endrede videoen nedenfor gir generativ utfylling.

Forfatterne rammer inn denne ansikts- og vokalsyntesetilnærmingen som den første fullintegrerte ende-til-ende-metoden for AI-videoredigering av denne typen, og observerer potensialet til et fullutviklet rammeverk som dette for TV- og filmproduksjon:

«Filmskapere og medieprodusenter må ofte revidere spesifikke deler av innspilte videoer – kanskje et ord ble sagt feil, eller manuset ble endret etter innspillingen. For eksempel i den ikoniske scenen fra Titanic (1997) hvor Rose sier, «Jeg slipper aldri taket, Jack» regissøren kan senere bestemme at det skal være «Jeg vil aldri glemme deg, Jack».

«Tradisjonelt sett krever slike endringer at hele scenen filmes på nytt, noe som er kostbart og tidkrevende. Syntese av talende ansikter tilbyr et praktisk alternativ ved automatisk å modifisere ansiktsbevegelser for å matche revidert tale, noe som eliminerer behovet for nye filminger.»

Selv om slike AI-tiltak kan møte kulturell eller motstand fra industrien, kan de også utgjøre en ny type funksjonalitet i menneskestyrte VFX-systemer og verktøypakker. Uansett er utfordringene for øyeblikket strengt tekniske.

I tillegg til å forlenge et klipp med ekstra AI-generert dialog, kan det nye systemet også endre eksisterende tale:

Klikk for å spille. Et eksempel på å endre eksisterende dialog i stedet for å legge inn ytterligere dialog. Se kildesiden for bedre oppløsning.

State of the Art

Det finnes for øyeblikket ingen ende-til-ende-systemer som tilbyr denne typen syntesekapasitet; selv om et økende antall generative AI-plattformer som Googles Veo-serien, kan generere lyd, og diverse andre rammeverk kan lage dypforfalsket lyd, må man for tiden lage en ganske komplisert prosess med forskjellige arkitekturer og triks for å kunne forstyrre ekte opptak på den måten det nye systemet – med tittelen FaceEDiT – kan oppnå.

Systemet bruker Diffusjonstransformatorer (DiT) i kombinasjon med Flow Matching å lage ansiktsbevegelser betinget av omgivende (kontekstuelle) bevegelser og tale- og lydinnhold. Systemet utnytter eksisterende populære pakker som omhandler ansiktsrekonstruksjon, inkludert LivePortrett (nylig overtatt av Kling).

I tillegg til denne metoden, gitt at deres tilnærming er den første som integrerer disse utfordringene i én enkelt løsning, har forfatterne laget en ny referanse som kalles FaceEDiTBench, sammen med flere helt nye evalueringsmålinger som er relevante for denne svært spesifikke oppgaven.

Ocuco ny jobb har tittelen FacEDiT: Enhetlig redigering og generering av talende ansikter via ansiktsbevegelsesfylling, og kommer fra fire forskere ved Koreas Pohang University of Science and Technology (POSTECH), Korea Advanced Institute of Science & Technology (KAIST) og University of Texas i Austin.

Metode

FacEDiT er trent til å rekonstruere ansiktsbevegelser ved å lære å fylle inn manglende deler av en skuespillers originale opptreden, basert på bevegelsen rundt og talelyden. Som vist i skjemaet nedenfor, lar denne prosessen modellen fungere som en gap-fyller under trening, og forutsi ansiktsbevegelser som samsvarer med stemmen samtidig som de forblir konsistente med den originale videoen:

Oversikt over FacEDiT-systemet, som viser hvordan ansiktsbevegelse læres gjennom selvovervåket utfylling under trening, veiledes av redigert tale ved slutning, og til slutt gjengis tilbake til video ved å gjenbruke utseendet til det originale opptaket, samtidig som bare den målrettede bevegelsen erstattes. Kilde

Ved slutningstidspunktet støtter den samme arkitekturen to forskjellige utganger avhengig av hvor mye av videoen som er maskert: delvise redigeringer, der bare en frase endres og resten forblir urørt; eller generering av full setning, der ny bevegelse syntetiseres helt fra bunnen av.

Modellen trenes via flyt matching, som behandler videoredigeringer som en slags bane mellom to versjoner av ansiktsbevegelse.

I stedet for å lære å gjette hvordan et redigert ansikt skal se ut fra bunnen av, lærer flytmatching å bevege seg gradvis og jevnt mellom en støyende plassholder og riktig bevegelse. For å legge til rette for dette representerer systemet ansiktsbevegelse som et kompakt sett med tall hentet fra hver ramme ved hjelp av en versjon av det nevnte LivePortrait-systemet (se skjemaet ovenfor).

Disse bevegelsesvektorene er utformet for å beskrive ansiktsuttrykk og hodepositur uten sammenfiltring identitet, slik at taleendringer kan lokaliseres uten å påvirke personens helhetlige utseende.

FaceEDiT-opplæring

For å trene FacEDiT ble hvert videoklipp delt inn i en serie med ansiktsbevegelsesbilder, og hver ramme ble paret med den tilsvarende lydbiten. Tilfeldige deler av bevegelsesdataene ble deretter skjult, og modellen ble bedt om å gjette hvordan de manglende bevegelsene skulle se ut, ved å bruke både talen og den omkringliggende, avmaskerte bevegelsen som kontekst.

Fordi de maskerte spennene og deres posisjoner varierer fra ett treningseksempel til det neste, lærer modellen gradvis hvordan den skal håndtere både små interne redigeringer og lengre mellomrom for generering av fullsekvenser, i henhold til hvor mye informasjon den får.

Systemets nevnte diffusjonstransformator lærer å gjenopprette maskert bevegelse ved å raffinere støyende innganger over tid. I stedet for å mate tale og bevegelse inn i modellen samtidig, blir lyden tredd inn i hver prosesseringsblokk gjennom kryssoppmerksomhet, noe som hjelper systemet med å matche leppebevegelser mer presist med lydtalen.

For å bevare realismen på tvers av redigeringer, rettes oppmerksomheten mot nærliggende rammer i stedet for hele tidslinjen, noe som tvinger modellen til å fokusere på lokal kontinuitet og forhindrer flimring eller bevegelseshopp i kantene av endrede områder. Posisjonelle innebygginger (som forteller modellen hvor hvert ramme vises i sekvensen) hjelper modellen ytterligere med å opprettholde naturlig tidsflyt og kontekst.

Under trening lærer systemet å forutsi manglende ansiktsbevegelse ved å rekonstruere maskerte spenn basert på tale og nærliggende umaskert bevegelse. Ved inferenstidspunktet brukes det samme oppsettet på nytt, men maskene styres nå av redigeringer i talen.

Når et ord eller en frase settes inn, fjernes eller endres, lokaliserer systemet det berørte området, maskerer det og regenererer bevegelse som samsvarer med den nye lyden. Generering av fullsekvens behandles som et spesialtilfelle, der hele området maskeres og syntetiseres fra bunnen av.

Data og tester

Systemets ryggrad består av 22 lag for diffusjonstransformatoren, hvert med 16 oppmerksomhet hoder og feedforward-dimensjoner på 1024 og 2024 piksler. Bevegelses- og utseendefunksjoner ekstraheres ved hjelp av frossen LivePortrait-komponenter og tale kodet via WavLM og modifisert ved hjelp av VoiceCraft.

Et dedikert projeksjonslag kartlegger de 786-dimensjonale talefunksjonene inn i DiTs latente rom, med bare DiT- og projeksjonsmodulene trent fra bunnen av.

Treningen ble gjennomført under AdamW optimaliserer med en målrettet læringshastighet på 1e‑4, for en million trinn, på to A6000 GPU-er (hver med 48 GB VRAM), med en total Partistørrelse, Gruppestørrelse av åtte.

FaceEDiTBench

FacEDiTBench-datasettet inneholder 250 eksempler, hvert med et videoklipp av den originale og redigerte talen, og transkripsjoner av begge. Videoene kommer fra tre kilder, med 100 klipp fra HDTF, 100 fra Hallo3, og 50 fra CelebV-DubHver av dem ble manuelt kontrollert for å bekrefte at både lyd og bilde var tydelige nok til evaluering.

GPT-4o ble brukt til å revidere hver transkripsjon for å lage grammatisk gyldige redigeringer. Disse reviderte transkripsjonene, sammen med den opprinnelige talen, ble sendt til VoiceCraft for å produsere ny lyd; og på hvert trinn ble både transkripsjonen og den genererte talen manuelt gjennomgått for kvalitet.

Hvert eksempel ble merket med type redigering, tidspunktet for endringen og lengden på det modifiserte tidsrommet, og redigeringer klassifisert som innsett, slettingereller erstatningerAntall ord som ble endret varierte fra korte redigeringer på 1 til 3 ord, mellomstore redigeringer på 4 til 6 ord og lengre redigeringer på 7 til 10 ord.

Tre tilpassede målinger ble definert for å evaluere redigeringskvaliteten. Fotometrisk kontinuitet, for å måle hvor godt belysningen og fargen i et redigert segment passer inn i den omkringliggende videoen, ved å sammenligne pikselnivåforskjeller ved grensene; bevegelseskontinuitet, for å vurdere konsistensen av ansiktsbevegelser, ved å måle endringer i optisk flyt på tvers av redigerte og uredigerte bilder; og identitetsbevaring, for å anslå om motivets utseende forblir konsistent etter redigering, ved å sammenligne ansiktsinnlegg fra originalen og genererte sekvenser ved hjelp av ArcFace modell for ansiktsgjenkjenning.

Tester

Testmodellen ble trent på materiale fra de tre ovennevnte datasettene, til sammen rundt 200 timer med videoinnhold, inkludert vlogger og filmer, samt YouTube-videoer i høy oppløsning.

For å evaluere redigering av talende ansikter ble FacEDiTBench brukt, i tillegg til HDTF-testdelingen, som har blitt en referansestandard for denne oppgaveserien.

Siden det ikke fantes direkte sammenlignbare systemer som var i stand til å innkapsle denne typen ende-til-ende-funksjonalitet, valgte forfatterne en rekke rammeverk som reproduserte i det minste noe av målfunksjonaliteten, og som kunne fungere som grunnlinjer; nemlig, Nøkkelansikt; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrett, Og TristTalker.

Flere etablerte målinger ble også brukt til å vurdere genererings- og redigeringskvalitet, med leppesynkroniseringsnøyaktighet evaluert gjennom SyncNet, som rapporterer både den absolutte feilen mellom leppebevegelser og lyd (LSE-D) og en konfidenspoengsum (LSE-C); Fréchet videoavstand (FVD) kvantifisere hvor realistisk videoen virket totalt sett; og Lærte perseptuelle likhetsmetrikker (LPIPS), som måler perseptuell likhet mellom genererte og originale bilder.

For redigering ble alle målinger unntatt LPIPS kun brukt på det modifiserte segmentet; for generering ble hele videoen evaluert, uten grensekontinuitet.

Hver modell ble laget for å syntetisere et matchende videosegment, som deretter ble skjøtet inn i det originale klippet (forskerne bemerker at denne metoden ofte introduserte synlige diskontinuiteter, der den redigerte delen møtte det omkringliggende opptaket). En annen tilnærming ble også testet, der hele videoen ble regenerert fra den modifiserte lyden – men dette overskrev uunngåelig uredigerte områder og klarte ikke å bevare den originale ytelsen:

Sammenligning av redigeringsytelse på tvers av systemer som opprinnelig var utviklet for generering av talende ansikter, der FacEDiT overgikk alle grunnlinjer på tvers av alle målinger, og oppnådde lavere leppesynkroniseringsfeil (LSE-D), høyere synkroniseringstillit (LSE-C), sterkere identitetsbevaring (IDSIM), større perseptuell realisme (FVD) og jevnere overganger på tvers av redigeringsgrenser (Pcontinuity, Mcontinuity). Gråskyggelagte kolonner fremhever nøkkelkriteriene for å vurdere grensekvalitet; fet skrift og understrekede verdier indikerer henholdsvis de beste og nest beste resultatene.

Angående disse resultatene kommenterer forfatterne:

«[Vår] modell overgår eksisterende metoder betydelig i redigeringsoppgaven. Den oppnår sterk grensekontinuitet og høy identitetsbevaring, noe som demonstrerer dens evne til å opprettholde tidsmessig og visuell konsistens under redigering. I tillegg gjenspeiler den overlegne leppesynkroniseringsnøyaktigheten og lave FVD realismen til den syntetiserte videoen.»

Klikk for å spille. Resultater, satt sammen av denne forfatteren fra de publiserte videoene på nettstedet til det støttende prosjektet. Se kildenettstedet for bedre oppløsning.

Videre ble det utført en studie på mennesker for å evaluere opplevd kvalitet på tvers av både redigering og generering.

For hver sammenligning så deltakerne seks videoer og rangerte dem etter generell kvalitet, med tanke på nøyaktighet i leppesynkronisering, naturlighet og realisme i hodebevegelser. I redigeringstester vurderte deltakerne også hvor jevne overgangene mellom redigerte og uredigerte segmenter var:

Gjennomsnittsrangeringer tildelt av menneskelige evaluatorer, der lavere betyr bedre. Både i redigering og generering vurderte deltakerne hvor naturlig og godt synkronisert hver video så ut. For redigering vurderte de også hvor jevn overgangen var mellom redigert og uredigert tale. Uthevede og understrekede tall indikerer de to høyeste poengsummene.

I studien ble FacEDiT konsekvent rangert høyest med en klar ledelse, både for redigeringskvalitet og sømløshet i overganger, og fikk også sterke poengsummer i genereringssammenheng, noe som tyder på at de målte fordelene oversettes til perceptuelt foretrukne resultater.

På grunn av plassmangel henviser vi leseren til kildeartikkelen for ytterligere detaljer om ablasjonsstudier og tilleggstester som ble utført og rapportert i det nye arbeidet. I sannhet sliter prototypiske forskningstilbud av denne typen med å generere meningsfulle testresultater, siden selve kjernetilbudet uunngåelig er et potensielt utgangspunkt for senere arbeid.

Konklusjon

Selv for inferens kan systemer som dette kreve betydelige dataressurser på inferenstidspunktet, noe som gjør det vanskelig for nedstrømsbrukere – her antagelig VFX-butikker – å holde arbeidet lokalt. Derfor vil tilnærminger som kan tilpasses realistiske lokale ressurser alltid bli foretrukket av leverandører, som er juridisk forpliktet til å beskytte kundens opptak og generelle IP.

Det er ikke for å kritisere det nye tilbudet, som godt kan fungere perfekt under kvantiserte vekter eller andre optimaliseringer, og som er det første tilbudet i sitt slag som tiltrekker meg tilbake til denne forskningsveien på ganske lenge.

Først publisert onsdag 17. desember 202. Redigert 20.10 EET, samme dag, for ekstra plass i første avsnitt.