Gesprek toevoegen aan echte video’s met AI

Een nieuw AI-raamwerk kan de woorden van een persoon in een video herschrijven, verwijderen of toevoegen zonder opnieuw op te nemen, in een enkel eind-tot-eind-systeem.

Drie jaar geleden zou het internet geschokt zijn door elk van de 20-30 AI-video-veranderende kaders die wekelijks op academische portals worden gepubliceerd; zoals het er nu voor staat, is deze populaire onderzoekslijn zo talrijk geworden dat het bijna een andere tak van ‘AI-slop’ vormt, en ik dek veel minder van dergelijke releases dan ik twee of drie jaar geleden zou hebben.

Echter, één huidige release in deze lijn trok mijn aandacht: een geïntegreerd systeem dat kan ingrijpen in echte videoclips en nieuw gesprek kan invoegen in de bestaande video (in plaats van een gehele generatieve clip te creëren van een gezicht of kader, wat veel vaker voorkomt).

In de onderstaande voorbeelden, die ik samenstelde uit een veelvoud van voorbeeldvideo’s beschikbaar op de projectwebsite, zien we eerst de echte bronclip en vervolgens, daaronder, het opgelegde AI-gesprek in het midden van de clip, inclusief spraaksynthese en lip-sync:

Click to play. Lokale bewerking met stitching – een van de verschillende modaliteiten die door FacEDiT worden aangeboden. Raadpleeg de bronwebsite voor een betere resolutie. Source – https://facedit.github.io/

Deze aanpak is een van de drie die zijn ontwikkeld voor de nieuwe methode, deze met de titel ‘lokale bewerking met stitching’, en die het meest interesseert van de auteurs (evenals van mij). In wezen wordt de clip verlengd door een van de middelste frames als startpunt te gebruiken voor nieuwe AI-interpretatie, en de daaropvolgende (echte) frame als doel dat de generatieve ingevoegde clip moet nastreven. In de bovenstaande clips worden deze ‘zaad’- en ‘doelframes’ vertegenwoordigd door de bovenste video die pauzeert, terwijl de gewijzigde video hieronder generatieve infill biedt.

De auteurs kaderen deze benadering van gezichts- en spraaksynthese als de eerste volledig geïntegreerde eind-tot-eind-methode voor AI-video-edits van deze soort, waarbij het potentieel van een volledig ontwikkelde framework zoals deze voor TV- en filmproductie in aanmerking wordt genomen:

‘Filmmakers en mediaproducties hebben vaak de behoefte om specifieke delen van opgenomen video’s te herzien – misschien is een woord verkeerd uitgesproken of is het script gewijzigd na het opnemen. Bijvoorbeeld, in de iconische scène uit Titanic (1997) waar Rose zegt, “I’ll never let go, Jack,” kan de regisseur later besluiten dat het “I’ll never forget you, Jack” moet zijn.

‘Traditioneel vereisen dergelijke wijzigingen het opnieuw opnemen van de hele scène, wat kostbaar en tijdrovend is. Talking face synthesis biedt een praktische alternatief door automatisch de gezichtsbeweging te wijzigen om de herziene spraak te matchen, waardoor het opnieuw opnemen van scènes overbodig wordt.’

Hoewel AI-interposities van deze soort mogelijk culturele of industriele weerstand kunnen ontmoeten, kunnen ze ook een nieuwe functionaliteit vormen in door de mens geleide VFX-systemen en toolsuites. In ieder geval, voor het moment, zijn de uitdagingen strikt technisch.

Bovendien kan het nieuwe systeem bestaande spraak wijzigen:

Click to play. Een voorbeeld van het wijzigen van bestaande dialoog in plaats van het invoegen van extra dialoog. Raadpleeg de bronwebsite voor een betere resolutie.

State of the Art

Er zijn momenteel geen eind-tot-eind-systemen die deze soort synthese-capaciteit bieden; hoewel een groeiend aantal generatieve AI-platforms zoals Google’s Veo-serie, audio kunnen genereren, en diverse andere frameworks diepe deepfaked audio kunnen creëren, moet men momenteel een vrij ingewikkeld pipeline van diverse architectuur en trucs creëren om in te grijpen in echte beelden op de manier waarop het nieuwe systeem – getiteld FacEDiT – kan bereiken.

Het systeem gebruikt Diffusion Transformers (DiT) in combinatie met Flow Matching om gezichtsbewegingen te creëren die zijn voorwaardelijk op omringende (contextuele) bewegingen en spraakaudio-inhoud. Het systeem maakt gebruik van bestaande populaire pakketten die te maken hebben met gezichtsreconstructie, waaronder LivePortrait (onlangs overgenomen door Kling).

Naast deze methode, aangezien hun benadering de eerste is die deze uitdagingen in een enkele oplossing integreert, hebben de auteurs een nieuw benchmark genaamd FacEDiTBench gemaakt, samen met een aantal geheel nieuwe evaluatiemetrics die specifiek zijn voor deze specifieke taak.

Het nieuwe werk is getiteld FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling, en komt van vier onderzoekers uit Korea’s Pohang University of Science and Technology (POSTECH), Korea Advanced Institute of Science & Technology (KAIST), en The University of Texas at Austin.

Method

FacEDiT is getraind om gezichtsbeweging te reconstrueren door te leren hoe te vullen van ontbrekende delen van een acteurs oorspronkelijke prestatie, op basis van de omringende beweging en de spraakaudio. Zoals getoond in het schema hieronder, stelt dit proces het model in staat om te fungeren als een gap-filler tijdens de training, waarbij het voorspelt gezichtsbewegingen die overeenkomen met de stem en consistent zijn met de oorspronkelijke video:

Overzicht van het FacEDiT-systeem, waarin wordt getoond hoe gezichtsbeweging wordt geleerd door middel van zelf-supervised infilling tijdens de training, geleid door bewerkte spraak bij inferentie, en uiteindelijk wordt weergegeven in video door de verschijning van de oorspronkelijke beelden te hergebruiken en alleen de gerichte beweging te vervangen. Source

Tijdens de inferentie ondersteunt dezelfde architectuur twee verschillende uitvoer afhankelijk van hoeveel van de video gemaskeerd is: partiële bewerkingen, waarbij alleen een zin wordt gewijzigd en de rest ongemoeid wordt gelaten; of volledige zin-generatie, waarbij nieuwe beweging volledig van scratch wordt gesynthetiseerd.

Het model is getraind via flow matching, die video-edits behandelt als een soort pad tussen twee versies van gezichtsbeweging.

In plaats van te leren te raden hoe een bewerkte gezicht eruit zou moeten zien van scratch, leert flow matching geleidelijk en soepel tussen een lawaaierige placeholder en de correcte beweging. Om dit te faciliteren, vertegenwoordigt het systeem gezichtsbeweging als een compacte set van getallen die zijn geëxtraheerd uit elke frame met behulp van een versie van het eerder genoemde LivePortrait-systeem (zie schema hierboven).

Deze bewegingsvectoren zijn ontworpen om expressies en hoofdpositie te beschrijven zonder entangling identiteit, zodat spraakwijzigingen kunnen worden gelokaliseerd zonder de algemene verschijning van de persoon te beïnvloeden.

FacEDiT Training

Om FacEDiT te trainen, werd elke videoclip onderverdeeld in een reeks van gezichtsbewegingssnapshots, en elke frame werd gekoppeld aan het overeenkomstige stuk audio. Willekeurige delen van de bewegingsgegevens werden vervolgens verborgen, en het model werd gevraagd om te raden hoe die ontbrekende bewegingen eruit zouden moeten zien, met behulp van zowel de spraak als de omringende ongemaskeerde beweging als context.

Omdat de gemaskeerde spans en hun posities variëren van de ene trainingsvoorbeeld tot de andere, leert het model geleidelijk hoe te omgaan met zowel kleine interne bewerkingen als langere gaps, voor volledige sequentie-generatie, afhankelijk van hoeveel informatie het krijgt.

Het Diffusion Transformer van het systeem leert om gemaskeerde beweging te herstellen door lawaaierige invoer te verfijnen over tijd. In plaats van spraak en beweging tegelijk in het model in te voeren, wordt de audio ingevoerd in elke verwerkingseenheid via cross-attention, waardoor het systeem lip-bewegingen meer precies kan matchen met de audio-spraak.

Om realisme over bewerkingen heen te behouden, wordt aandacht gebiast naar naburige frames in plaats van de hele tijdslijn, waardoor het model wordt gedwongen om te focussen op lokale continuïteit en te voorkomen dat er flikkeringen of bewegingssprongen optreden aan de randen van de bewerkte gebieden. Positionele embeddings (die het model vertellen waar elke frame in de sequentie verschijnt) helpen het model ook om de natuurlijke tijdsstroom en context te behouden.

Tijdens de training leert het systeem om ontbrekende gezichtsbeweging te voorspellen door gemaskeerde spans te reconstrueren op basis van spraak en naburige ongemaskeerde beweging. Bij inferentie wordt dezelfde setup opnieuw gebruikt, maar met de masks nu geleid door bewerkingen in de spraak.

Wanneer een woord of zin wordt ingevoegd, verwijderd of gewijzigd, lokaliseert het systeem het getroffen gebied, maskeert het en regenereert het beweging die overeenkomt met de nieuwe audio. Volledige sequentie-generatie wordt behandeld als een speciaal geval, waarbij het hele gebied wordt gemaskeerd en van scratch wordt gesynthetiseerd.

Data en Tests

Het backbone van het systeem bestaat uit 22 lagen voor de Diffusion Transformer, elk met 16 attention heads en feedforward-dimensies van 1024 en 2024px. Bewegings- en verschijningskenmerken worden geëxtraheerd met behulp van bevroren LivePortrait-componenten, en spraak wordt gecodeerd via WavLM en gewijzigd met behulp van VoiceCraft.

Een speciale projectielaag kaart de 786-dimensionale spraakkenmerken in de latent ruimte van de DiT, met alleen de DiT en projectielaagmodules die van scratch worden getraind.

De training werd uitgevoerd onder de AdamW optimizer met een doellearngrens van 1e-4, voor een miljoen stappen, op twee A6000 GPU’s (elk met 48GB VRAM), bij een totale batchgrootte van acht.

FacEDiTBench

De FacEDiTBench-dataset bevat 250 voorbeelden, elk met een videoclip van de oorspronkelijke en bewerkte spraak, en de transcripten voor beide. De video’s komen uit drie bronnen, met 100 clips uit HDTF, 100 uit Hallo3, en 50 uit CelebV-Dub. Elk werd handmatig gecontroleerd om te bevestigen dat zowel de audio als de video duidelijk genoeg waren voor evaluatie.

GPT-4o werd gebruikt om elk transcript te herzien om grammaticaal geldige bewerkingen te creëren. Deze herziene transcripten, samen met de oorspronkelijke spraak, werden doorgegeven aan VoiceCraft om nieuwe audio te produceren; en op elk moment werden zowel het transcript als de gegenereerde spraak handmatig gecontroleerd op kwaliteit.

Elk voorbeeld werd gelabeld met het type bewerking, de timing van de wijziging en de lengte van het gewijzigde span, en bewerkingen werden geclassificeerd als invoegingen, verwijderingen, of vervangingen. Het aantal gewijzigde woorden varieerde van korte bewerkingen van 1 tot 3 woorden, medium bewerkingen van 4 tot 6 woorden, en langere bewerkingen van 7 tot 10 woorden.

Drie aangepaste metrics werden gedefinieerd om de kwaliteit van de bewerking te evalueren. Fotometrische continuïteit, om te meten hoe goed de verlichting en kleur van een bewerkte segment overeenkomen met de omringende video, door pixel-niveau-verschillen te vergelijken bij de grenzen; bewegingscontinuïteit, om de consistentie van de gezichtsbeweging te beoordelen, door optische stroomveranderingen te meten over bewerkte en onbewerkte frames; en identiteitsbehoud, om te schatten of de verschijning van de persoon consistent blijft na bewerking, door gezichtskenmerken van de oorspronkelijke en gegenereerde sequenties te vergelijken met behulp van de ArcFace-gezichtsherkenningmodel.

Tests

Het testmodel werd getraind op materiaal uit de drie eerder genoemde datasets, in totaal ongeveer 200 uur aan video-inhoud, waaronder vlogs en films, evenals high-resolution YouTube-video’s.

Om talking face editing te evalueren, werd FacEDiTBench gebruikt, naast de HDTF-testsplit, die een benchmarking-standaard is geworden voor deze set taken.

Aangezien er geen direct vergelijkbare systemen waren die deze soort eind-tot-eind-functionaliteit konden omvatten, kozen de auteurs een reeks frameworks die ten minste enkele van de doelfunctionaliteit konden reproduceren, en die konden fungeren als baselines; namelijk, KeyFace; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrait; en SadTalker.

Enkele gevestigde metrics werden ook gebruikt om de generatie- en bewerkingskwaliteit te beoordelen, met lip-sync-nauwkeurigheid geëvalueerd via SyncNet, waarbij zowel de absolute fout tussen lip-bewegingen en audio (LSE-D) als een vertrouwensscore (LSE-C) werden gerapporteerd; Fréchet Video Distance (FVD) kwantificeerde hoe realistisch de video eruitzag; en Learned Perceptual Similarity Metrics (LPIPS), die de perceptuele gelijkenis tussen gegenereerde en oorspronkelijke frames maten.

Voor bewerking werden alle metrics behalve LPIPS alleen toegepast op het bewerkte segment; voor generatie werd de hele video geëvalueerd, met grenscontinuïteit uitgesloten.

Elk model werd gevraagd om een overeenkomstige video-segment te synthetiseren, dat vervolgens werd ingevoegd in de oorspronkelijke clip (de onderzoekers merken op dat deze methode vaak zichtbare discontinuïteiten introduceerde, waar het bewerkte segment de omliggende beelden ontmoette). Een tweede benadering werd ook getest, waarbij de hele video opnieuw werd gegenereerd vanuit de bewerkte audio – maar deze benadering overschreef onbewerkte gebieden en slaagde er niet in om de oorspronkelijke prestatie te behouden:

Vergelijking van bewerkingsprestaties over systemen die oorspronkelijk zijn ontworpen voor talking face-generatie, met FacEDiT dat alle baselines overtreft in elke metriek, met lagere lip-sync-fout (LSE-D), hogere synchronisatie-vertrouwensscore (LSE-C), sterker identiteitsbehoud (IDSIM), grotere perceptuele realisme (FVD), en soepelere overgangen over bewerkingsgrenzen (Pcontinuïteit, Mcontinuïteit). Grijze kolommen markeren de sleutelcriteria voor het beoordelen van grenskwaliteit; vetgedrukte en onderstreepte waarden geven de beste en tweede beste resultaten aan, respectievelijk

Met betrekking tot deze resultaten, merken de auteurs op:

‘[Ons] model presteert significant beter dan bestaande methoden op de bewerkingsopdracht. Het bereikt sterke grenscontinuïteit en hoog identiteitsbehoud, en toont aan dat het in staat is om temporale en visuele consistentie te behouden tijdens bewerking. Bovendien reflecteert zijn superieure lip-sync-nauwkeurigheid en lage FVD de realisme van de gegenereerde video.’

Click to play. Resultaten, samengesteld door deze auteur uit de gepubliceerde video’s op de ondersteunende projectsite. Raadpleeg de bronwebsite voor een betere resolutie.

Verder werd een menselijke studie uitgevoerd om de waargenomen kwaliteit over zowel bewerking als generatie te evalueren.

Voor elke vergelijking bekeken deelnemers zes video’s en rangschikten ze op basis van de algehele kwaliteit, waarbij lip-sync-nauwkeurigheid, naturaliteit en realisme van hoofdbeweging werden meegenomen. Bij bewerkingsproeven beoordeelden deelnemers ook de soepelheid van de overgangen tussen bewerkte en onbewerkte segmenten:

Gemiddelde rangschikkingen toegewezen door menselijke evaluatoren, waarbij lager beter is. Zowel bij bewerking als generatie beoordeelden deelnemers hoe natuurlijk en goed gesynchroniseerd elke video eruitzag. Bij bewerking beoordeelden ze ook hoe soepel de overgang was tussen bewerkte en onbewerkte spraak. Vetgedrukte en onderstreepte nummers geven de top twee scores aan.

In de studie werd FacEDiT consequent als hoogste gerangschikt door de deelnemers, met een duidelijke voorsprong, zowel voor bewerkingskwaliteit als overgangssoepelheid, en ontving ook sterke scores in de generatie-instelling, wat suggereert dat de gemeten voordelen vertaald worden in perceptueel voorkeursuitvoer.

Vanwege het ontbreken van ruimte, verwijzen we de lezer naar het bronartikel voor verdere details van ablatie-studies en aanvullende tests die zijn uitgevoerd en gerapporteerd in het nieuwe werk. In werkelijkheid worstelen prototypische onderzoeksvoorstellen van deze soort met het genereren van zinvolle testresultaatsecties, aangezien het kernaanbod zelf onvermijdelijk een potentieel baseline is voor later werk.

Conclusie

Zelfs voor inferentie kunnen systemen zoals dit significante rekenbronnen vereisen, waardoor het moeilijk wordt voor downstream-gebruikers – hier, vermoedelijk VFX-winkels – om het werk op eigen terrein te houden. Daarom worden benaderingen die kunnen worden aangepast aan realistische lokale middelen altijd de voorkeur geven door aanbieders, die onder juridische verplichting staan om de beelden en het algemene intellectuele eigendom van de cliënt te beschermen.

Dat wil niet zeggen dat het nieuwe aanbod bekritiseerd moet worden, dat mogelijk perfect werkt onder gequantificeerde gewichten of andere optimalisaties, en dat het eerste aanbod van zijn soort is dat mij in enige tijd weer naar deze onderzoekslijn heeft geleid.

Eerst gepubliceerd op woensdag 17 december 202. Bewerkt op 20.10 EET, dezelfde dag, voor extra ruimte in de eerste alinea.