Naar Perpetuele Volledig-Lichaams Deepfake-Video-Generatie

In een veld waar geduld vereist is, duwt een nieuw systeem ons een beetje dichter naar live-gestreamde menselijke simulatie zonder frustrerende render-ronden.

De stand van de techniek in full-length menselijke simulatie is sinds de mogelijkheid van full-body deepfakes voor het eerst verschenen in 2022 een lange weg gegaan. Inmiddels zijn we gewend geraakt aan de formidabele en vaak controversiële mogelijkheid van open-source-systemen zoals Wan-Animate en gesloten systemen zoals Grok om één of meerdere afbeeldingen om te zetten in een consistente en vaak transformatieve video-prestatie:

Click to play if necessary. Voorbeelden van persoonvervanging met WanAnimate-2.2. Ga naar de bron voor een betere resolutie.  Bron 

Bovendien is de oudere autoencoder-gebaseerde live facial deepfake framework DeepFaceLive inmiddels voorbijgestreefd door meer geavanceerde frameworks zoals Deep-Live-Cam, die een orkestratie van LivePortrait-iteraties levert, evenals legacy GAN en InsightFace-modules, om een effectieve real-time opvolger van het (inmiddels verlaten) DFLive-project te creëren:

Click to play: Elon Musk deepfaked in een live video-sessie via Deep-Live-Cam. Ga naar de bron voor een betere resolutie. Bron 

Echter, terwijl frameworks zoals Deep-Live-Cam voor altijd kunnen draaien en voor altijd kunnen nepen, en hoewel ze beter zijn geworden in het genereren van moeilijke gezichtshoeken dan ze vroeger waren, zijn de resultaten niettemin beperkt in termen van resolutie en mogelijkheden: je kunt een bepaald gezicht/identiteit krijgen, en het kan veel dingen doen, zoals overtuigende gezichtsuitdrukkingen en lip-sync – maar het is eigenlijk een one-trick pony.

BRB…

De meeste van de huidige generatie AI-menselijke imitatie-systemen zijn eveneens beperkt en/of ‘gespecialiseerd’. Een bepaalde, terugkerende beperking is dat de beste menselijke simulatie/imitatie-systemen offline zijn – dat wil zeggen, ze zijn te resource-intensief om in real-time te opereren, en moeten eerst weggaan, de oplossing berekenen en het resultaat later aan de gebruiker presenteren.

Het is duidelijk dat dergelijke systemen niet geschikt zijn voor live AI-transmutatie, zoals het transformeren van een hele reeks lichaamsbewegingen, zoals dans, in een live-stream.

Een voorbeeld hiervan in de afgelopen jaren is de open-weights Wan2.2. Animate, die een hit was bij de hobbyistengemeenschap en pro-resellers – maar opnieuw, het is een ‘genereer en wacht’ scenario:

Click to play. Van 2025, voorbeelden van Wan2.2-Animate’s indrukwekkende mogelijkheden – als je even kunt wachten. Ga naar de bron voor een betere resolutie. Bron 

Dus zoals het er nu voor staat, kun je het geweldig hebben, het vers hebben of het nu hebben – kies twee.

LiveAnimate

In deze impasse komt een nieuw aanbod uit China, dat effectief Wan2.2 Animate transformeert in een live-gedreven animatie-framework dat op dit moment op een respectabele bijna-20fps draait, met indrukwekkende resultaten in een reeks scenario’s:

Click to play: Van de project-site, LiveAnimate transfereert driving poses over podiumdans, outdoor full-body en close-up portretscenario’s, reproducerend whole-body, hand en faciale beweging. Ga naar de bron voor een betere resolutie. Bron 

De nieuwe werkwijze breidt het oorspronkelijke systeem uit naar een live-capabele versie door te veranderen hoe video wordt gegenereerd: in plaats van het verwerken van eerder en later frames samen, genereert LiveAnimate elk nieuw segment terwijl de actie zich ontvouwt, met behulp van slechts een paar stappen, terwijl het geselecteerde eerder poses behoudt om de verschijning van het onderwerp consistent te houden over lange sessies.

Effectief houdt het systeem eerder frames als een methode van persistente geheugen om op terug te vallen terwijl de video zich ontwikkelt, zodat de identiteit consistent blijft – niet geheel anders dan de manier waarop oude CGI-systemen verwijzen naar texture maps.

Method

LiveAnimate bestaat uit een tweestaps trainingsproces dat is ontworpen om Wan2.2-Animate te laten genereren en snel te laten gaan, gevolgd door een geheugensysteem dat nuttige eerder poses ophaalt terwijl elk nieuw blok video wordt gegenereerd:

Overzicht van de LiveAnimate-pijplijn, met de tweestaps trainingsproces aan de linkerkant en live generatie aan de rechterkant, waar binnenkomende poses worden gematcht met opgeslagen eerder poses en gecombineerd met recente frames om elk nieuw blok video in drie stappen te genereren. Bron 

Het oorspronkelijke Wan2.2-Animate is ontworpen om een hele sequentie te overwegen in plaats van een oneindig uitbreidende video te genereren. Daarom hebben de auteurs de trainingsvideo’s opgedeeld in opeenvolgende blokken, waarbij elk blok wordt gegenereerd met behulp van eerder blokken als context/grondwaarheid. Dit leert het model eerst om voort te zetten vanuit betrouwbaar eerder materiaal, voordat het moet omgaan met fouten die zijn opgebouwd uit zijn eigen output.

Forget Me Not

Tijdens dit proces wordt het oorspronkelijke referentiebeeld permanent beschikbaar gesteld via een ‘Ref Sink’, waardoor een vaste herinnering aan de identiteit en verschijning van de persoon wordt geboden. Zodra een blok is voltooid, wordt een ‘Clean KV Update’ gebruikt om informatie die uit het blok is verkregen om te zetten in historische context voor latere blokken (hoewel dit bestaande fouten niet repareert).

Deze eerste trainingsfase vereist nog steeds 50 denoising stappen per blok, waardoor live-operatie onpraktisch is. De tweede fase distilleert het proces vervolgens tot drie stappen, terwijl het model wordt blootgesteld aan zijn eigen gegenereerde geschiedenis, aangezien implementatie vereist dat elk nieuw segment afhankelijk is van onvolmaakte eerder output:

De twee trainingsfasen† die worden gebruikt om LiveAnimate voor te bereiden op implementatie, eerst leren van schone eerder video-blokken – dan generatie reduceren tot drie stappen, terwijl trainen op het model’s eigen onvolmaakte output.

Trainen tegen deze zelf-gegenereerde sequenties stelt een ander probleem voor, omdat het behoud van de gehele computatie-geschiedenis van een video te duur zou zijn. In plaats daarvan wordt één complete oefenrun gemaakt, en vervolgens één blok tegelijk herbekeken voor training. Elk blok kan dus een update ontvangen zonder de hele sequentie computatie ‘live’ te houden.

In combinatie met LoRA-aanpassing, maakt dit het mogelijk om het 14-miljard-parametermodel te destilleren op één knooppunt met acht 80GB H100-GPU’s (noterend dat deze cluster is voor training, niet runtime-inferentie).

Don’t Stop Now

Voor oneindige generatie moet LiveAnimate ook beslissen wat de moeite waard is om te onthouden. Alles behouden zou de verwerkingsvereisten enorm doen toenemen; maar alleen recente frames behouden zou ook nuttige eerder views kunnen weggooien.

Daarom lost Pose-Retrieval Sink Attention (PR-Sink) dit op door het eerste gegenereerde blok te behouden als een permanent ‘Static Sink’ – een relevante eerder pose, functionerend als een vervangbare ‘Dynamic Sink’, en een rollende venster met het huidige en twee voorgaande blokken. Het referentiebeeld blijft afzonderlijk beschikbaar via de Ref Sink, terwijl vaste opslaggroottes voorkomen dat de kosten toenemen naarmate de video lengte toeneemt.

Block Wars

Om oudere poses voor deze beperkte geheugen te kiezen, reduceert ViTPose lichaams- en handposities over drie frames tot een compacte representatie. De geheugenbank bevat vijf van dergelijke representatieve poses en wordt bevolkt tijdens de eerste 20 blokken, waarbij voorkeur wordt gegeven aan gevarieerde poses boven near-duplicates.

Tijdens generatie wordt de binnenkomende pose vergeleken met deze vertegenwoordigers en wordt de dichtstbijzijnde match opgehaald, waardoor eerder bewijs wordt geboden van hoe de persoon eruitzag in een soortgelijke positie. Echter, het onmiddellijk voorafgaande blok wordt uitgesloten, omdat het al bestaat in het rollende venster, waardoor de Dynamic Sink vrij is om informatie op te halen uit eerder.

Tenslotte wordt de runtime zelf geoptimaliseerd voor snelheid door attention-verwerking te verdelen over twee H100-GPU’s, communicatie te overlappen met berekening en cached informatie te hergebruiken waar mogelijk.

Data en Tests

LiveAnimate werd getraind op 40.000 praatvideo’s van AVSpeech en 20.000 menselijke bewegingsvideo’s van TikTok dataset en HumanVid, met training en inferentie die resoluties van 480×480; 384×672; en 672×384 pixels ondersteunen.

Training begon vanaf het Wan2.2-Animate-14B-basispunt, met LoRA met rang 128, en vond plaats op acht NVIDIA H100-GPU’s voor 10.000 stappen in de eerste fase en 20.000 in de tweede.

Video werd gegenereerd in blokken van drie latent frames (het model’s interne, gecomprimeerde representatie), overeenkomend met 12 RGB-frames, terwijl inferentie werd uitgevoerd op de twee H100’s.

De evaluatie vergeleek LiveAnimate met bestaande pose-gedreven menselijke animatie-methoden over zowel korte als lange sequenties, met behulp van referentie-afbeeldingen en driving poses onder consistente instellingen. Lange vorm tests breidde generatie uit tot drie minuten om te onderzoeken of kwaliteit en identiteit stabiel bleven over tijd.

Frameworks die werden getest waren EverAnimate; One-to-All; SCAIL^††; UniAnimate-DiT; en Wan2.2-Animate.

Metrische gegevens die werden gebruikt, omvatten visuele kwaliteit, identiteitsconsistentie, distributieve kwaliteit en temporele representatie-fout. Aesthetic Score (ASE) en no-reference Image-Quality Assessment (IQA) maten frame-niveau visuele kwaliteit; DINO, gelijkenis (DINO-S), en verschijning consistentie met de referentie-identiteit; Fréchet Inception Distance (FID), distributieve kwaliteit; en VideoMAE feature distance (V-MAE), hoe goed de gegenereerde video de beweging over tijd behoudt:

Testresultaten met betrekking tot kwaliteit en identiteit over drie minuten continue generatie, met LiveAnimate die relatief stabiel blijft over alle vijf metrische gegevens terwijl de sequentie vordert. Verschillende concurrerende methoden laten grotere achteruitgang over tijd zien. Hogere lezingen zijn beter voor IQA, ASE en DINO-S, met lagere lezingen beter voor FID en V-MAE.

Zoals te zien is in de initiële resultaten grafiek hierboven, bereikte LiveAnimate de hoogste initiële ASE van 2,823 en IQA van 4,047 over de eerste 30 seconden. De auteurs beweren dat dit aangeeft dat drie-staps destillatie perceptuele kwaliteit behoudt, ondanks het gereduceerde inferentie-budget.

Het meest significante is dat LiveAnimate weinig achteruitgang liet zien tijdens drie minuten van continue generatie, met zijn visuele kwaliteit- en identiteitsconsistentie-scores die vrijwel onveranderd bleven.

Integendeel, One-to-All verslechterde aanzienlijk over tijd, met lagere visuele kwaliteit en identiteitsconsistentie en hogere distributieve fout; en basis Wan2.2-Animate liet ook enige verlies van identiteitsconsistentie zien.

De auteurs stellen:

‘Deze trends ondersteunen onze centrale claim dat expliciet beheer van lange-afstandscontext belangrijk is voor streaming-animatie.’

LiveAnimate’s schaalbaarheidsefficiëntie werd ook getest over GPU’s. Zoals hieronder te zien is, werd 12,41 FPS behaald met één H100; 19,63 FPS met twee; en 22,13 FPS met vier, met de voordelen die steeds meer beperkt werden door communicatie-overhead. Twee H100’s werden daarom geselecteerd als de voorkeursconfiguratie:

Schaalbaarheidsefficiëntie over één, twee en vier H100-GPU’s bij 480×480 resolutie, met latentie, frame-rate, snelheidsverbetering en efficiëntie. Twee GPU’s behaalden 19,63 FPS, terwijl verdere schaalvergroting tot vier slechts een bescheiden toename tot 22,13 FPS opleverde.

Bij 19,63 FPS werd elk 12-frame blok gegenereerd in 0,611 seconden. In vergelijking daarmee waren ongeveer 2–5 uur vereist door de concurrerende systemen om dezelfde drie-minuten sequentie te genereren.

Kwalitatieve tests brachten soortgelijke verschillen aan het licht: in de full-body test hieronder werd ernstige achteruitgang waargenomen bij One-to-All; flikkering werd gegenereerd door UniAnimate-DiT en SCAIL; en later kleur- of achtergrond-drift werd zichtbaar bij Wan-Animate en EverAnimate.

Testresultaten die full-body animatie over drie minuten vergelijken. Frames werden bemonsterd elke 20 seconden, met rode annotaties die langetermijnachteruitgang in concurrerende methoden markeren. De basismodellen vereisten ongeveer 2–5 uur om de sequentie te genereren, vergeleken met ongeveer vier minuten voor LiveAnimate. Ga naar de bron voor een betere resolutie.

LiveAnimate behield de verschijning van het onderwerp en de omringende scène gedurende de drie-minuten sequentie. In de minder veeleisende upper-body test hieronder werd vergelijkbare langetermijnstabiliteit bereikt door EverAnimate en LiveAnimate (hoewel real-time generatie alleen werd geboden door LiveAnimate):

Testresultaten die upper-body animatie over drie minuten vergelijken. Frames bemonsterd elke 20 seconden laten zien dat LiveAnimate de identiteit, kleding en donkere achtergrond van het onderwerp consistent behoudt, meer dan de concurrerende methoden.

De auteurs concluderen:

‘Op de drie-minuten benchmark behoudt LiveAnimate bijna constante perceptuele kwaliteit en identiteit bij 19,63 FPS op twee H100-GPU’s, met geheugen en latentie onafhankelijk van stream-duur, terwijl offline-basismodellen zichtbaar achteruitgaan of uren aan berekening vereisen.

‘Deze resultaten brengen miljard-schaal video-diffusie-modellen binnen bereik van interactieve toepassingen zoals live-streaming, telepresence en virtuele avatars.’

Conclusie

Het is bemoedigend om te zien dat een driven-generatie-framework een nieuwe aanpak neemt voor de hardnekkige problemen van geheugen en identiteit die generatieve video teisteren. Er zijn al veel generatieve frameworks die kunnen verwijzen naar vaste beelden die door de gebruiker worden geleverd, zonder de noodzaak om het referentiebeeld in essentiële image-to-video-inhoud te ‘plakken’.

Maar dit lost alleen enkele van de problemen op van het genereren van een enkele video-clip, zoals het behouden van de identiteit (inclusief kleding en haardracht) van een persoon die het kader opnieuw binnenkomt, of tijdelijk is verhuld, en vervolgens opnieuw zichtbaar wordt. Tot nu toe heeft alleen de zware en irritante tijdelijke LoRA-aanpak enige vooruitgang geboekt met deze kwesties, hoewel beperkt en voorlopig.

Voor video, en in feite voor de hele huidige AI-revolutie, is de ontwikkeling van effectief persistent geheugen een kritisch, existentieel probleem – een dat waarschijnlijk het verschil zal definiëren tussen de komst van AGI, of een derde AI-winter.

*  Is dit nog een ‘gotcha’? Het huidige denken is dat kleinere, gespecialiseerde modellen uiteindelijk lokaal kunnen draaien, huur-vrij, terwijl hogere behoeften worden bediend door een concurrerende en hopelijk gebalkaniseerde GPU-huurmarkt. Dit gaat ervan uit dat de frontier-bedrijven falen om EEE de concurrentie, en dat substantiële GPU-rekenkracht beschikbaar blijft, ongeacht. Op basis daarvan beschouw ik geen buitensporige GPU-eisen meer als een demerit, maar hoop dat toegang steeds democratischer wordt en dat latere optimalisaties de initiële resource-eisen verlagen.

^† AI-gegenereerd en gecontroleerd door mijzelf.

^†† Voor lange-video-testen werden SCAIL en UniAnimate-DiT uitgebreid met dezelfde training-vrije schuifvenster-procedure, omdat geen van beiden native lang-vorm-generatie ondersteunt. EverAnimate en One-to-All werden geëvalueerd met hun eigen lange-video-generatie-methoden.

Publicatie op donderdag 13 augustus 2026