AI-video perfecteert de kat-selfie

AI-video generators leveren vaak resultaten die dicht bij de gewenste tekstprompt liggen, maar niet helemaal goed zijn. Een nieuwe high-level fix maakt echter alle verschil.

Generatieve videosystemen hebben vaak moeite om creatieve of wilde videos te maken en voldoen vaak niet aan de verwachtingen van de tekstprompt van de gebruiker.

Een deel van de reden hiervoor is entanglement – het feit dat visuele/taalmodellen moeten compromissen sluiten over hoe lang ze trainen op hun brondata. Te weinig training, en de concepten zijn flexibel, maar niet volledig gevormd – te veel, en de concepten zijn nauwkeurig, maar niet langer flexibel genoeg om te worden geïntegreerd in nieuwe combinaties.

U kunt het idee krijgen van de onderstaande video. Aan de linkerkant ziet u het soort compromis dat veel AI-systemen leveren als antwoord op een veeleisende prompt (de prompt staat bovenaan de video in alle vier de voorbeelden) die vraagt om een combinatie van elementen die te fantastisch is om een echt trainingsvoorbeeld te zijn. Aan de rechterkant ziet u een AI-uitvoer die beter bij de prompt past:

Klik om af te spelen (geen audio). Aan de rechterkant zien we ‘factorized’ WAN 2.2 echt goed presteren op de prompts, in vergelijking met de vage interpretaties van ‘vanilla’ Wan 2.2., aan de linkerkant. Raadpleeg de bronvideo’s voor betere resolutie en meer voorbeelden, hoewel de gecureerde versies die hier worden getoond niet bestaan op de projectsite en speciaal voor dit artikel zijn samengesteld. Bron

Hoewel we de klappende eend met menselijke handen moeten vergeven (!), is het duidelijk dat de voorbeelden aan de rechterkant de oorspronkelijke tekstprompt veel beter volgen dan de voorbeelden aan de linkerkant.

Interessant is dat beide architecturen in wezen hetzelfde zijn – de populaire en zeer capabele Wan 2.2, een Chinese release die dit jaar veel terrein heeft gewonnen in de open source- en hobbyistgemeenschappen.

Het verschil is dat de tweede generatieve pipeline gefactoriseerd is, wat in dit geval betekent dat een groot taalmodel (LLM) is gebruikt om de eerste (zaad)frame van de video opnieuw te interpreteren, zodat het voor het systeem veel gemakkelijker wordt om te leveren wat de gebruiker vraagt.

Deze ‘visuele anker’ houdt in dat een afbeelding die is gemaakt van deze LLM-verbeterde prompt in de generatieve pipeline wordt geïnjecteerd als een ‘startframe’, en dat een LoRA-interpretatiemodel wordt gebruikt om de ‘intruder’frame te integreren in het videocreatieproces.

De resultaten, in termen van promptfideliteit, zijn zeer opmerkelijk, vooral voor een oplossing die relatief elegant lijkt:

Klik om af te spelen (geen audio). Verdere voorbeelden van ‘gefactoriseerde’ videogeneraties die echt aan de script vasthouden. Raadpleeg de bronvideo’s voor betere resolutie en meer voorbeelden, hoewel de gecureerde versies die hier worden getoond niet bestaan op de projectsite en speciaal voor dit artikel zijn samengesteld.

Deze oplossing komt in de vorm van het nieuwe papier Factorized Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models, en de bijbehorende projectwebsite.

Terwijl veel huidige systemen proberen de promptnauwkeurigheid te verbeteren door taalmodellen te gebruiken om vage of onderspecifieke tekst te herschrijven, betoogt het nieuwe onderzoek dat deze strategie nog steeds leidt tot falen wanneer de interne scène-weergave van het model defect is.

Zelfs met een gedetailleerde herschreven prompt produceren tekst-naar-video-modellen vaak misgecomponeerde sleutel-elementen of genereren onverenigbare initiële staten die de logica van de animatie breken. Zolang de eerste frame niet weerspiegelt wat de prompt beschrijft, kan de resulterende video niet herstellen, ongeacht hoe goed het bewegingsmodel is.

Het papier stelt*:

‘[Tekst-naar-video] modellen produceren vaak frames met een verschoven distributie, maar behalen nog steeds [evaluatie]scores die vergelijkbaar zijn met I2V-modellen, wat aangeeft dat hun bewegingsmodeling redelijk natuurlijk blijft, zelfs wanneer de scène-nauwkeurigheid relatief slecht is.

‘[Afbeelding-naar-video] modellen vertonen het complementaire gedrag, sterke [evaluatie]scores van accurate initiële scènes en zwakkere temporele coherentie, terwijl I2V+tekst beide aspecten in evenwicht brengt.

‘Deze contrast suggereert een structurele mismatch in de huidige T2V-modellen: scène-gronding en temporele synthese profiteren van verschillende inductieve biases, maar bestaande architecturen proberen beide tegelijkertijd binnen één model te leren.’

Een diagnostische vergelijking van generatiemodi found dat modellen zonder expliciete scène-ankering goed scoorden op beweging, maar vaak compromissen sloten op scène-indeling, terwijl beeld-geconditioneerde benaderingen het tegenovergestelde patroon vertoonden:

Vergelijking van videogeneratiemodi op twee datasets, waaruit blijkt dat I2V+tekst de beste framekwaliteit (FID) en temporele coherentie (FVD) behaalt, waarmee het voordeel van het scheiden van scène-constructie en beweging wordt aangetoond. Bron

Deze bevindingen wijzen op een structurele fout waarbij huidige modellen proberen om zowel scène-indeling als animatie in één keer te leren, hoewel de twee taken verschillende soorten inductieve bias vereisen en beter afzonderlijk worden behandeld.

Misschien is het meest interessant dat deze ‘truc’ mogelijk kan worden toegepast op lokale installaties van modellen zoals Wan 2.1 en 2.2, en soortgelijke videodiffusiemodellen zoals Hunyuan Video. Anecdotisch, door de kwaliteit van hobbyist-uitvoer te vergelijken met commerciële generatieve portals zoals Kling en Runway, lijken de meeste grote API-aanbieders hun open source-aanbod te verbeteren met LoRAs, en – het lijkt – met trucs van het type dat in het nieuwe papier wordt gezien. Daarom kan deze specifieke aanpak een inhaalslag voor de FOSS-gemeenschap vertegenwoordigen.

Tests die zijn uitgevoerd voor de methode geven aan dat deze eenvoudige en modulaire aanpak een nieuwe staat-van-de-kunst biedt op de T2V-CompBench-benchmark, waarbij alle geteste modellen aanzienlijk worden verbeterd. De auteurs merken in hun conclusie op dat hun systeem de nauwkeurigheid radicaal verbetert, maar niet het identiteitsverschuiving aanpakt, wat momenteel de plaag is van generatief AI-onderzoek.

Het nieuwe papier komt van vier onderzoekers aan de Ecole Polytechnique Fédérale de Lausanne (EPFL) in Zwitserland.

Methode en gegevens

De centrale stelling van de nieuwe techniek is dat tekst-naar-video (T2V) diffusiemodellen moeten worden ‘geankerd’ aan startframes die echt bij de gewenste tekstprompt passen.

Om ervoor te zorgen dat het model het startframe respecteert, verstoort de nieuwe methode het standaard diffusieproces door een schone latent van de ankerafbeelding in te voeren bij tijdstap nul, waarmee een van de gebruikelijke lawaaierige invoer wordt vervangen. Deze onbekende invoer verwarrend het model aanvankelijk, maar met minimale LoRA fijnafstemming leert het om de geïnjecteerde frame als een vaste visuele anker te behandelen in plaats van als onderdeel van de lawaaierige trajectorie:

Tweestapsmethode voor het gronden van tekst-naar-video-generatie met een visuele anker: links, het model wordt fijn afgestemd met een lichtgewicht LoRA om een geïnjecteerde schone latent als een vaste scènebeperking te behandelen. Rechts, de prompt wordt gesplitst in een eerste frame-beschrijving, die wordt gebruikt om de ankerafbeelding te genereren die de video leidt.

Bij inferentie herschrijft de methode de prompt om alleen de eerste frame te beschrijven, met behulp van een LLM om een plausibele initiële scène-toestand te extraheren die is gericht op lay-out en verschijning.

Deze herschreven prompt wordt doorgegeven aan een afbeeldingsgenerator om een kandidaat-ankerframe te produceren (dat optioneel door de gebruiker kan worden verfijnd). Het geselecteerde frame wordt gecodeerd in een latent en geïnjecteerd in het diffusieproces door de eerste tijdstap te vervangen, waardoor het model de rest van de video kan genereren terwijl het aan het initiële scène blijft – een proces dat werkt zonder dat er wijzigingen in de onderliggende architectuur nodig zijn.

Het proces werd getest door LoRAs te creëren voor Wan2.2-14B, Wan2.1-1B en CogVideo1.5-5B. De LoRA-training werd uitgevoerd op een rang van 256, op 5000 willekeurig geselecteerde clips uit de UltraVideo-collectie.

De training duurde 6000 stappen en vereiste 48 GPU-uren^† voor Wan-1B en CogVideo-5B, en 96 GPU-uren voor Wan-14B. De auteurs merken op dat Wan-5B native ondersteuning biedt voor tekst-only en tekst-afbeelding-conditionering (die in dit geval worden opgedrongen aan de oudere frameworks), en daarom geen fijnafstemming nodig had.

Tests

In de experimenten die zijn uitgevoerd voor het proces, werd elke tekstprompt eerst verfijnd met Qwen2.5-7B-Instruct, die het resultaat gebruikte om een gedetailleerde ‘zaadafbeelding’-beschrijving te genereren die een beschrijving van de hele scène bevatte. Dit werd vervolgens doorgegeven aan QwenImage, die de taak kreeg om de ‘magische frame’ te genereren die in het diffusieproces zou worden geïntroduceerd.

De benchmarks die werden gebruikt om het systeem te beoordelen, omvatten de eerder genoemde T2V-CompBench, voor het testen van de compositionele begrip door te scoren hoe goed modellen objecten, attributen en acties in een coherente scène behouden; en VBench 2.0, voor het evalueren van bredere redenering en consistentie over 18 metrics, gegroepeerd in creativiteit, commonsense redenering, controleerbaarheid, menselijke geloofwaardigheid en fysica:

Over alle zeven evaluatiecategorieën van T2V-CompBench presteerde de gefactoriseerde T2V-methode beter dan de standaard- en upsampled T2V-baselines voor alle geteste modellen, met winsten tot 53,25%. De hoogst scorende varianten kwamen vaak overeen met of overschreden de proprietiere PixVerse-V3-benchmark.

Met betrekking tot deze eerste ronde tests merken de auteurs op*:

‘[Over] alle modellen verbetert het toevoegen van een ankerbeeld consistent de compositionele prestaties. Alle kleinere gefactoriseerde modellen (CogVideo 5B, Wan 5B en Wan 1B) presteren beter dan het grotere Wan 14B T2V-model.

‘Onze gefactoriseerde Wan 5B presteert ook beter dan de commerciële PixVerse-V3-baseline, die de beste gemelde model is op de benchmark. Dit toont aan dat visuele gronding de scène- en actiebegrip aanzienlijk verbetert, zelfs in kleinere modellen.

‘Binnen elke modelreeks presteert de gefactoriseerde versie beter dan het oorspronkelijke model. Opvallend is dat onze lichtgewicht anker-gegronde LoRA op WAN 14B een prestatie bereikt die vergelijkbaar is met zijn vooraf getrainde I2V 14B-variant (0,661 vs. 0,666), zonder dat volledige herbetraining nodig was.’

Vervolgens volgde de VBench2.0-ronde:

De gefactoriseerde T2V-aanpak verbetert consistent de VBench 2.0-prestaties over compositie, commonsense redenering, controleerbaarheid en fysica, met enkele winsten die 60% overschrijden – hoewel de menselijke geloofwaardigheid onder de proprietiere Veo 3-baseline bleef.

Over alle architecturen heen, verbeterde de gefactoriseerde aanpak de scores in elke VBench-categorie, behalve menselijke geloofwaardigheid, die licht daalde, zelfs met prompt-upsampling. WAN 5B presteerde beter dan het grotere WAN 14B, waarmee eerder behaalde T2V-CompBench-resultaten werden bevestigd dat visuele gronding meer bijdroeg dan schaal.

Hoewel de winsten op VBench consistent waren, waren ze kleiner dan die op T2V-CompBench, en de auteurs wijten dit aan de striktere binaire scores van VBench.

Voor de kwalitatieve tests levert het papier statische afbeeldingen, maar wij verwijzen de lezer naar de samengestelde video’s die in dit artikel zijn ingebed, voor een duidelijker beeld, met de kanttekening dat de bronvideo’s meer talrijk en gevarieerd zijn, evenals een grotere resolutie en detail. Vind ze hier. Met betrekking tot de kwalitatieve resultaten merkt het papier op:

‘Geankerde video’s vertonen consistent nauwkeurigere scène-samenstelling, sterker object-attribuutbinding en duidelijkere temporele voortgang.’

De gefactoriseerde methode bleef stabiel, zelfs toen het aantal diffusiestappen werd teruggebracht van 50 naar 15, met bijna geen prestatieverlies op T2V-CompBench. In tegenstelling daarmee daalden zowel de tekst-only- als de upsampled-baselines scherp onder dezelfde omstandigheden.

Hoewel het reduceren van stappen theoretisch de snelheid kan verdrievoudigen, werd de volledige generatie-pipeline slechts 2,1 keer sneller in de praktijk, vanwege vaste kosten van ankerbeeldgeneratie. Toch gaven de resultaten aan dat ankeren niet alleen de steekproefkwaliteit verbeterde, maar ook het diffusieproces stabiliseerde, waardoor snellere en efficiëntere generatie mogelijk werd zonder verlies in nauwkeurigheid.

De projectwebsite biedt voorbeelden van upsampled versus nieuwe methode-generaties, waarvan wij er een paar (in lagere resolutie) bieden:

Klik om af te spelen (geen audio). Upsampled startbronnen versus de gefactoriseerde aanpak van de auteurs.

De auteurs concluderen:

‘Onze resultaten suggereren dat verbeterde gronding, in plaats van alleen capaciteitsverhoging, even belangrijk kan zijn. Recent onderzoek naar T2V-diffusie heeft zwaar geleund op het verhogen van modelgrootte en trainingsdata, maar zelfs grote modellen hebben vaak moeite om een coherente initiële scène af te leiden uit tekst alleen.

‘Dit staat in contrast met beeld-diffusie, waar schaalvergroting relatief eenvoudig is; in videomodellen moet elke architectonische verbetering opereren over een extra temporele dimensie, waardoor schaalvergroting aanzienlijk meer resourcesintensief wordt.

‘Onze bevindingen geven aan dat verbeterde gronding kan complementeren met schaal door een andere bottleneck aan te pakken: het vaststellen van de correcte scène voordat de bewegingssynthese begint.

‘Door videogeneratie te factoriseren in scène-samenstelling en temporele modellering, mitigeren we verschillende veelvoorkomende foutmodi zonder dat aanzienlijk grotere modellen nodig zijn. Wij zien dit als een complementair ontwerpprincipe dat toekomstige architecturen kan leiden naar meer betrouwbare en gestructureerde videosynthese.’

Conclusie

Hoewel de problemen van entanglement zeer reëel zijn en mogelijk speciale oplossingen vereisen (zoals verbeterde curation en distributie-evaluaties vóór training), is het een openbaring om te zien hoe factorisatie verschillende koppige en ‘vastzittende’ conceptprompt-orchestraties in veel nauwkeurigere weergaven kan omzetten – met slechts een matige laag LoRA-conditionering en de interventie van een opvallend verbeterde start/zaadafbeelding.

Het verschil in resources tussen lokale hobbyist-inferentie en commerciële oplossingen is misschien niet zo enorm als verondersteld, aangezien vrijwel alle aanbieders proberen hun aanzienlijke GPU-resource-uitgaven voor consumenten te rationaliseren.

Anecdotisch lijken een groot aantal van de huidige generatieve video-aanbieders gebruik te maken van gemerkte en over het algemeen ‘opgevoerde’ versies van Chinese FOSS-modellen. De belangrijkste ‘moat’ die deze ‘tussenpersonen’-systemen lijken te hebben, is dat ze de moeite hebben genomen om LoRAs te trainen, of – tegen een grotere uitgave en een iets grotere beloning – daadwerkelijk een volledige fijnafstemming van de modelgewichten hebben uitgevoerd^††.

Inzichten van deze soort kunnen helpen om deze kloof verder te dichten, in de context van een release-scene waarin de Chinezen blijkbaar vastbesloten zijn (niet noodzakelijkerwijs om altruïstische of idealistische redenen) om generatieve AI te democratiseren, terwijl westerse zakelijke belangen misschien liever zien dat de toename van modelgrootte en regelgeving uiteindelijk de beste modellen achter APIs en meerdere lagen van contentfilters plaatst.

* Auteurs’ nadruk, niet de mijne.

^† Het papier specificeert niet welke GPU is gekozen, of hoeveel zijn gebruikt.

^†† Hoewel de LoRA-route waarschijnlijker is, zowel vanwege de economische gemakkelijkheid van gebruik als omdat de volledige gewichten, in plaats van gequantiseerde gewichten, niet altijd beschikbaar zijn.

Eerst gepubliceerd op vrijdag 19 december 2025