AI-video perfekterer kat-selvportrættet

AI-video-genereringsmodeller giver ofte resultater, der er tæt på, men ikke helt, hvad brugerens tekstprompt havde ønsket. Men en ny højniveau-løsning gør alle forskellen.

Generative videosystemer har ofte svært ved at lave videoer, der er virkelig kreative eller vilde, og ofte leverer de ikke op til brugerens tekstprompts forventninger.

En del af årsagen til dette er entanglement – det faktum, at vision/sprogmodeller må gå på kompromis med, hvor længe de træner på deres kildedata. For lidt træning, og koncepterne er fleksible, men ikke fuldt udformede – for meget, og koncepterne er nøjagtige, men ikke længere fleksible nok til at inkorporere i nye kombinationer.

Man kan få en idé om, hvad der sker, fra videoen nedenfor. Til venstre ser man den slags kompromis, som mange AI-systemer leverer i svaret på en krævende prompt (prompten er øverst i videoen i alle fire eksempler), der beder om en vis sammentælling af elementer, der er for fantastisk til at have været et rigtigt trænings eksempel. Til højre ser man en AI-udgang, der holder bedre fast i prompten:

Klik for at afspille (ingen lyd). Til højre ser vi ‘factorized’ WAN 2.2, der virkelig leverer på prompten, i sammenligning med de vagt fortolkninger af ‘vanilla’ Wan 2.2, til venstre. Se venligst kildevideo-filerne for bedre opløsning og mange flere eksempler, selvom de kuraterede versioner, der ses her, ikke findes på projektets hjemmeside og er samlet til denne artikel. Kilde

Det er tydeligt, at eksemplerne til højre holder bedre fast i den oprindelige tekstprompt end dem til venstre.

Interessant nok er begge arkitekturer grundlæggende den same arkitektur – den populære og meget kapable Wan 2.2, en kinesisk udgivelse, der har vundet betydelig ground i det åbne kilde- og hobbyist-miljø i år.

Forskellen er, at den anden generative pipeline er factorized, hvilket i dette tilfælde betyder, at en stor sprogmodel (LLM) er blevet brugt til at genfortolke den første (seed) ramme af videoen, så den vil være meget lettere for systemet at levere, hvad brugeren beder om.

Dette ‘visuelle ankering’ indebærer at indsprøjte et billede, der er lavet fra denne LLM-forbedrede prompt, i den generative pipeline som en ‘start-ramme’, og bruge en LoRA-fortolkende model til at hjælpe med at integrere ‘intrus-rammen’ i video-skabelsesprocessen.

Resultaterne, i forhold til prompt-trofasthed, er ret bemærkelsesværdige, især for en løsning, der synes ret elegant:

Klik for at afspille (ingen lyd). Yderligere eksempler på ‘factorized’ video-genereringer, der virkelig holder fast i manuskriptet. Se venligst kildevideo-filerne for bedre opløsning og mange flere eksempler, selvom de kuraterede versioner, der ses her, ikke findes på projektets hjemmeside og er samlet til denne artikel.

Denne løsning kommer i form af den nye artikel Factorized Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models, og dens video-ladne ledsagende projekt-hjemmeside.

mens mange nuværende systemer forsøger at forbedre prompt-nøjagtighed ved at bruge sprogmodeller til at omskrive vagt eller underbestemt tekst, argumenterer den nye artikel for, at denne strategi stadig fører til fejl, når modellens interne scene-repræsentation er fejl.

Even med en detaljeret omskrevet prompt, tekst-til-video-modeller ofte miscomposer nøgle-elementer eller genererer inkompatible initialtilstande, der bryder logikken i animationen. Så længe den første ramme ikke afspejler, hvad prompten beskriver, kan den resulterende video ikke genskabes, uanset hvor god motion-modellen er.

Artiklen siger*:

‘[Tekst-til-video]-modeller producerer ofte distributionelt forskudt rammer, men opnår alligevel [evaluerings-score] sammenlignelige med I2V-modeller, hvilket indikerer, at deres motion-modellering forbliver rimelig naturlig, selv når scene-trofasthed er relativt dårlig.

‘[Billede-til-video]-modeller viser det komplementære adfærd, stærke [evaluerings-score] fra præcise initialscener og svagere temporal koherens, mens I2V+tekst balancerer begge aspekter.

‘Dette kontrast suger en strukturel mismatch i nuværende T2V-modeller: scene-grounding og temporal syntese fordelene fra forskellige induktive bias, men eksisterende arkitekturer forsøger at lære begge samtidigt inden for en enkelt model.’

En diagnostisk sammenligning af generationsmodi fandt, at modeller uden eksplizit scene-ankring scorede godt på motion, men ofte kompromitterede på scene-layout, mens billed-konditionerings-tilgange viste det modsatte mønster:

Sammenligning af video-generationsmodi på to datasæt, der viser, at I2V+tekst opnår den bedste ramme-kvalitet (FID) og temporal koherens (FVD), hvilket understreger fordelene ved at adskille scene-konstruktion fra motion. Kilde

Disse fund peger på en strukturel fejl, hvor nuværende modeller forsøger at lære både scene-layout og animation på én gang, selvom de to opgaver kræver forskellige former for induktiv bias, og håndteres bedst separat.

Måske er det mest interessante, at denne ‘trick’ potentielt kan anvendes på lokale installationer af modeller som Wan 2.1 og 2.2, og lignende video-diffusionsmodeller som Hunyuan Video. Anekdotisk set ligner sammenligningen af kvaliteten på hobbyist-udgang og kommercielle generative porte som Kling og Runway, at de fleste af de større API-udbydere forbedrer på åbne kilde-tilbud som WAN med LoRAs, og – det ser ud til – med tricks af samme type som dem, der ses i den nye artikel. Derfor kunne denne specifikke tilgang repræsentere en opfangning for FOSS-kontingenten.

Tests udført for metoden indikerer, at denne simple og modulære tilgang tilbyder en ny state-of-the-art på T2V-CompBench-benchmarket, og betydeligt forbedrer alle testede modeller. Forfatterne bemærker i konklusionen, at selvom deres system radikalt forbedrer trofasthed, så adresserer det ikke (og er ikke designet til at adresse) identitets-drift, der i øjeblikket er generativ AI-forsknings største udfordring.

Den nye artikel kommer fra fire forskere ved Ecole Polytechnique Fédérale de Lausanne (EPFL) i Schweiz.

Metode og Data

Den centrale tese i den nye teknik er, at tekst-til-video (T2V)-diffusionsmodeller behøver at være ‘ankret’ til start-rammer, der virkelig passer til den ønskede tekst-prompt.

For at sikre, at modellen respekterer start-rammen, forstyrrer den nye metode den standard diffusionsproces ved at indsprøjte en ren latent fra anchor-billedet ved tidsrum nul, og erstatter en af de sædvanlige støjende input. Denne ukendte input forvirrer modellen først, men med minimal LoRA finjustering, lærer den at behandle den indsprøjtede ramme som en fast visuel anchor i stedet for en del af støj-trafikken:

To-trins metode til at grounde tekst-til-video-generering med en visuel anchor: Venstre, modellen er finjusteret med en letvægts LoRA til at behandle en indsprøjet ren latent som en fast scene-begrænsning. Højre, prompten er splittet op i en første-ramme-kaption, der bruges til at generere anchor-billedet, der vejleder videoen.

Ved inferens omskriver metoden prompten til kun at beskrive kun den første ramme, ved at bruge en LLM til at trække en plausibel initial scene-tilstand fokuseret på layout og udseende.

Denne omskrevne prompt bliver sendt til en billed-generator for at producere en kandidat-anchor-ramme (der kan valgfrit blive forbedret af brugeren). Den valgte ramme bliver kodet ind i en latent og indsprøjet i diffusionsprocessen ved at erstatte den første tidsrum, og giver modellen mulighed for at generere resten af videoen mens den forbliver ankret til den initiale scene – en proces, der fungerer uden at kræve ændringer i den underliggende arkitektur.

Processen blev testet ved at oprette LoRAs for Wan2.2-14B, Wan2.1-1B, og CogVideo1.5-5B. LoRA-træningen blev udført på en rang af 256, på 5000 tilfældigt valgte klip fra UltraVideo-samlingen.

Træningen varede 6000 trin, og krævede 48 GPU-timer^† for Wan-1B og CogVideo-5B, og 96 GPU-timer for Wan-14B. Forfatterne bemærker, at Wan-5B naturligt understøtter tekst-kun og tekst-billede-betingelser (der i dette tilfælde bliver påtvunget til de ældre rammer), og derfor ikke krævede nogen finjustering.

Tests

I de eksperimenter, der blev udført for processen, blev hver tekst-prompt først forbedret med Qwen2.5-7B-Instruct, der brugte resultatet til at generere en detaljeret ‘seed-billede’-kaption, der indeholdt en beskrivelse af hele scenen. Dette blev derefter sendt til QwenImage, der blev bedt om at generere ‘magi-rammen’, der skulle indsættes i diffusionsprocessen.

Benchmarkene, der blev brugt til at evaluere systemet, omfattede det ovennævnte T2V-CompBench, til test af kompositionel forståelse ved at score, hvor godt modellerne bevarede objekter, attributter og handlinger inden for en koherent scene; og VBench 2.0, til evaluering af bredere forståelse og konsistens på 18 metrikker, grupperet i kreativitet, commonsense-forståelse, kontrollabilitet, menneskelig trofasthed, og fysik:

På tværs af alle syv evaluering-kategorier i T2V-CompBench, overgik den factorizede T2V-metode både standard- og opskalerede T2V-baselines for hver testet model, med gevinster op til 53,25%. De højest scorende varianter matchede eller overgik ofte den proprietære PixVerse-V3-benchmark.

Med hensyn til denne første runde af tests, bemærker forfatterne*:

‘[På tværs af] alle modeller, forbedrer tilføjelsen af en anchor-billede konsekvent kompositionelle præstationer. Alle mindre factorizede modeller (CogVideo 5B, Wan 5B og Wan 1B) overgår den større Wan 14B T2V-model.

‘Vores factorizede Wan 5B overgår også den kommercielle PixVerse-V3-baseline, der er den bedste rapporterede model på benchmarket. Dette demonstrerer, at visuel ankering væsentligt forbedrer scene- og handling-forståelse, selv i mindre kapacitets-modeller.

‘Inden for hver model-familie, overgår den factorizede version den oprindelige model. Bemærkelsesværdigt, vores letvægts-ankret LoRA på WAN 14B når en præstation, der er sammenlignelig med dens forudtrænede I2V 14B-variant (0,661 vs. 0,666), på trods af at den ikke kræver nogen fuld omskoling.’

Derefter kom VBench2.0-runden:

Den factorizede T2V-tilgang forbedrer konsekvent VBench 2.0-præstation på tværs af komposition, commonsense-forståelse, kontrollabilitet og fysik, med nogle gevinster, der overgår 60% – selvom menneskelig trofasthed forblev under den proprietære Veo 3-baseline.

På tværs af alle arkitekturer, forbedrede den factorizede tilgang score i hver VBench-kategori, undtagen menneskelig trofasthed, der let faldt, selv med prompt-opskalerings. WAN 5B overgik den større WAN 14B, og understregede tidligere T2V-CompBench-resultater, der viste, at visuel ankering bidrog mere end skala.

Gevinsterne på VBench var konsekvente, men mindre end dem, der blev set på T2V-CompBench, og forfatterne tilskriver dette VBenchs strengere binær scoringsregime.

Til de kvalitative tests, leverer artiklen statiske billeder, men vi henviser læseren til de sammensatte videoer, der er indlejret i denne artikel, for en klarere idé, med den bemærkning, at kildevideoerne er mere talrige og diverse, såvel som havende større opløsning og detaljer. Find dem her. Med hensyn til kvalitative resultater, bemærker artiklen:

‘Ankret videoer viser konsekvent mere præcis scene-komposition, stærkere objekt-egenskabs-binding og klarere temporal progression.’

Den factorizede metode forblev stabil, selv når antallet af diffusions-trin blev reduceret fra 50 til 15, og viste næsten ingen præstations-tab på T2V-CompBench. I modsætning hertil faldt både tekst-kun og opskalerede baselines skarpt under de samme betingelser.

Selv om reduktion af trin teoretisk kunne tredoble hastigheden, blev den fulde generations-proces kun 2,1 gange hurtigere i praksis, på grund af faste omkostninger fra anchor-billede-generering. Alligevel viste resultaterne, at ankering ikke kun forbedrede præstations-kvalitet, men også hjalp med at stabilisere diffusionsprocessen, og understøttede hurtigere og mere effektiv generering uden tab i nøjagtighed.

Projektets hjemmeside tilbyder eksempler på opskalerede vs. nye metode-genereringer, af hvilke vi tilbyder et par (lavere opløsning) redigerede eksempler her:

Klik for at afspille (ingen lyd). Opskalerede start-kilder vs. forfatternes factorizede tilgang.

Forfatterne konkluderer:

‘Vores resultater antyder, at forbedret ankering, snarere end øget kapacitet alene, kan være lige så vigtigt. Seneste fremskridt i T2V-diffusion har i høj grad afhængt af øget model-størrelse og træningsdata, men selv store modeller kæmper ofte for at slutte en koherent initial-scene fra tekst alene.

‘Dette modsiger sig med billed-diffusion, hvor skalaering er relativt ligetil; i video-modeller må hver arkitektonisk forbedring operere over en ekstra temporal dimension, hvilket gør skalaering væsentligt mere ressource-krævende.

‘Vores fund antyder, at forbedret ankering kan supplere skala ved at adresse en anden flaskehals: etablering af den korrekte scene, før motion-syntese begynder.

‘Ved at factorisere video-generering i scene-konstruktion og temporal modellering, mildner vi flere almindelige fejlmodi uden at kræve væsentligt større modeller. Vi ser på dette som en komplementær design-princip, der kan vejlede fremtidige arkitekturer mod mere pålidelig og struktureret video-syntese.’

Konklusion

Selv om problemerne med entanglement er meget reelle, og kan kræve dedikerede løsninger (såsom forbedret curation og distributions-evaluering før træning), har det været en øjenåbner at se, hvordan factorisering kan ‘løsne’ flerestubbe og ‘fastlåste’ koncept-prompt-orkestreringer til mere nøjagtige renderinger – med kun en moderat lag af LoRA-betingelser og en markant forbedret start-/seed-billede.

Gapet i ressourcer mellem lokal hobbyist-inferens og kommercielle løsninger kan måske ikke være så enormt, som antaget, da næsten alle udbydere søger at rationalisere deres betydelige GPU-resurse-udlag til forbrugerne.

Anekdotisk set ser det ud til, at en meget stor del af de nuværende generative video-udbydere bruger brandede og generelt ‘forbedrede’ versioner af kinesiske FOSS-modeller. Den primære ‘moat’, disse ‘mellemliggende’ systemer synes at have, er, at de har taget sig tid til at træne LoRAs, eller også – til en større omkostning og lidt større belønning – har gennemført en fuld finjustering af model-vægterne^††.

Indsigter af denne type kunne hjælpe med at lukke dette gap yderligere, i en udgivelseskontekst, hvor kineserne synes at være fast besluttede (ikke nødvendigvis af altruistiske eller idealistiske årsager) på at demokratisere generativ AI, hvorimod vestlige forretningsinteresser måske ville foretrække, at øget model-størrelse og reguleringer til sidst isolerer de bedste modeller bag API’er og multiple lag af indholdsfilters.

* Forfatternes betoning, ikke min.

^† Artiklen specificerer ikke, hvilken GPU der blev valgt, eller hvor mange der blev brugt.

^†† LoRA-ruten er mere sandsynlig, både på grund af økonomisk let brug og fordi de fulde vægte, snarere end kvantificerede vægte, ikke altid er tilgængelige.

Offentliggjort første gang fredag, den 19. december 2025