AI-Video perfekterer katt-selvie

AI-video-genereringssystemer gir ofte resultater som er nærme, men ikke helt riktige, når det gjelder å levere det tekst-prompten ønsker. Men en ny høy-nivå-løsning gjør all forskjell.

Generative video-systemer har ofte vanskelig for å lage videoer som er virkelig kreative eller ville, og ofte mislykkes i å møte forventningene til brukerens tekst-prompt.

Delen av grunnen til dette er entanglement – det faktum at visjon/språk-modeller må gå på kompromiss med hvor lenge de trener på deres kilde-data. For lite trening, og konseptene er fleksible, men ikke fullt utformede – for mye, og konseptene er nøyaktige, men ikke lenger fleksible nok til å inkorporere i nye kombinasjoner.

Du kan få ideen fra videoen som er innlemmet nedenfor. På venstre side er det typen kompromiss som mange AI-systemer leverer i respons til en krevende prompt (prompten er på toppen av videoen i alle fire eksemplene) som ber om en juxtaposisjon av elementer som er for fantastisk til å ha vært et virkelig treningseksempel. På høyre side er en AI-utdata som holder seg til prompten mye bedre:

Trykk for å spille (ingen lyd). På høyre side ser vi ‘factorized’ WAN 2.2 virkelig levere på promptene, i sammenligning med de vagt tolkede ‘vanilla’ Wan 2.2., på venstre side. Vennligst se kildevideo-filene for bedre oppløsning og mange flere eksempler, selv om de kurerte versjonene som sees her ikke finnes på prosjektet, og ble satt sammen for denne artikkelen. Kilde

Vel, selv om vi må tilgi den klappende andens menneskelige hender (!), er det tydelig at eksemplene på høyre side holder seg til den opprinnelige tekst-prompten mye bedre enn de på venstre side.

Interessant nok er begge arkitekturer essensielt den samme arkitekturen – den populære og meget kapable Wan 2.2, en kinesisk utgivelse som har gjort store fremskritt i åpen kilde- og hobbyist-miljøer i år.

Forskjellen er at den andre generative pipeline er factorized, som i dette tilfelle betyr at en stor språkmodell (LLM) har blitt brukt til å reinterpretere den første (seed) rammen i videoen, så det vil være mye lettere for systemet å levere det brukeren ber om.

Dette ‘visuelle ankering’ innebærer å injektere et bilde laget fra denne LLM-forbedrede prompten i den generative pipeline som en ‘start-ramme’, og å bruke en LoRA tolkende modell til å hjelpe med å integrere ‘intrusjon’ rammen i video-oppbyggingsprosessen.

Resultatene, i termer av prompt-trofasthet, er ganske bemerkelsesverdige, særlig for en løsning som ser ganske elegant ut:

Trykk for å spille (ingen lyd). Flere eksempler på ‘factorized’ video-generering som virkelig holder seg til manuset. Vennligst se kildevideo-filene for bedre oppløsning og mange flere eksempler, selv om de kurerte versjonene som ses her ikke finnes på prosjektet, og ble satt sammen for denne artikkelen.

Dette løsningsforslag kommer i form av den nye artikkelen Factorized Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models, og dens video-rike ledsagende prosjekt-nettsted.

Mens mange nåværende systemer prøver å forbedre prompt-nøyaktigheten ved å bruke språkmodeller til å om skrive vag eller underspesifiserte tekst, argumenterer den nye artikkelen for at denne strategien fortsatt fører til feil når modellens interne scene-representasjon er feil.

Even med en detaljert om skrevet prompt, tekst-til-video-modeller ofte miscompose nøkkel-elementer eller genererer uforenlige initial-tilstander som bryter logikken i animasjonen. Så lenge den første rammen ikke reflekterer hva prompten beskriver, kan den resulterende videoen ikke gjenopprettes, uansett hvor god bevegelsesmodellen er.

Artikkelen sier*:

‘[Tekst-til-video] modeller produserer ofte distribusjonelt forskjøvede rammeverk, men oppnår likevel [evalueringspoeng] som er sammenlignbare med I2V-modeller, noe som indikerer at deres bevegelsesmodellering fortsatt er rimelig naturlig selv når scene-trofastheten er relativt dårlig.

‘[Bilde-til-video] modeller utviser det komplementære atferden, sterke [evalueringspoeng] fra nøyaktige initial-scener og svakere temporalt samanheng, mens I2V+tekst balanserer begge aspektene.

‘Dette kontrasten suger en strukturell mismatch i nåværende T2V-modeller: scene-grunnleggelse og temporalt syntese fordelene fra distinkte induktive bias, men eksisterende arkitekturer prøver å lære begge samtidig innenfor en enkelt modell.’

En diagnostisk sammenligning av genereringsmoduser fant at modeller uten eksplisitt scene-ankring scoret godt på bevegelse, men ofte kompromitterte på scene-opplayout, mens bilde-betingede tilnærminger viste det motsatte mønster:

Sammenligning av video-genereringsmoduser på to datasett, som viser at I2V+tekst oppnår den beste ramme-kvaliteten (FID) og temporalt samanheng (FVD), og høydepunkter fordelen med å skille scene-konstruksjon fra bevegelse. Kilde

Disse funnene peker på en strukturell feil hvor nåværende modeller prøver å lære både scene-opplayout og animasjon på en gang, selv om de to oppgavene krever forskjellige typer induktiv bias, og håndteres bedre separat.

Kanskje av størst interesse er at denne ‘trikken’ potensielt kan bli brukt på lokale installasjoner av modeller som Wan 2.1 og 2.2, og lignende video-diffusjonsmodeller som Hunyuan Video. Anekdotisk, sammenligning av kvaliteten på hobbyist-utgang med kommersielle generative portalene som Kling og Runway, ser det ut til at de fleste av de større API-leverandørene forbedrer på åpen kilde-tilbud med LoRAs, og – det ser ut til – med triks av samme type som det som ses i den nye artikkelen. Derfor kan denne spesielle tilnærmingen representere en oppnåelse for FOSS-kontingenten.

Tester utført for metoden indikerer at denne enkle og modulære tilnærmingen tilbyr en ny state-of-the-art på T2V-CompBench-benchmarken, og forbedrer alle testede modeller betydelig. Forfatterne merker i konklusjon at mens deres system radikalt forbedrer trofastheten, adresserer det ikke (og er ikke ment å adresse) identitets-drift, som for tiden er den største utfordringen i generativ AI-forskning.

Den nye artikkelen kommer fra fire forskere ved Ecole Polytechnique Fédérale de Lausanne (EPFL) i Sveits.

Metode og Data

Den sentrale proposisjonen i den nye teknikken er at tekst-til-video (T2V) diffusjonsmodeller må ‘ankres’ til start-rammer som virkelig passer tekst-prompten.

For å sikre at modellen respekterer start-rammen, forstyrer den nye metoden den standard diffusjonsprosessen ved å injektere en ren latent fra ankermoten ved tidssteg null, og erstatter en av de vanlige støyende inngangene. Denne ukjente inngangen forvirrer modellen først, men med minimal LoRA finjustering, lærer den å behandle den injekterte rammen som en fast visuell anker i stedet for en del av støy-trafikken:

To-trinns metode for å grunnlegge tekst-til-video-generering med en visuell anker: Venstre, modellen er finjustert ved å bruke en lett LoRA til å behandle en injektert ren latent som en fast scene-begrensning. Høyre, prompten er delt inn i en første-ramme-overskrift, som brukes til å generere ankermoten som leder videoen.

Ved inferens, rewriter prompten til å beskrive kun den første rammen, ved å bruke en LLM til å trekke ut en plausibel initial scene-tilstand fokusert på opplayout og utseende.

Denne omskrevne prompten sendes til en bilde-generering for å produsere en kandidat-ankermote (som kan valgfritt bli forbedret av brukeren). Den valgte rammen kodifies til en latent og injiseres i diffusjonsprosessen ved å erstatter den første tidssteg, og tillater modellen å generere resten av videoen mens den holder seg til den opprinnelige scenen – en prosess som fungerer uten å kreve endringer i den underliggende arkitekturen.

Prosessen ble testet ved å lage LoRAs for Wan2.2-14B, Wan2.1-1B, og CogVideo1.5-5B. LoRA-treningen ble utført på en rang på 256, på 5000 tilfeldig valgte klipp fra UltraVideo-samlingen.

Treningen varte 6000 steg, og krevde 48 GPU-timer^† for Wan-1B og CogVideo-5B, og 96 GPU-timer for Wan-14B. Forfatterne merker at Wan-5B støtter naturlig tekst-bare og tekst-bilde-betingede betingelser (som i dette tilfelle blir påtvunget til de eldre rammeverkene), og derfor ikke krevde noen fullstendig om-trening.

Tester

I eksperimentene som ble utført for prosessen, ble hver tekst-prompt først forbedret ved å bruke Qwen2.5-7B-Instruct, som brukte resultatet til å generere en detaljert ‘seed-bilde’-overskrift som inneholdt en beskrivelse av hele scenen. Dette ble deretter sendt til QwenImage, som ble tildelt oppgaven å generere ‘magi-rammen’ som skulle bli injektert i diffusjonsprosessen.

Benchmarkene som ble brukt til å vurdere systemet inkluderte den ovennevnte T2V-CompBench, for å teste komposisjonell forståelse ved å score hvordan modellene bevarte objekter, attributter og handlinger innenfor en kohesiv scene; og VBench 2.0, for å evaluere bredere resonnering og konsistens over 18 mål, gruppert i kreativitet, sanntids-resonnering, kontroll, menneskelig trofasthet, og fysikk:

Over alle syv evaluering-kategorier i T2V-CompBench, overgikk den ‘factorized’ T2V-metoden både standard og oppskalert T2V-baselinjer for hver testet modell, med gevinster som nådde opp til 53,25%. De høyest scorende variantene matchet ofte eller overgikk den proprietære PixVerse-V3-benchmarken.

Angående denne første runden av tester, sier forfatterne*:

‘[Over] alle modeller, legger til en ankermote konsistent forbedrer komposisjonelle prestasjoner. Alle mindre ‘factorized’ modeller (CogVideo 5B, Wan 5B og Wan 1B) overgår den større Wan 14B T2V-modellen.

‘Vår ‘factorized’ Wan 5B overgår også den kommersielle PixVerse-V3-baselinjen, som er den beste rapporterte modellen på benchmarken. Dette demonstrerer at visuell grunnleggelse substansielt forbedrer scene- og handling-forståelse, selv i mindre-kapasitetsmodeller.

‘Innenfor hver modell-familie, overgår den ‘factorized’ versjonen den opprinnelige modellen. Merkverdig, vår lettvekt-ankret LoRA på WAN 14B når en prestasjon som er sammenlignbar med dens forhånds-trent I2V 14B-variant (0,661 vs. 0,666), til tross for å ikke kreve noen fullstendig om-trening.’

Neste kom VBench2.0-runden:

Den ‘factorized’ T2V-tilnærmingen forbedrer konsistent VBench 2.0-prestasjon over komposisjon, sanntids-resonnering, kontroll og fysikk, med noen gevinster som overstiger 60% – selv om menneskelig trofasthet forble under den proprietære Veo 3-baselinjen.

Over alle arkitekturer, forbedret den ‘factorized’ tilnærmingen scorene i hver VBench-kategori, unntatt menneskelig trofasthet, som falt noe, selv med prompt-opp-skaling. WAN 5B overgikk den større WAN 14B, og støttet tidligere T2V-CompBench-resultater som viste at visuell grunnleggelse bidro mer enn skala.

Mens gevinster på VBench var konsistente, var de mindre enn de som ble sett på T2V-CompBench, og forfatterne tilskriver dette til VBench sin strengere binær scoring-regime.

For de kvalitative testene, leverer artikkelen statiske bilder, men vi henviser leseren til de komponerte videoene som er innlemmet i denne artikkelen, for en tydeligere idé, med den forbehold at kildevideoene er mer tallrike og diverse, samt har større oppløsning og detalj. Finn dem her. Angående kvalitative resultater, sier artikkelen:

‘Ankret videoer viser konsistent mer nøyaktig scene-komposisjon, sterkere objekt-egenskaps-binding og klarere temporalt fremgang.’

Den ‘factorized’ metoden forble stabil selv når antallet diffusjons-steg ble redusert fra 50 til 15, og viste nesten ingen prestasjons-tap på T2V-CompBench. I motsetning til dette, degraderte både tekst-bare og oppskalerte baselinjer skarpt under de samme betingelsene.

Selv om reduksjon av steg teoretisk kunne trippe hastigheten, ble den fullstendige genererings-pipeline bare 2,1 ganger raskere i praksis, på grunn av fikserte kostnader fra ankermote-generering. Likevel, resultater indikerte at ankering ikke bare forbedret prøve-kvaliteten, men også hjalp med å stabilisere diffusjons-prosessen, og støttet raskere og mer effektiv generering uten tap i nøyaktighet.

Prosjekt-nettstedet tilbyr eksempler på oppskalerte vs. nye metode-genereringer, av hvilke vi tilbyr noen (lavere oppløsning) redigerte eksempler her:

Trykk for å spille (ingen lyd). Oppskalerte start-kilder vs. forfatterens ‘factorized’ tilnærming.

Forfatterne konkluderer:

‘Våre resultater antyder at forbedret grunnleggelse, i stedet for bare økt kapasitet, kan være like viktig. Nylige fremgang i T2V-diffusjon har avhengig mye av å øke modell-størrelse og trening-data, men selv store modeller sliter ofte med å inferere en kohesiv initial scene fra tekst alene.

‘Dette kontrasterer med bilde-diffusjon, hvor skaling er relativt enkelt; i video-modeller, må hver arkitektonisk forbedring operere over en ekstra temporalt dimensjon, noe som gjør skaling betydelig mer ressurs-intensivt.

‘Våre funn indikerer at forbedret grunnleggelse kan komplementere skala ved å adresse en annen flaskehals: etablere den riktige scenen før bevegelse-syntese begynner.

‘Ved å ‘factorisere’ video-generering i scene-konstruksjon og temporalt modellering, mitigere vi flere vanlige feil-mønster uten å kreve vesentlig større modeller. Vi ser på dette som en komplementær design-prinsipp som kan guide fremtidige arkitekturer mot mer pålitelige og strukturerte video-syntese.’

Konklusjon

Selv om problemene med entanglement er veldig reelle, og kan kreve dedikerte løsninger (slik som forbedret kurasjon og distribusjon-evaluering før trening), har det vært en øyneåpner å se ‘factorisering’ løse flere stubbe og ‘stuck’ konsept-prompt-orkestreringer til mye mer nøyaktige renderinger – med bare en moderat lag LoRA-betingelse, og intervensjonen av en merket forbedret start-/seed-bilde.

Gapet i ressurser mellom lokal hobbyist-inferens og kommersielle løsninger kan ikke være like enormt som antatt, ettersom nesten alle leverandører søker å rasjonalisere sine betydelige GPU-ressurs-utgifter til forbrukerne.

Anekdotisk, ser det ut til at en meget stor andel av de nåværende generative video-leverandørene bruker merkevare- og generelt ‘opp-motored’ versjoner av kinesiske FOSS-modeller. Den største ‘moat’ noen av disse ‘mellommann’-systemene ser ut til å ha, er at de har tatt seg bryet med å trene LoRAs, eller også – til større kostnad, og litt større belønning – faktisk har gjennomført en fullstendig fin-justering av modell-vektene^††.

Innsikter av denne typen kan hjelpe med å lukke gapet videre, i konteksten av en utgivelse-scene hvor kineserne ser ut til å være bestemt (ikke nødvendigvis av altruistiske eller idealistiske årsaker) på å demokratisere gen AI, mens vestlige forretningsinteresser kanskje foretrekker at økende modell-størrelse og reguleringer til slutt clostrer noen virkelig gode modeller bak API-er, og flere lag med innhold-filtrer.

* Forfatternes betoning, ikke min.

^† Artikkelen spesifiserer ikke hvilken GPU som ble valgt, eller hvor mange som ble brukt.

^†† Selv om LoRA-ruten er mer sannsynlig, både for økonomisk lett bruk og fordi full-vektene, i stedet for kvantiserte vekter, ikke alltid er tilgjengelige.

Først publisert fredag, 19. desember 2025