Mod fuld kontrol i AI-video-generering

Video-fundamentsmodeller som f.eks. Hunyuan og Wan 2.1 er kraftfulde, men de tilbyder ikke brugerne den samme grad af detaljeret kontrol, som film- og tv-produktion (især VFX-produktion) kræver.

I professionelle visuelle effektstudier bruges åbne modeller som disse, sammen med tidligere billedbaserede (i stedet for video) modeller som f.eks. Stable Diffusion, Kandinsky og Flux, sammen med en række understøttende værktøjer, der tilpasser deres rå output til at møde bestemte kreative behov. Når en instruktør siger: “Det ser godt ud, men kan vi gøre det lidt mere [n]?” kan du ikke svare ved at sige, at modellen ikke er præcis nok til at håndtere sådanne anmodninger.

I stedet vil et AI-VFX-hold bruge en række traditionelle CGI– og kompositionsteknikker, sammen med brugerdefinerede procedurer og arbejdsgange, der er udviklet over tid, for at forsøge at udvide grænserne for video-syntese lidt længere.

Det er som en analogi, hvor en grundlæggende video-model er meget lig en standardinstallation af en webbrowser som Chrome; det kan meget ud af boksen, men hvis du vil have det til at tilpasse sig dine behov, i stedet for omvendt, skal du have nogle plugins.

Kontrolfreaks

I verden af diffusion-baseret billedsynthese er den vigtigste tredjeparts-system ControlNet.

ControlNet er en teknik til at tilføje struktureret kontrol til diffusion-baserede generative modeller, der tillader brugerne at guide billed- eller video-generering med ekstra input som f.eks. kantkort, dybdekort eller pose-information.

image (øverste række), semantisk segmentering>image (nederste venstre) og pose-vejledning af billedgenerering af mennesker og dyr (nederste venstre).” width=”779″ height=”422″ /> ControlNets forskellige metoder tillader dybde>image (øverste række), semantisk segmentering>image (nederste venstre) og pose-vejledning af billedgenerering af mennesker og dyr (nederste venstre).

I stedet for at kun afhænge af tekstprompt, introducerer ControlNet separate neurale netværksgrene, eller adaptere, der behandler disse betingelsessignaler, mens de bevare modellens generative evner.

Dette muliggør finjusterede output, der holder sig tættere til brugerens specifikationer, hvilket gør det særligt nyttigt i anvendelser, hvor præcis komposition, struktur eller bevægelseskontrol er påkrævet:

Med en vejledende pose kan en række præcise output-typer opnås via ControlNet. Kilde: https://arxiv.org/pdf/2302.05543

Men adapter-baserede rammer af denne type opererer eksternt på en samling af neurale processer, der er meget intern-fokuserede. Disse tilgange har flere ulemper.

Først er adaptere trænet uafhængigt, hvilket fører til gren-konflikter, når flere adaptere kombineres, hvilket kan medføre nedgraderet genereringskvalitet.

For det andet introducerer de parameter-redundans, der kræver ekstra beregning og hukommelse til hver adapter, hvilket gør skalerbarhed ineffektiv.

For det tredje producerer adaptere ofte sub-optimal resultater i forhold til modeller, der er fuldt finjusteret for multi-betinget generering. Disse problemer gør adapter-baserede metoder mindre effektive til opgaver, der kræver ubrudt integration af multiple kontrolsignaler.

Idealset ville være, at ControlNets evner blev trænet nativt ind i modellen, på en modulær måde, der kunne tilpasse sig senere og meget-ventede åbenlyse innovationer som f.eks. samtidig video/lyd-generering eller native lip-sync-kapaciteter (til eksternt lyd).

Som det er nu, repræsenterer hver ekstra funktion enten en post-produktionsopgave eller en ikke-naturlig procedure, der skal navigere i den tæt-bundne og følsomme vægt af hvilken som helst grundlæggende model, det opererer på.

FullDiT

Ind i denne situation kommer en ny tilbud fra Kina, der foreslår et system, hvor ControlNet-lignende foranstaltninger er integreret direkte i en generativ video-model under træningstiden, i stedet for at være en eftertanke.

Fra den nye artikel: FullDiT-tilgangen kan inkorporere identitets-påtvængning, dybde og kamera-bevægelse i en naturlig generering og kan fremkalde enhver kombination af disse på én gang. Kilde: https://arxiv.org/pdf/2503.19907

Den nye tilgang kaldes FullDiT og fusionerer multi-opgave-betingelser som f.eks. identitets-overføring, dybde-kortlægning og kamera-bevægelse i en integreret del af en trænet generativ video-model, for hvilken forfatterne har produceret en prototype-trænet model og tilhørende video-klip på et projekt-site.

I eksemplet nedenfor ser vi generationer, der inkorporerer kamera-bevægelse, identitets-information og tekst-information (dvs. vejledende bruger-tekstprompt):

Klik for at afspille. Eksempler på ControlNet-lignende bruger-påtvængning med kun en naturlig trænet grundlæggende model. Kilde: https://fulldit.github.io/

Det skal bemærkes, at forfatterne ikke foreslår deres eksperimentelle trænede model som en funktionsdygtig grundlæggende model, men snarere som et bevis for, at native tekst-til-video (T2V) og billed-til-video (I2V) modeller kan tilbyde brugerne mere kontrol end kun et billed-prompt eller en tekst-prompt.

Da der ikke er lignende modeller af denne type endnu, skabte forskerne en ny benchmark kaldet FullBench til evaluering af multi-opgave-videoer og hævder, at de har opnået state-of-the-art-præstation i lignende tests, som de har udviklet mod prior-tilgange. Men da FullBench blev designet af forfatterne selv, er dens objektivitet ikke testet, og dens dataset på 1.400 tilfælde kan være for begrænset til bredere konklusioner.

Måske det mest interessante aspekt af arkitekturen, som artiklen fremfører, er dens potentiale til at inkorporere nye typer kontrol. Forfatterne skriver:

‘I dette arbejde udforsker vi kun kontrol-betingelser for kamera, identiteter og dybde-information. Vi undersøgte ikke yderligere betingelser og modaliteter som f.eks. lyd, tale, punkt-skyer, objekt-rammer, optisk flow osv. Selvom FullDiT-designet kan integrere andre modaliteter med minimal arkitektur-modifikation, er det stadig et vigtigt spørgsmål, der kræver yderligere udforskning, hvordan man hurtigt og omkostningseffektivt kan tilpasse eksisterende modeller til nye betingelser og modaliteter.’

Det skal bemærkes, at selv om forskerne præsenterer FullDiT som et skridt fremad i multi-opgave-video-generering, skal det overvejes, at dette nye arbejde bygger på eksisterende arkitekturer snarere end introducerer en fundamentalt ny paradigme.

Ikke desto mindre står FullDiT i øjeblikket alene (så vidt jeg ved) som en video-grundlæggende model med ‘hardkodede’ ControlNet-lignende faciliteter – og det er godt at se, at den foreslåede arkitektur kan tilpasse sig senere innovationer.

Klik for at afspille. Eksempler på bruger-styret kamera-bevægelse fra projekt-sitet.

Den nye artikel kaldes FullDiT: Multi-opgave Video Generativ Grundlæggende Model med Fuldt Fokus og kommer fra ni forskere på tværs af Kuaishou Technology og The Chinese University of Hong Kong. Projekt-sitet er her og den nye benchmark-data er her.

Metode

Forfatterne påstår, at FullDiTs samlede opmærksomheds-mekanisme muliggør stærkere tværs-modalt repræsentations-læring ved at fange både rumlige og tidsmæssige relationer på tværs af betingelser:

Ifølge den nye artikel integrerer FullDiT multiple input-betingelser gennem fuld selv-opmærksomhed, konverterer dem til en samlet sekvens. I modsætning hertil bruger adapter-baserede modeller (venstre) separate moduler til hver input, hvilket fører til redundans, konflikter og svagere præstation.

I modsætning til adapter-baserede opsætninger, der behandler hver input-strøm separat, undgår denne fælles opmærksomheds-struktur gren-konflikter og reducerer parameter-overhead. De påstår også, at arkitekturen kan skaleres til nye input-typer uden større redesign – og at modellens skema viser tegn på at generalisere til betingelses-kombinationer, der ikke er set under træning, såsom at kombinere kamera-bevægelse med karakter-identitet.

Klik for at afspille. Eksempler på identitets-generering fra projekt-sitet.

I FullDiTs arkitektur konverteres alle betingelses-input – såsom tekst, kamera-bevægelse, identitet og dybde – først til en samlet token-format. Disse token konverteres derefter til en samlet lang sekvens, der behandles gennem en stak af transformer-lag med fuld selv-opmærksomhed. Denne tilgang følger tidligere arbejder som f.eks. Open-Sora Plan og Movie Gen.

Dette design muliggør, at modellen kan lære tidsmæssige og rumlige relationer fælles på tværs af alle betingelser. Hver transformer-blok opererer over hele sekvensen, hvilket muliggør dynamiske interaktioner mellem modaliteter uden at afhænge af separate moduler til hver input – og som vi har bemærket, er arkitekturen designet til at være udvidelig, hvilket gør det meget lettere at inkorporere yderligere kontrol-signaler i fremtiden uden større strukturelle ændringer.

De tre magter

FullDiT konverterer hver kontrol-signal til et standardiseret token-format, så alle betingelser kan behandles sammen i en samlet opmærksomheds-ramme. For kamera-bevægelse kodificerer modellen en sekvens af eksterne parametre – såsom position og orientering – for hver ramme. Disse parametre er tidsstemplede og projektioner i indlejring-vektorer, der reflekterer den tidsmæssige natur af signalet.

Identitets-information behandles anderledes, da det er inherent rumligt snarere end tidsmæssigt. Modellen bruger identitets-kort, der angiver, hvilke karakterer der er til stede i hvilke dele af hver ramme. Disse kort deles op i patches, hvor hver patch projiceres til en indlejring, der fanger rumlige identitets-kilder, hvilket tillader modellen at associerer bestemte områder af rammene med bestemte enheder.

Dybde er en rumligt-tidsmæssig signal, og modellen behandler det ved at opdele dybde-videoer i 3D-patches, der omfatter både rum og tid. Disse patches indlejres på en måde, der bevareder deres struktur på tværs af rammer.

Når de er indlejret, konverteres alle disse betingelses-token (kamera, identitet og dybde) til en samlet lang sekvens, hvilket tillader FullDiT at behandle dem sammen med fuld selv-opmærksomhed. Denne fælles repræsentation muliggør, at modellen kan lære interaktioner på tværs af modaliteter og på tværs af tid uden at afhænge af isolerede behandlings-strømme.

Data og tests

FullDiTs trænings-tilgang afhængede af selektivt annoterede datasæt tilpasset til hver betingelses-type, snarere end at kræve, at alle betingelser var til stede samtidigt.

For tekst-betingelser fulgte initiativet den strukturerede undertitel-tilgang, der er beskrevet i MiraData-projektet.

Video-samling og annotation-pipeline fra MiraData-projektet. Kilde: https://arxiv.org/pdf/2407.06358

For kamera-bevægelse var RealEstate10K-datasættet det primære data-kilde på grund af dets høj-kvalitets grund-sandheds-annotationer af kamera-parametre.

Men forfatterne observerede, at træning udelukkende på statisk-scene kamera-datasæt som RealEstate10K havde tendens til at reducere dynamisk objekt- og menneske-bevægelser i genererede videoer. For at modvirke dette gennemførte de yderligere fin-justering ved hjælp af interne datasæt, der indeholdt mere dynamiske kamera-bevægelser.

Identitets-annotationer blev genereret ved hjælp af pipeline-udviklingen for ConceptMaster-projektet, der tillod effektiv filtrering og udtrækning af fin-graned identitets-information.

ConceptMaster-rammen er designet til at adresse identitets-dekoblings-problemer, mens den bevareder koncept-trofasthed i tilpassede videoer. Kilde: https://arxiv.org/pdf/2501.04698

Dybde-annotationer blev erhvervet fra Panda-70M-datasættet ved hjælp af Depth Anything.

Optimering gennem data-orden

Forfatterne implementerede også en progressiv trænings-plan, hvor de introducerede mere udfordrende betingelser tidligere i træningen for at sikre, at modellen erhvervede robuste repræsentationer, før simple opgaver blev tilføjet. Trænings-ordenen fortsatte fra tekst til kamera-betingelser, derefter identiteter og til sidst dybde, med lettere opgaver generelt introduceret senere og med færre eksempler.

Forfatterne understreger værdien af at ordne arbejdsmængden på denne måde:

‘Under for-trænings-fasen observerede vi, at mere udfordrende opgaver kræver udvidet træningstid og skal introduceres tidligere i læreprocessen. Disse udfordrende opgaver indebærer komplekse data-fordelinger, der afviger væsentligt fra output-videoen, og kræver, at modellen har tilstrækkelig kapacitet til at præcist fange og repræsentere dem.

‘Omvrendt kan introduktion af lettere opgaver for tidligt føre til, at modellen prioriterer at lære dem først, da de giver mere umiddelbar optimerings-tilbagekobling, hvilket hindrer konvergens af mere udfordrende opgaver.’

En illustration af data-trænings-ordenen, som forskerne har valgt, med rød, der angiver større data-volumen.

Efter den første for-træning fulgte en sidste fin-justerings-fase, der yderligere forbedrede modellen til at forbedre visuel kvalitet og bevægelses-dynamik. Dette fulgte derefter træningen af en standard diffusion-ramme*:

For at effektivt evaluere FullDiT og give en retfærdig sammenligning med eksisterende metoder, og i mangelen på tilgængelighed af nogen anden passende benchmark, introducerede forfatterne FullBench, en kurateret benchmark-samling bestående af 1.400 distinkte test-tilfælde.

En data-eksplorer-forekomst for den nye FullBench-benchmark. Kilde: https://huggingface.co/datasets/KwaiVGI/FullBench

Hver data-punkt giver grund-sandheds-annotationer for forskellige betingelses-signaler, herunder kamera-bevægelse, identitet og dybde.

Metrikker

Forfatterne evaluerede FullDiT ved hjælp af ti metrikker, der dækker fem hoved-aspekter af præstation: tekst-alignment, kamera-kontrol, identitet-lighed, dybde-nøjagtighed og generel video-kvalitet.

Tekst-alignment blev målt med CLIP-lighed, mens kamera-kontrol blev vurderet gennem rotation-fejl (RotErr), translation-fejl (TransErr) og kamera-bevægelses-konsistens (CamMC), følgende tilgangen i CamI2V (i CameraCtrl-projektet).

Identitet-lighed blev vurderet ved hjælp af DINO-I og CLIP-I, og dybde-kontrol-nøjagtighed blev kvantificeret ved hjælp af Gennemsnitlig absolut fejl (MAE).

Video-kvalitet blev vurderet med tre metrikker fra MiraData: ramme-niveau CLIP-lighed for glatness; optisk flow-baseret bevægelses-afstand for dynamik; og LAION-Aesthetic-scores for visuel appel.

Træning

Forfatterne trænede FullDiT ved hjælp af en intern (ikke-offentliggjort) tekst-til-video diffusion-model, der indeholdt omtrent en milliard parametre. De valgte bevidst en beskeden parameter-størrelse for at fastholde retfærdighed i sammenligninger med tidligere metoder og sikre reproducerbarhed.

Da trænings-videoer forskellige i længde og opløsning, standardiserede forfatterne hver batch ved at ændre størrelsen og udfylde videoer til en fælles opløsning, sampelde 77 rammer per sekvens og anvendte anvendt opmærksomhed og tab-masker for at optimere træningseffektiviteten.

Adam-optimerings-algoritmen blev anvendt med en lærings-rate på 1×10⁻⁵ på tværs af en samling af 64 NVIDIA H800-GPU’er, for en samlet total på 5.120 GB VRAM (bemærk, at i entusiast-syntese-samfund er 24GB på en RTX 3090 stadig betragtes som en luksuriøs standard).

Modellen blev trænet i omkring 32.000 skridt, der inkorporerede op til tre identiteter per video, sammen med 20 rammer af kamera-betingelser og 21 rammer af dybde-betingelser, begge jævnt samplet fra de samlede 77 rammer.

For slut-brug genererede modellen videoer i en opløsning på 384×672 pixel (omkring fem sekunder ved 15 rammer per sekund) med 50 diffusion-slut-brugsskridt og en klassifikator-fri vejledningsskala på fem.

Tidligere metoder

For kamera-til-video-evaluering sammenlignede forfatterne FullDiT med MotionCtrl, CameraCtrl og CamI2V, med alle modeller trænet ved hjælp af RealEstate10K-datasættet for at sikre konsistens og retfærdighed.

I identitet-betinget generation blev modellen sammenlignet med 1B-parameter ConceptMaster-modellen, der anvendte samme trænings-data og arkitektur.

For dybde-til-video-opgaver blev sammenligninger gjort med Ctrl-Adapter og ControlVideo.

Kvantitative resultater for enkelt-opgave video-generering. FullDiT blev sammenlignet med MotionCtrl, CameraCtrl og CamI2V for kamera-til-video-generering; ConceptMaster (1B-parameter-version) for identitet-til-video; og Ctrl-Adapter og ControlVideo for dybde-til-video. Alle modeller blev vurderet ved hjælp af deres standard-indstillinger. For konsistens blev 16 rammer ensartet samplet fra hver metode, svarende til output-længden af tidligere modeller.

Resultaterne indikerer, at FullDiT, på trods af at den håndterer multiple betingelses-signaler samtidigt, opnåede state-of-the-art-præstation i metrikker relateret til tekst, kamera-bevægelse, identitet og dybde-kontrol.

I samlede kvalitets-metrikker udgjorde systemet generelt bedre end andre metoder, selv om glatness var lidt lavere end ConceptMasters. Her kommenterer forfatterne:

‘FullDiTs glatness er lidt lavere end ConceptMasters, da beregningen af glatness er baseret på CLIP-lighed mellem pågældende rammer. Da FullDiT viser betydeligt større dynamik i forhold til ConceptMaster, påvirker glatness-metrikken de store variationer mellem pågældende rammer.’

‘For æstetik-scoren, da vurderings-modellen favoriserer billeder i maleri-stil, og ControlVideo typisk genererer videoer i denne stil, opnår den en høj score i æstetik.’

Med hensyn til den kvalitative sammenligning kan det være bedst at henviser til eksemplerne på FullDiT-projekt-sitet, da PDF-eksemplerne uundgæeligt er statiske (og også for store til at fuldt ud reproduceres her).

Den første sektion af de kvalitative resultater i PDF’en. Henvis venligst til kilde-artiklen for yderligere eksempler, der er for omfattende til at reproduceres her.

Forfatterne kommenterer:

‘FullDiT demonstrerer overlegen identitets-bevarelse og genererer videoer med bedre dynamik og visuel kvalitet i forhold til [ConceptMaster]. Da ConceptMaster og FullDiT er trænet på samme grundlæggende model, understreger dette effektiviteten af betingelses-injektion med fuld opmærksomhed.’

‘…Resultaterne demonstrerer den overlegne kontrollabilitet og genererings-kvalitet af FullDiT i forhold til eksisterende dybde-til-video og kamera-til-video-metoder.’

En sektion af PDF’ens eksempler på FullDiTs output med multiple signaler. Henvis venligst til kilde-artiklen og projekt-sitet for yderligere eksempler.

Konklusion

Selv om FullDiT er et spændende skridt i retning af en mere fuldt-udviklet type video-grundlæggende model, kan man ikke lade være med at undre sig over, om efterspørgslen efter ControlNet-lignende faciliteter vil retfærdiggøre implementering af disse funktioner i stor skala, i hvert fald for FOSS-projekter, der ville have svært ved at opnå den enorme mængde GPU-beregning, der er nødvendig, uden kommerciel støtte.

Hovedudfordringen er, at brug af systemer som f.eks. Dybde og Pose generelt kræver ikke-trivielle bekendtskab med relativt komplekse bruger-grænseflader som f.eks. ComfyUI. Derfor synes det, at en funktionsdygtig FOSS-model af denne type er mest sandsynligt at blive udviklet af en gruppe mindre VFX-virksomheder, der mangler pengene (eller viljen, da sådanne systemer hurtigt bliver forældede af model-opgraderinger) til at kuraterer og træne en sådan model bag lukkede døre.

På den anden side kan API-drevne ‘leje-en-AI’-systemer være motiveret til at udvikle enklere og mere brugervenlige fortolknings-metoder for modeller, i hvilke tilfældigt kontrol-systemer er trænet direkte.

Klik for at afspille. Dybde+Tekst-kontrol påført en video-generering ved hjælp af FullDiT.

* Forfatterne specificerer ikke nogen kendt grundlæggende model (f.eks. SDXL osv.)

Først publiceret torsdag, 27. marts 2025