Mot Total Kontroll i AI-Generering av Video

Video-stiftelsesmodeller som Hunyuan og Wan 2.1, selv om de er kraftige, tilbyr ikke brukerne den type granulerte kontroll som film- og TV-produksjon (spesielt VFX-produksjon) krever.

I profesjonelle visuelle effektstudioer brukes åpne kildemodeller som disse, sammen med tidligere bildebaserte (i stedet for video) modeller som Stable Diffusion, Kandinsky og Flux, vanligvis sammen med en rekke støttesystemer som tilpasser deres råutdata for å møte bestemte kreative behov. Når en regissør sier: “Det ser bra ut, men kan vi gjøre det litt mer [n]?” kan du ikke svare ved å si at modellen ikke er presis nok til å håndtere slike forespørsler.

I stedet vil et AI-VFX-team bruke en rekke tradisjonelle CGI og komposisjonsteknikker, i kombinasjon med tilpassede prosedyrer og arbeidsflyter utviklet over tid, for å prøve å skyve grensene for video-syntese litt lengre.

Så, i analogi, er en stiftelsesvideo-modell mye lik en standardinstallasjon av en nettleser som Chrome; den gjør mye ut av boksen, men hvis du ønsker at den skal tilpasse seg dine behov, i stedet for omvendt, kommer du til å trenge noen tillegg.

Kontrollfreaker

I verden av diffusjonsbasert bilde-syntese er det viktigste slike tredjeparts-system ControlNet.

ControlNet er en teknikk for å legge til strukturert kontroll til diffusjonsbaserte generative modeller, som tillater brukerne å guide bilde- eller video-generering med ekstra innputt som kant-kart, dybde-kart eller posisjonsinformasjon.

ControlNets ulike metoder tillater dybde>bilde (øverste rad), semantisk segmentering>bilde (nederste venstre) og pose-ledet bilde-generering av mennesker og dyr (nederste venstre).

I stedet for å bare stole på tekst-forespørsler, introduserer ControlNet separate neurale nettverks-grener, eller adaptere, som prosesserer disse kondisjonssignalene samtidig som de bevare modellens generative evner.

Dette muliggjør finjusterte utdata som holder seg nærmere brukerens spesifikasjoner, noe som gjør det spesielt nyttig i applikasjoner hvor presis komposisjon, struktur eller bevegelseskontroll er nødvendig:

Med en ledende pose, kan en rekke nøyaktige utdata-typer oppnås via ControlNet. Kilde: https://arxiv.org/pdf/2302.05543

Men, adapter-baserte rammer av denne typen opererer eksternt på en mengde neurale prosesser som er svært intern-fokusert. Disse tilnærmingene har flere ulemper.

Først og fremst er adaptere trenet uavhengig, noe som fører til gren-konflikter når flere adaptere kombineres, noe som kan medføre redusert genereringskvalitet.

For det andre introduserer de parameter-redundans, noe som krever ekstra beregning og minne for hver adapter, noe som gjør skalerbarheten ineffektiv.

Tredje, og til tross for deres fleksibilitet, produserer adaptere ofte under-optimale resultater sammenlignet med modeller som er fullstendig finjustert for multi-kondisjon generering. Disse problemene gjør adapter-baserte metoder mindre effektive for oppgaver som krever sømløs integrasjon av flere kontroll-signaler.

Ideal sett burde kapasitetene til ControlNet være trenet nativt inn i modellen, på en modulær måte som kunne akkommodere senere og mye-ventede åpenbare innovasjoner som samtidig video/lyd-generering, eller native lip-sync-kapasiteter (for eksternt lyd).

Så som det står, representerer hver ekstra funksjonalitet enten en post-produksjonsoppgave eller en ikke-nativ prosedyre som må navigere gjennom de tett-bundne og sensitive vektene til hvilken som helst stiftelsesmodell det opererer på.

FullDiT

Inn i denne stillstanden kommer et nytt tilbud fra Kina, som foreslår et system hvor ControlNet-liknende tiltak er innbygget direkte i en generativ video-modell under treningstiden, i stedet for å være en ettertanke.

Fra den nye artikkelen: FullDiT-tilnærmingen kan inkorporere identitets-pålegg, dybde og kamera-bevegelse i en naturlig generering, og kan sammenkalle enhver kombinasjon av disse på en gang. Kilde: https://arxiv.org/pdf/2503.19907

Tittelen FullDiT er det nye tilbudet, som fusjonerer multi-oppgave-betingelser som identitets-overføring, dybde-kartlegging og kamera-bevegelse inn i en integrert del av en trenet generativ video-modell, for hvilken forfatterne har produsert en prototype-trenet modell, og tilhørende video-klipp på et prosjekt-side.

I eksemplet under ser vi genereringer som inkorporerer kamera-bevegelse, identitets-informasjon og tekst-informasjon (dvs. ledende bruker-tekst-forespørsler):

Klikk for å spille. Eksempler på ControlNet-liknende bruker-pålegg med bare en naturlig trenet stiftelsesmodell. Kilde: https://fulldit.github.io/

Det bør noteres at forfatterne ikke foreslår deres eksperimentelle trenede modell som en funksjonell stiftelsesmodell, men heller som et bevis på naturlig tekst-til-video (T2V) og bilde-til-video (I2V) modeller som tilbyr brukerne mer kontroll enn bare et bilde-forespørsel eller en tekst-forespørsel.

Siden det ikke finnes lignende modeller av denne typen ennå, skapte forskerne en ny benchmark-tittel FullBench, for evaluering av multi-oppgave-videoer, og hevder topp-kvalitet i lik-for-lik-tester de utviklet mot tidligere tilnærminger. Men, siden FullBench ble designet av forfatterne selv, er dens objektivitet ikke testet, og dens datasett på 1 400 tilfeller kan være for begrenset for videre konklusjoner.

Kanskje det mest interessante aspektet ved arkitekturen artikkelen presenterer er dens potensiale for å inkorporere nye typer kontroll. Forfatterne uttaler:

‘I denne artikkelen utforsker vi bare kontroll-betingelser for kamera, identiteter og dybde-informasjon. Vi undersøkte ikke andre betingelser og modaliteter som lyd, tale, punkt-skymodeller, objekt-rammer, optisk flyt, osv. Selv om designet av FullDiT kan sammenføye andre modaliteter med minimal arkitektur-modifikasjon, er det fortsatt et viktig spørsmål hvordan man raskt og kostnadseffektivt kan tilpasse eksisterende modeller til nye betingelser og modaliteter.’

Selv om forskerne presenterer FullDiT som et skritt fremover i multi-oppgave-video-generering, bør det betraktes som at dette nye arbeidet bygger på eksisterende arkitekturer i stedet for å introdusere et fundamentalt nytt paradigme.

Likevel står FullDiT for øyeblikket alene (så langt jeg vet) som en video-stiftelsesmodell med ‘hardkodet’ ControlNet-liknende fasiliteter – og det er godt å se at den foreslåtte arkitekturen kan akkommodere senere innovasjoner også.

Klikk for å spille. Eksempler på bruker-kontrollerte kamera-bevegelser, fra prosjekt-siden.

Den nye artikkelen er tittelen FullDiT: Multi-oppave-video-generativ stiftelsesmodell med full oppmerksomhet, og kommer fra ni forskere over Kuaishou Technology og The Chinese University of Hong Kong. Prosjekt-siden er her og den nye benchmark-dataen er på Hugging Face.

Metode

Forfatterne hevder at FullDiTs enhetlige oppmerksomhets-mekanisme muliggjør sterkere tverr-modalt representasjons-læring ved å fange både romlige og tidsmessige relasjoner over betingelser:

Ifølge den nye artikkelen integrerer FullDiT flere innputt-betingelser gjennom full selv-oppmerksomhet, og konverterer dem til en enhetlig sekvens. I motsetning til adapter-baserte modeller (venstre) bruker FullDiT separate moduler for hver innputt, noe som fører til redundans, konflikter og svakere ytelse.

I motsetning til adapter-baserte oppsett som prosesserer hver innputt-strøm separat, unngår denne felles oppmerksomhets-strukturen gren-konflikter og reduserer parameter-overhead. De hevder også at arkitekturen kan skaleres til nye innputt-typer uten større redesign – og at modell-skjemaet viser tegn på å generalisere til betingelses-kombinasjoner som ikke ble sett under trening, som å koble kamera-bevegelse med karakter-identitet.

Klikk for å spille. Eksempler på identitets-generering fra prosjekt-siden.

I FullDiTs arkitektur konverteres alle kondisjons-innputt – som tekst, kamera-bevegelse, identitet og dybde – først til en enhetlig token-format. Disse tokenene konkateneres deretter til en enkelt lang sekvens, som prosesseres gjennom en stabel transformer-lag med full selv-oppmerksomhet. Dette tilnærmingen følger tidligere arbeid som Open-Sora Plan og Movie Gen.

Dette designet muliggjør at modellen kan lære tidsmessige og romlige relasjoner felles over alle betingelser. Hver transformer-blokk opererer over hele sekvensen, og muliggjør dynamiske interaksjoner mellom modaliteter uten å avhenge av separate moduler for hver innputt – og, som vi har notert, er arkitekturen designet for å være utvidbar, noe som gjør det mye enklere å inkorporere ekstra kontroll-signaler i fremtiden, uten større struktur-endringer.

Kraften av tre

FullDiT konverterer hver kontroll-signal til et standardisert token-format, så alle betingelser kan prosesseres sammen i en enhetlig oppmerksomhets-ramme. For kamera-bevegelse koder modellen en sekvens av eksterne parametre – som posisjon og orientering – for hver ramme. Disse parameterne er tidstemplet og projisert inn i innlejnings-vektorer som reflekterer den tidsmessige naturen til signalet.

Identitets-informasjon behandles annerledes, da den er inneboende romlig i stedet for tidsmessig. Modellen bruker identitets-kart som indikerer hvilke karakterer som er til stede i hvilke deler av hver ramme. Disse kartene deles inn i patcher, med hver patch projisert inn i en innlejning som fanger romlige identitets-kuer, og tillater modellen å assosiere bestemte regioner av rammene med bestemte enheter.

Dybde er en romlig-tidsmessig signal, og modellen håndterer den ved å dele dybde-videoer inn i 3D-patcher som omfatter både rom og tid. Disse patchene innlejres deretter på en måte som bevare deres struktur over rammene.

Når de er innlevert, konkateneres alle disse betingelses-tokenene (kamera, identitet og dybde) til en enkelt lang sekvens, og tillater FullDiT å prosessere dem sammen med full selv-oppmerksomhet. Denne felles representasjonen muliggjør at modellen kan lære interaksjoner over modaliteter og over tid uten å avhenge av isolerte prosesserings-strømmer.

Data og tester

FullDiTs treningstilnærming avhengig av selektivt annoterte datasett tilpasset hver kondisjonstype, i stedet for å kreve at alle betingelser var til stede samtidig.

For tekst-betingelser fulgte initiativet den strukturerte annoterings-tilnærmingen i MiraData-prosjektet.

Video-samling og annoterings-pipeline fra MiraData-prosjektet. Kilde: https://arxiv.org/pdf/2407.06358

For kamera-bevegelse var RealEstate10K-datasettet hoved-datakilden, på grunn av dets høykvalitets grunn-sannhets-annoteringer av kamera-parametre.

Men, forfatterne observerte at trening eksklusivt på statisk-scene kamera-datasett som RealEstate10K tenderte til å redusere dynamisk objekt- og menneske-bevegelser i genererte videoer. For å motvirke dette, utførte de ytterligere fin-justering med interne datasett som inkluderte mer dynamiske kamera-bevegelser.

Identitets-annoteringer ble generert ved hjelp av pipeline-utviklet for ConceptMaster-prosjektet, som tillot effektiv filtrering og uttrekk av fin-granulert identitets-informasjon.

ConceptMaster-rammen er designet for å håndtere identitets-dekoblings-problemer samtidig som den bevare konsept-trofasthet i tilpassede videoer. Kilde: https://arxiv.org/pdf/2501.04698

Dybde-annoteringer ble hentet fra Panda-70M-datasettet ved hjelp av Depth Anything.

Optimisering gjennom data-orden

Forfatterne implementerte også en progressiv treningsskjema, hvor de introduserte mer utfordrende betingelser tidligere i treningen for å sikre at modellen tilegnet seg robuste representasjoner før enklere oppgaver ble lagt til. Treningsskjemaet gikk fra tekst til kamera-betingelser, deretter identiteter, og til slutt dybde, med enklere oppgaver generelt introdusert senere og med færre eksempler.

Forfatterne understreker verdien av å ordne arbeidsbelastningen på denne måten:

‘Under for-trening-fasen observerte vi at mer utfordrende oppgaver krever lengre treningstid og bør introduseres tidligere i læreprosessen. Disse utfordrende oppgavene innebærer komplekse data-distribusjoner som avviker betydelig fra utgangs-videoen, og krever at modellen har tilstrekkelig kapasitet til å nøyaktig fange og representere dem.

‘Omvertningsvis, å introdusere enklere oppgaver for tidlig kan føre til at modellen prioriterer å lære dem først, ettersom de gir mer umiddelbar optimerings-tilbakemelding, noe som kan hindre konvergens av mer utfordrende oppgaver.’

En illustrasjon av data-treningsskjemaet som forskerne tok i bruk, med rød farge som indikerer større data-volum.

Efter initial for-trening ble en siste fin-justeringsskritt ytterligere forbedret modellen for å forbedre visuell kvalitet og bevegelses-dynamikk. Deretter fulgte treningen den til en standard diffusjons-ramme*: støy lagt til video-latenter, og modellen lærte å forutsi og fjerne den, ved hjelp av innlejrede betingelses-token som veiledning.

For å effektivt evaluere FullDiT og gi en rettferdig sammenligning mot eksisterende metoder, og i fravær av noen annen passende benchmark, introduserte forfatterne FullBench, en kurert benchmark-suite bestående av 1 400 distinkte test-tilfeller.

En data-utforsker-eksempel for den nye FullBench-benchmarken. Kilde: https://huggingface.co/datasets/KwaiVGI/FullBench

Hver data-punkt ga grunn-sannhets-annoteringer for ulike kondisjons-signaler, inkludert kamera-bevegelse, identitet og dybde.

Mål

Forfatterne evaluerte FullDiT ved hjelp av ti mål som dekket fem hoved-aspekter av ytelse: tekst-justering, kamera-kontroll, identitet-lignhet, dybde-nøyaktighet og generell video-kvalitet.

Tekst-justering ble målt ved hjelp av CLIP-lignhet, mens kamera-kontroll ble vurdert gjennom rotasjons-feil (RotErr), translasjons-feil (TransErr) og kamera-bevegelses-konsistens (CamMC), i henhold til tilnærmingen i CamI2V (i CameraCtrl-prosjektet).

Identitet-lignhet ble evaluert ved hjelp av DINO-I og CLIP-I, og dybde-kontroll-nøyaktighet ble kvantifisert ved hjelp av Gjennomsnittlig absolutt feil (MAE).

Video-kvalitet ble vurdert med tre mål fra MiraData: ramme-nivå CLIP-lignhet for glatthet; optisk flyt-basert bevegelses-avstand for dynamikk; og LAION-Aesthetics-poeng for visuell tiltrekning.

Trening

Forfatterne trenet FullDiT ved hjelp av en intern (uavdekt) tekst-til-video diffusjons-modell som inneholdt omtrent en milliard parametre. De valgte med vilje en beskjeden parameter-størrelse for å opprettholde rettferdighet i sammenligninger med tidligere metoder og sikre reproducerbarhet.

Siden trening-videoer varierte i lengde og oppløsning, standardiserte forfatterne hver batch ved å endre størrelse og fylle videoer til en felles oppløsning, sampet 77 rammene per sekvens, og brukte anvendt oppmerksomhet og tap-masker for å optimalisere treningseffektiviteten.

Adam-optimalisatoren ble brukt med en læringsrate på 1×10⁻⁵ over en kluster av 64 NVIDIA H800-GPU-er, for en kombinert total på 5 120 GB VRAM (betenk at i entusiast-syntese-samfunn er 24 GB på en RTX 3090 fortsatt betraktet som en luksus-standard).

Modellen ble trenet i omtrent 32 000 skritt, og inkorporerte opptil tre identiteter per video, sammen med 20 rammene av kamera-betingelser og 21 rammene av dybde-betingelser, begge jevnt sampet fra de totale 77 rammenene.

Ved inferens genererte modellen videoer i en oppløsning på 384×672 piksler (omtrent fem sekunder ved 15 rammene per sekund) med 50 diffusjons-inferens-skritt og en klassifikator-fri veiledningsskala på fem.

Tidligere metoder

For kamera-til-video-evaluering sammenlignet forfatterne FullDiT mot MotionCtrl, CameraCtrl og CamI2V, med alle modeller trenet ved hjelp av RealEstate10K-datasettet for å sikre konsistens og rettferdighet.

I identitet-betinget generering ble modellen sammenlignet mot 1B-parameter ConceptMaster-modellen, ved hjelp av samme trening-data og arkitektur.

For dybde-til-video-oppgaver ble sammenligninger gjort med Ctrl-Adapter og ControlVideo.

Kvantitative resultater for enkelt-oppgave-video-generering. FullDiT ble sammenlignet med MotionCtrl, CameraCtrl og CamI2V for kamera-til-video-generering; ConceptMaster (1B-parameter-versjon) for identitet-til-video; og Ctrl-Adapter og ControlVideo for dybde-til-video. Alle modeller ble evaluert ved hjelp av deres standard-innstillinger. For konsistens ble 16 rammene jevnt sampet fra hver metode, og matchet utgangs-lengden til tidligere modeller.

Resultatene indikerer at FullDiT, til tross for å håndtere flere kondisjons-signaler samtidig, oppnådde topp-kvalitet i mål relatert til tekst, kamera-bevegelse, identitet og dybde-kontroll.

I generell kvalitets-mål generelt overgikk systemet andre metoder, selv om glattheten var litt lavere enn ConceptMasters. Her kommenterer forfatterne:

‘FullDiTs glatthet er litt lavere enn ConceptMasters, ettersom beregningen av glatthet er basert på CLIP-lignhet mellom påfølgende rammene. Ettersom FullDiT viser betydelig større dynamikk sammenlignet med ConceptMaster, påvirkes glatt-hets-målet av de store variasjonene mellom påfølgende rammene.

‘For estetikk-poeng, ettersom vurderings-modellen favoriserer bilder i maleri-stil, og ControlVideo vanligvis genererer videoer i denne stilen, oppnår den høye poeng i estetikk.’

Angående den kvalitative sammenligningen, kan det være bedre å henvise til eksempel-videoene på FullDiT-prosjekt-siden, ettersom PDF-eksemplene uunngåelig er statiske (og også for store til å gjengi her helt).

Første delen av de gjengitte kvalitative resultater i PDF-en. Vennligst se kilde-artikkelen for ytterligere eksempler, som er for omfattende til å gjengi her.

Forfatterne kommenterer:

‘FullDiT demonstrerer overlegen identitet-bevarelse og genererer videoer med bedre dynamikk og visuell kvalitet sammenlignet med [ConceptMaster]. Ettersom ConceptMaster og FullDiT er trenet på samme bakgrunn, understreker dette effektiviteten av betingelses-injeksjon med full oppmerksomhet.

‘…De andre resultater demonstrerer den overlegne kontrollen og genererings-kvaliteten til FullDiT sammenlignet med eksisterende dybde-til-video og kamera-til-video-metoder.’

En del av PDF-eksemplene på FullDiTs utgang med flere signaler. Vennligst se kilde-artikkelen og prosjekt-siden for ytterligere eksempler.

Konklusjon

Selv om FullDiT er et spennende forsøk på en mer fullstendig type video-stiftelsesmodell, kan en ikke hjelpe å undre om etterspørselen etter ControlNet-liknende fasiliteter noen gang vil rettferdiggjøre implementering av slike funksjoner i stor skala, særlig for FOSS-prosjekter, som ville slite med å skaffe den enorme mengden GPU-prosesseringskraft som er nødvendig, uten kommersiell støtte.

Hoved-utfordringen er at bruk av systemer som Dybde og Posisjon vanligvis krever ikke-triviell bekjentskap med relativt komplekse brukergrensesnitt som ComfyUI. Derfor ser det ut til at en funksjonell FOSS-modell av denne typen er mest sannsynlig å bli utviklet av en gruppe mindre VFX-selskaper som mangler penger (eller viljen, ettersom slike systemer raskt blir foreldet av modell-oppgraderinger) til å kuratere og trene en slik modell bak lukkede dører.

På den andre siden kan API-drevne ‘leie-en-AI’-systemer være godt motivert til å utvikle enklere og mer brukervennlige tolkende metoder for modeller som har fått innbygget kontroll-systemer.

Klikk for å spille. Dybde+Tekst-kontroller påført en video-generering ved hjelp av FullDiT.

* Forfatterne spesifiserer ikke noen kjent base-modell (f.eks. SDXL, osv.)

Først publisert torsdag, 27. mars 2025