Mot total kontroll i AI-videogenerering

Video foundation-modeller som Hunyuan och Wan 2.1 är kraftfulla, men de erbjuder inte användarna den typen av granulär kontroll som film- och TV-produktion (särskilt VFX-produktion) kräver.

I professionella visuella effektsstudior används öppen källkod-modeller som dessa, tillsammans med tidigare bildbaserade (i stället för video) modeller som Stable Diffusion, Kandinsky och Flux, vanligtvis tillsammans med en rad stödverktyg som anpassar deras råutdata för att möta specifika kreativa behov. När en regissör säger: “Det ser bra ut, men kan vi göra det lite mer [n]?” kan du inte svara genom att säga att modellen inte är tillräckligt exakt för att hantera sådana förfrågningar.

I stället kommer en AI-VFX-grupp att använda en rad traditionella CGI och kompositionstekniker, i kombination med anpassade procedurer och arbetsflöden som utvecklats över tid, för att försöka driva gränserna för videosyntes lite längre.

Så, i analogi, är en foundation video-modell mycket lik en standardinstallation av en webbläsare som Chrome; den gör mycket direkt, men om du vill att den ska anpassa sig till dina behov, snarare än tvärtom, kommer du att behöva några tillägg.

Kontrollfreaks

I världen av diffusion-baserad bildsyntes är den viktigaste tredjeparts-systemet ControlNet.

ControlNet är en teknik för att lägga till strukturerad kontroll till diffusion-baserade generativa modeller, vilket möjliggör för användare att styra bild- eller videogenerering med ytterligare indata som kanter, djup eller poseinformation.

ControlNets olika metoder möjliggör djup>bild (översta raden), semantisk segmentering>bild (nedre vänstra) och pose-styrd bildgenerering av människor och djur (nedre vänstra).

I stället för att förlita sig enbart på textprompts introducerar ControlNet separata neurala nätverksgrenar, eller adaptrar, som bearbetar dessa villkorsignalerna samtidigt som de bevarar basmodellens generativa förmågor.

Detta möjliggör finjusterade utdata som följer användarspecifikationerna mer exakt, vilket gör det särskilt användbart i tillämpningar där exakt komposition, struktur eller rörelsekontroll krävs:

Med en styrd pose kan olika typer av precisa utdata erhållas via ControlNet. Källa: https://arxiv.org/pdf/2302.05543

Men adapter-baserade ramverk av detta slag fungerar externt på en uppsättning neurala processer som är mycket inriktade internt. Dessa tillvägagångssätt har flera nackdelar.

För det första tränas adaptrarna oberoende, vilket leder till grenkonflikter när flera adaptrar kombineras, vilket kan medföra försämrad genereringskvalitet.

För det andra introducerar de parameteröverflöd, vilket kräver extra beräkning och minne för varje adapter, vilket gör skalning ineffektiv.

För det tredje producerar adaptrar ofta underoptimala resultat jämfört med modeller som är fullständigt finjusterade för multi-villkorsgenerering. Dessa problem gör adapter-baserade metoder mindre effektiva för uppgifter som kräver sömlös integration av flera kontrollsignaler.

Idealiskt sett skulle ControlNets förmågor tränas nativt in i modellen, på ett modulärt sätt som kunde anpassa sig till senare och mycket efterlängtade uppenbara innovationer som samtidig video/ljudgenerering eller naturliga läppsynkroniseringsförmågor (för extern ljud).

Så som det är nu representerar varje extra funktion antingen en efterproduktion eller en icke-nativ procedur som måste navigera i den tätt bundna och känsliga vikten av vilken grundmodell den än verkar på.

FullDiT

In i denna dödlägen kommer ett nytt erbjudande från Kina, som förespråkar ett system där ControlNet-liknande åtgärder är inbyggda direkt i en generativ videomodell vid tränningstiden, snarare än att vara en eftertanke.

Från den nya artikeln: FullDiT-ansatsen kan införliva identitet, djup och kamerarörelse i en nativ generering och kan framkalla vilken kombination av dessa som helst på en gång. Källa: https://arxiv.org/pdf/2503.19907

Den nya ansatsen, som kallas FullDiT, smälter samman flera uppgifter som identitetstransfer, djupmappning och kamerarörelse i en integrerad del av en tränad generativ videomodell, för vilken författarna har producerat en prototyptränad modell och tillhörande videoklipp på en projektsida.

I exemplet nedan ser vi generationer som införlivar kamerarörelse, identitetsinformation och textinformation (dvs. styrd användartextprompt):

Klicka för att spela. Exempel på ControlNet-liknande användarimposition med endast en nativ tränad grundmodell. Källa: https://fulldit.github.io/

Det bör noteras att författarna inte föreslår sin experimentella tränade modell som en fungerande grundmodell, utan snarare som ett bevis för nativ text-till-video (T2V) och bild-till-video (I2V) modeller som erbjuder användarna mer kontroll än bara en bildprompt eller en textprompt.

Eftersom det inte finns några liknande modeller av detta slag ännu, skapade forskarna en ny benchmark som kallas FullBench, för utvärdering av flera uppgifter, och hävdar topppresterande prestanda i liknande tester de utvecklat mot tidigare tillvägagångssätt. Men eftersom FullBench utvecklades av författarna själva, är dess objektivitet outestad och dess dataset på 1 400 fall kan vara för begränsat för bredare slutsatser.

Kanske den mest intressanta aspekten av arkitekturen som artikeln presenterar är dess potential att införliva nya typer av kontroll. Författarna hävdar:

‘I detta arbete undersöker vi endast kontrollvillkor för kamera, identitet och djup. Vi undersökte inte andra villkor och modaliteter som ljud, tal, punktmoln, objektramar, optisk flöde etc. Även om FullDiT-utformningen kan smidigt integrera andra modaliteter med minimal arkitekturmodifiering, är det fortfarande en viktig fråga som kräver ytterligare undersökning hur man snabbt och kostnadseffektivt kan anpassa befintliga modeller till nya villkor och modaliteter.’

Även om forskarna presenterar FullDiT som ett steg framåt i flera uppgifter, bör det övervägas att detta nya arbete bygger på befintliga arkitekturer snarare än att introducera ett grundläggande nytt paradigm.

Ändå står FullDiT för närvarande ensam (så vitt jag vet) som en videogrundmodell med ‘inbyggda’ ControlNet-liknande funktioner – och det är bra att se att den föreslagna arkitekturen kan anpassa sig till senare innovationer också.

Klicka för att spela. Exempel på användarstyrda kamerarörelser från projektsidan.

Den nya artikeln heter FullDiT: Multi-Task Video Generative Foundation Model with Full Attention och kommer från nio forskare på Kuaishou Technology och The Chinese University of Hong Kong. Projektsidan är här och den nya benchmarkdatan är på Hugging Face.

Metod

Författarna hävdar att FullDiT:s enhetliga uppmärksamhetsmekanism möjliggör starkare tvärmmodal representationinlärning genom att fånga både rumsliga och tidsmässiga relationer över villkor:

Enligt den nya artikeln integrerar FullDiT flera indatavillkor genom full självuppmärksamhet, vilket omvandlar dem till en enhetlig sekvens. I motsats till adapter-baserade modeller (vänstra) använder de separata moduler för varje indata, vilket leder till redundans, konflikter och svagare prestanda.

Till skillnad från adapter-baserade konfigurationer som bearbetar varje indataström separat, undviker denna delade uppmärksamhetsstruktur grenkonflikter och minskar parameteröverbelastning. De hävdar också att arkitekturen kan skalas till nya indata utan större omkonstruktion – och att modellschemat visar tecken på att generalisera till villkorskombinationer som inte setts under tränning, som att koppla kamerarörelse med karaktäridentitet.

Klicka för att spela. Exempel på identitetsgenerering från projektsidan.

I FullDiT:s arkitektur omvandlas alla villkorsindata – såsom text, kamerarörelse, identitet och djup – först till en enhetlig tokenformat. Dessa token är sedan sammanfogade till en enda lång sekvens, som bearbetas genom en uppsättning transformator-lager med full självuppmärksamhet. Detta tillvägagångssätt följer tidigare arbeten som Open-Sora Plan och Movie Gen.

Denna design möjliggör för modellen att lära sig tidsmässiga och rumsliga relationer gemensamt över alla villkor. Varje transformatorblock opererar över hela sekvensen, vilket möjliggör dynamiska interaktioner mellan modaliteter utan att förlita sig på separata moduler för varje indata – och, som vi har noterat, är arkitekturen utformad för att vara utbyggbar, vilket gör det mycket enklare att införliva ytterligare kontrollsignaler i framtiden, utan större strukturförändringar.

Den trefaldiga kraften

FullDiT omvandlar varje kontrollsignal till ett standardiserat tokenformat så att alla villkor kan bearbetas tillsammans i en enhetlig uppmärksamhetsram. För kamerarörelse kodar modellen en sekvens av extrinsiska parametrar – såsom position och orientering – för varje bildruta. Dessa parametrar är tidsstämplade och projicerade till inbäddningsvektorer som reflekterar den tidsmässiga naturen hos signalen.

Identitetsinformation hanteras annorlunda, eftersom den är rumslig snarare än tidsmässig. Modellen använder identitetskartor som indikerar vilka karaktärer som är närvarande i vilka delar av varje bildruta. Dessa kartor delas in i patchar, med varje patch projicerad till en inbäddning som fångar rumsliga identitetsledtrådar, vilket möjliggör för modellen att associera specifika områden av bildrutan med specifika enheter.

Djup är en rumslig och tidsmässig signal, och modellen hanterar den genom att dela djupvideor i 3D-patchar som omfattar både rum och tid. Dessa patchar är sedan inbäddade på ett sätt som bevarar deras struktur över bildrutor.

När de är inbäddade, är alla dessa villkortoken (kamera, identitet och djup) sammanfogade till en enda lång sekvens, vilket möjliggör för FullDiT att bearbeta dem tillsammans med full självuppmärksamhet. Denna delade representation möjliggör för modellen att lära sig interaktioner över modaliteter och över tid utan att förlita sig på isolerade bearbetningsströmmar.

Data och tester

FullDiT:s träningsansats förlitade sig på selektivt annoterade dataset som anpassats till varje villkorsTyp, snarare än att kräva att alla villkor var närvarande samtidigt.

För textvillkor följde initiativet den strukturerade rubriceringsansatsen som beskrivs i MiraData-projektet.

Videinsamling och annoteringspipeline från MiraData-projektet. Källa: https://arxiv.org/pdf/2407.06358

För kamerarörelse var RealEstate10K-dataset huvudsaklig datakälla, på grund av dess högkvalitativa grundtruth-annoteringar av kameraparametrar.

Men författarna observerade att tränings enbart på statiska scenkameradataset som RealEstate10K tenderade att minska dynamiska föremål och människorörelser i genererade videor. För att motverka detta genomförde de ytterligare finjustering med interna dataset som innehöll mer dynamiska kamerarörelser.

Identitetsannoteringar genererades med hjälp av pipelinen som utvecklats för ConceptMaster-projektet, som möjliggjorde effektiv filtrering och extraktion av fina identitetsinformation.

ConceptMaster-ramverket är utformat för att hantera identitetsavkopplingsproblem samtidigt som det bevarar koncepttrohet i anpassade videor. Källa: https://arxiv.org/pdf/2501.04698

Djupannoteringar erhölls från Panda-70M-dataset med hjälp av Depth Anything.

Optimering genom dataordning

Författarna implementerade också en progressiv träningsplan, där de introducerade mer utmanande villkor tidigare i träningsprocessen för att säkerställa att modellen förvärvade robusta representationer innan enklare uppgifter lades till. Träningsordningen fortsatte från text till kameravillkor, sedan identiteter och slutligen djup, med enklare uppgifter som vanligtvis introducerades senare och med färre exempel.

Författarna betonar värdet av att ordna arbetsbelastningen på detta sätt:

‘Under förträningsfasen observerade vi att mer utmanande uppgifter kräver förlängd tränings tid och bör introduceras tidigare i lärandeprocessen. Dessa utmanande uppgifter involverar komplexa datafördelningar som skiljer sig avsevärt från utdata-videon, vilket kräver att modellen besitter tillräcklig kapacitet för att exakt fånga och representera dem.

‘Omvänt kan introduktion av enklare uppgifter för tidigt leda till att modellen prioriterar att lära sig dem först, eftersom de ger mer omedelbar optimeringsåterkoppling, vilket hindrar konvergens av mer utmanande uppgifter.’

En illustration av dataordningen som forskarna antog, med röd som indikerar större datavolym.

Efter initial förträning följde en slutlig finjusteringsfas som ytterligare förbättrade modellen för att förbättra visuell kvalitet och rörelsedynamik. Därefter följde träningsprocessen den för en standard diffusion-ramverk*: brus tillfört till video-latenter, och modellen lärde sig att förutsäga och ta bort det, med hjälp av de inbäddade villkortokena som vägledning.

För att effektivt utvärdera FullDiT och ge en rättvis jämförelse med befintliga metoder, och i avsaknad av tillgänglighet av någon annan lämplig benchmark, introducerade författarna FullBench, en kuraterad benchmark-svit bestående av 1 400 distinkta testfall.

En datautforskare-instans för den nya FullBench-benchmarken. Källa: https://huggingface.co/datasets/KwaiVGI/FullBench

Varje datapunkt tillhandahöll grundtruth-annoteringar för olika villkorsignal, inklusive kamerarörelse, identitet och djup.

Mätvärden

Författarna utvärderade FullDiT med hjälp av tio mätvärden som täcker fem huvudaspekter av prestanda: textjustering, kamerakontroll, identitetssimilaritet, djupprecision och allmän videokvalitet.

Textjustering mättes med hjälp av CLIP-similaritet, medan kamerakontroll bedömdes genom rotationsfel (RotErr), översättningsfel (TransErr) och kamerarörelsekonsekvens (CamMC), enligt tillvägagångssättet i CamI2V (i CameraCtrl-projektet).

Identitetssimilaritet utvärderades med hjälp av DINO-I och CLIP-I, och djupkontrollprecision kvantifierades med hjälp av Medelabsolut fel (MAE).

Videokvalitet bedömdes med tre mätvärden från MiraData: bildnivå-CLIP-similaritet för jämnhet; optiskt flödesbaserat rörelseavstånd för dynamik; och LAION-Aestetiska poäng för visuell attraktivitet.

Träning

Författarna tränade FullDiT med hjälp av en intern (outgiven) text-till-video-diffusionsmodell som innehöll cirka en miljard parametrar. De valde medvetet en blygsam parameternivå för att upprätthålla rättvisa jämförelser med tidigare metoder och säkerställa reproducerbarhet.

Eftersom träningsvideor skiljde sig åt i längd och upplösning standardiserade författarna varje batch genom att ändra storlek och fylla i videor till en gemensam upplösning, sampel 77 bildrutor per sekvens och använde tillämpad uppmärksamhet och förlustmasker för att optimera träningsverksamheten.

Adam-optimeraren användes med en inlärningshastighet på 1×10⁻⁵ över en kluster av 64 NVIDIA H800-GPU:er, för en kombinerad total på 5 120 GB VRAM (betrakta att i entusiast-syntes-samhällen är 24 GB på en RTX 3090 fortfarande ett lyxigt standard).

Modellen tränades i cirka 32 000 steg, med upp till tre identiteter per video, tillsammans med 20 bildrutor av kameravillkor och 21 bildrutor av djupvillkor, båda jämnt sampelade från de totalt 77 bildrutorna.

För inferens genererade modellen videor med en upplösning på 384×672 pixlar (cirka fem sekunder vid 15 bildrutor per sekund) med 50 diffusionsinferenssteg och en klassificeringsfri vägledningsskala på fem.

Tidigare metoder

För kamera-till-video-utvärdering jämförde författarna FullDiT med MotionCtrl, CameraCtrl och CamI2V, med alla modeller tränade med hjälp av RealEstate10K-dataset för att säkerställa konsekvens och rättvisa.

I identitetsvillkorsgenerering, eftersom det inte fanns några jämförbara öppna källkodsmodeller med flera identiteter tillgängliga, jämfördes modellen med 1B-parametern ConceptMaster-modell, med samma träningsdata och arkitektur.

För djup-till-video-uppgifter gjordes jämförelser med Ctrl-Adapter och ControlVideo.

Kvantitativa resultat för enkeluppgifts-videogenerering. FullDiT jämfördes med MotionCtrl, CameraCtrl och CamI2V för kamera-till-video-generering; ConceptMaster (1B-parameterversion) för identitet-till-video; och Ctrl-Adapter och ControlVideo för djup-till-video. Alla modeller utvärderades med standardinställningar. För konsekvens sampelades 16 bildrutor enhetligt från varje metod, vilket matchade utmatningslängden för tidigare modeller.

Resultaten visar att FullDiT, trots att den hanterar flera villkorsignal samtidigt, uppnådde topppresterande prestanda i mätvärden relaterade till text, kamerarörelse, identitet och djupkontroll.

I allmänna kvalitetsmätvärden presterade systemet generellt bättre än andra metoder, även om dess jämnhet var något lägre än ConceptMasters. Här kommenterar författarna:

‘FullDiT:s jämnhet är något lägre än ConceptMasters, eftersom beräkningen av jämnhet baseras på CLIP-similaritet mellan intilliggande bildrutor. Eftersom FullDiT visar betydligt större dynamik jämfört med ConceptMaster, påverkas jämnhetsmätvärdet av de stora variationerna mellan intilliggande bildrutor.

‘För estetiska poäng, eftersom betygsmodellen föredrar bilder i målarstil och ControlVideo vanligtvis genererar videor i denna stil, uppnår den en hög poäng i estetik.’

Med hänsyn till den kvalitativa jämförelsen kan det vara bättre att hänvisa till exempelvideorna på FullDiT-projektsidan, eftersom PDF-exemplen är ofrånkomligen statiska (och också för stora för att återges helt här).

Den första delen av de kvalitativa resultaten i PDF:en. Vänligen hänvisa till källartikeln för ytterligare exempel, som är för omfattande för att återges här.

Författarna kommenterar:

‘FullDiT visar överlägsen identitetshantering och genererar videor med bättre dynamik och visuell kvalitet jämfört med [ConceptMaster]. Eftersom ConceptMaster och FullDiT tränas på samma grundmodell, betonar detta effektiviteten av villkorsinjektion med full uppmärksamhet.

‘…De andra resultaten visar den överlägsna kontrollerbarheten och genereringskvaliteten hos FullDiT jämfört med befintliga djup-till-video- och kamera-till-video-metoder.’

En del av PDF-exemplen på FullDiT-utdata med flera signaler. Vänligen hänvisa till källartikeln och projektsidan för ytterligare exempel.

Slutsats

Även om FullDiT är ett spännande steg mot en mer fullständig typ av videogrundmodell, kan man undra om efterfrågan på ControlNet-liknande funktioner kommer att motivera implementering av sådana funktioner i stor skala, åtminstone för FOSS-projekt, som skulle kämpa för att erhålla den enorma mängden GPU-behandling som behövs, utan kommersiellt stöd.

Det primära problemet är att använda system som Depth och Pose vanligtvis kräver icke-trivial bekantskap med relativt komplexa användargränssnitt som ComfyUI. Därför verkar det som att en fungerande FOSS-modell av detta slag sannolikt kommer att utvecklas av en grupp mindre VFX-företag som saknar pengar (eller viljan, med tanke på att sådana system snabbt blir föråldrade av modelluppdateringar) för att kurera och träna en sådan modell bakom stängda dörrar.

Å andra sidan kan API-drivna ‘hyr-en-AI’-system vara väl motiverade att utveckla enklare och mer användarvänliga tolkningsmetoder för modeller där tillhörande kontrollsystem har tränats direkt.

Klicka för att spela. Djup+Text-kontroller pålagda på en videogenerering med FullDiT.

* Författarna specificerar inte någon känd basmodell (t.ex. SDXL etc.)

Publicerad första gången torsdagen den 27 mars 2025