Naar totale controle in AI-video generatie

Video foundation modellen zoals Hunyuan en Wan 2.1, zijn krachtig, maar bieden gebruikers niet het soort granulaire controle dat film- en tv-productie (vooral VFX-productie) vereist.

In professionele visuele effectenstudio’s worden open-source modellen zoals deze, samen met eerdere beeldgebaseerde (in plaats van video) modellen zoals Stable Diffusion, Kandinsky en Flux, gebruikt samen met een reeks ondersteunende tools die hun ruwe uitvoer aanpassen om aan specifieke creatieve behoeften te voldoen. Wanneer een regisseur zegt: “Dat ziet er goed uit, maar kunnen we het een beetje meer [n] maken?” kun je niet antwoorden door te zeggen dat het model niet precies genoeg is om dergelijke verzoeken te verwerken.

In plaats daarvan zal een AI VFX-team een reeks traditionele CGI en compositietechnieken gebruiken, in combinatie met aangepaste procedures en workflows die in de loop van de tijd zijn ontwikkeld, om te proberen de grenzen van video-synthese een beetje verder te pushen.

Door analogie is een foundation video-model veel zoals een standaardinstallatie van een webbrowser zoals Chrome; het doet veel uit de doos, maar als je wilt dat het zich aanpast aan jouw behoeften, in plaats van andersom, ga je enkele plugins nodig hebben.

Control Freaks

In de wereld van diffusiegebaseerde beeldsynthese is het meest belangrijke dergelijke derdepartij systeem ControlNet.

ControlNet is een techniek voor het toevoegen van gestructureerde controle aan diffusiegebaseerde generatieve modellen, waardoor gebruikers beeld- of videogeneratie kunnen leiden met extra invoer zoals randkaarten, dieptekaarten of pose-informatie.

beeld (bovenste rij), semantische segmentatie>beeld (onder links) en pose-geleide beeldgeneratie van mensen en dieren (onder links) toe.” width=”779″ height=”422″ /> ControlNets verschillende methoden laten diepte>beeld (bovenste rij), semantische segmentatie>beeld (onder links) en pose-geleide beeldgeneratie van mensen en dieren (onder links) toe.

In plaats van alleen te vertrouwen op tekstprompts, introduceert ControlNet aparte neurale netwerkvertakkingen, of adapters, die deze conditioneringsignalen verwerken terwijl de generatieve capaciteiten van de basismodel behouden blijven.

Dit maakt fijngestemde uitvoer mogelijk die nauwer aansluit bij de specificaties van de gebruiker, waardoor het bijzonder nuttig is in toepassingen waar precisie-samenstelling, structuur of bewegingscontrole vereist is:

Met een geleidende pose kunnen verschillende nauwkeurige uitvoertypen worden verkregen via ControlNet. Bron: https://arxiv.org/pdf/2302.05543

Er zijn echter enkele nadelen aan adapter-gebaseerde kaders van deze soort.

Ten eerste worden adapters onafhankelijk getraind, wat leidt tot vertakkingconflicten wanneer meerdere adapters worden gecombineerd, wat kan leiden tot een verslechterde generatiekwaliteit.

Ten tweede introduceren ze parameteroverbodigheid, waardoor extra berekening en geheugen nodig zijn voor elke adapter, waardoor schalen inefficiënt wordt.

Ten derde produceren adapters vaak suboptimale resultaten in vergelijking met modellen die volledig fijngestemd zijn voor multi-condition generatie. Deze problemen maken adapter-gebaseerde methoden minder effectief voor taken die naadloze integratie van meerdere controle signalen vereisen.

Ideaal zouden de capaciteiten van ControlNet natively in het model getraind moeten worden, op een modulaire manier die later en veelbelovende innovaties zoals gelijktijdige video/audio-generatie of native lip-sync-capaciteiten (voor externe audio) kan accommoderen.

Op dit moment vertegenwoordigt elke extra functionaliteit een post-productie taak of een niet-native procedure die de gevoelige gewichten van het foundation model moet navigeren.

FullDiT

Hier komt een nieuw aanbod uit China, dat een systeem voorstelt waarin ControlNet-stijl maatregelen rechtstreeks in een generatief video-model worden ingebakken tijdens de training, in plaats van een nasleep te zijn.

Uit het nieuwe artikel: de FullDiT-benadering kan identiteitsimpositie, diepte en camerabeweging in een native generatie opnemen en kan elk van deze combinaties tegelijk oproepen. Bron: https://arxiv.org/pdf/2503.19907

Genoemd FullDiT, combineert de nieuwe benadering multi-task condities zoals identiteits-overdracht, diepte-mapping en camerabeweging in een geïntegreerd deel van een getraind generatief video-model, waarvoor de auteurs een prototype getraind model en bijbehorende video-clips op een projectsite hebben gemaakt.

In het onderstaande voorbeeld zien we generaties die camerabeweging, identiteitsinformatie en tekstinformatie (d.w.z. geleidende gebruikerstekstprompts) combineren:

Click to play. Voorbeelden van ControlNet-stijl gebruikersimpositie met alleen een native getraind foundation model. Bron: https://fulldit.github.io/

Er moet worden opgemerkt dat de auteurs hun experimenteel getraind model niet voorstellen als een functioneel foundation model, maar eerder als een bewijs van concept voor native tekst-naar-video (T2V) en beeld-naar-video (I2V) modellen die gebruikers meer controle bieden dan alleen een beeldprompt of een tekstprompt.

Daar er nog geen soortgelijke modellen zijn, creëerden de onderzoekers een nieuwe benchmark genaamd FullBench, voor de evaluatie van multi-task video’s, en claimen staat-van-de-kunst prestaties in de like-for-like tests die ze tegen eerdere benaderingen hebben ontwikkeld. Echter, aangezien FullBench door de auteurs zelf is ontworpen, is de objectiviteit ongetest en kan de dataset van 1.400 gevallen te beperkt zijn voor bredere conclusies.

Misschien het meest interessante aspect van de architectuur die het artikel voorstelt, is het potentieel om nieuwe soorten controle te incorporeren. De auteurs verklaren:

‘In dit werk onderzoeken we alleen controle condities van de camera, identiteiten en diepte-informatie. We hebben niet verder onderzocht andere condities en modaliteiten zoals audio, spraak, puntwolk, object-begrenzingsvakken, optische stroom, enz. Hoewel de ontwerp van FullDiT andere modaliteiten naadloos kan integreren met minimale architectuurwijzigingen, is het nog steeds een belangrijke vraag die verdere verkenning rechtvaardigt, hoe bestaande modellen snel en kostenefficiënt kunnen worden aangepast aan nieuwe condities en modaliteiten.’

Hoewel de onderzoekers FullDiT voorstellen als een stap voorwaarts in multi-task video-generatie, moet worden overwogen dat dit nieuwe werk bestaande architectuur bouwt in plaats van een fundamenteel nieuw paradigma in te voeren.

Nonetheless, FullDiT staat op dit moment alleen (voor zover ik weet) als een video foundation model met ‘hard-coded’ ControlNet-stijl faciliteiten – en het is goed om te zien dat de voorgestelde architectuur later innovaties kan accommoderen.

Click to play. Voorbeelden van gebruiker-gecontroleerde camerabewegingen, van de projectsite.

Het nieuwe artikel is getiteld FullDiT: Multi-Task Video Generative Foundation Model with Full Attention en komt van negen onderzoekers uit Kuaishou Technology en The Chinese University of Hong Kong. De projectpagina is hier en de nieuwe benchmarkgegevens zijn hier te vinden.

Methode

De auteurs beweren dat FullDiT’s geïntegreerde aandachtsmechanisme sterker cross-modale representatieleer mogelijk maakt door zowel ruimtelijke als temporele relaties over condities heen te vangen:

Volgens het nieuwe artikel integreert FullDiT meerdere invoercondities via full self-aandacht, waardoor ze worden omgezet in een geïntegreerde reeks. In tegenstelling tot adapter-gebaseerde modellen (links) gebruiken ze aparte modules voor elke invoer, wat leidt tot redundantie, conflicten en zwakkere prestaties.

In tegenstelling tot adapter-gebaseerde opstellingen die elke invoerstroom afzonderlijk verwerken, voorkomt deze gedeelde aandachtsstructuur vertakkingconflicten en vermindert parameteroverhead. Ze claimen ook dat de architectuur kan schalen naar nieuwe invoertypen zonder grote herontwerp – en dat het modelschema tekenen vertoont van generaliseren naar conditiecombinaties die niet tijdens de training zijn gezien, zoals het koppelen van camerabeweging met karakteridentiteit.

Click to play. Voorbeelden van identiteitsgeneratie van de projectsite.

In FullDiT’s architectuur worden alle conditioneringsinvoer – zoals tekst, camerabeweging, identiteit en diepte – eerst omgezet in een gestandaardiseerd tokenformaat. Deze tokens worden vervolgens samengevoegd tot een enkele lange reeks, die wordt verwerkt door een stapel transformer lagen met full self-aandacht. Deze benadering volgt eerdere werken zoals Open-Sora Plan en Movie Gen.

Deze ontwerp maakt het mogelijk voor het model om temporele en ruimtelijke relaties gezamenlijk over alle condities te leren. Elke transformer-blok werkt over de hele reeks, waardoor dynamische interacties tussen modaliteiten mogelijk zijn zonder te vertrouwen op aparte modules voor elke invoer – en, zoals we hebben opgemerkt, is de architectuur ontworpen om uitbreidbaar te zijn, waardoor het veel gemakkelijker wordt om extra controle signalen in de toekomst te incorporeren, zonder grote structurele veranderingen.

De Kracht van Drie

FullDiT converteert elk controle signaal naar een gestandaardiseerd tokenformaat, zodat alle condities samen in een geïntegreerde aandachtskader kunnen worden verwerkt. Voor camerabeweging codeert het model een reeks van extrinsieke parameters – zoals positie en oriëntatie – voor elke frame. Deze parameters worden getijdstempeld en geprojecteerd in embedding vectoren die de temporele aard van het signaal weerspiegelen.

Identiteitsinformatie wordt anders behandeld, omdat het inherent ruimtelijk is in plaats van temporeel. Het model gebruikt identiteitskaarten die aangeven welke personages aanwezig zijn in welke delen van elke frame. Deze kaarten worden verdeeld in patches, met elke patch geprojecteerd in een embedding die ruimtelijke identiteitsaanwijzingen vastlegt, waardoor het model specifieke regio’s van het frame kan koppelen aan specifieke entiteiten.

Diepte is een spatiotemporeel signaal, en het model verwerkt het door diepte-video’s te verdelen in 3D-patches die zowel ruimte als tijd omvatten. Deze patches worden vervolgens ingebed op een manier die hun structuur over frames heen behoudt.

Als ze eenmaal zijn ingebed, worden al deze conditionerings tokens (camera, identiteit en diepte) samengevoegd tot een enkele lange reeks, waardoor FullDiT ze samen kan verwerken met full self-aandacht. Deze gedeelde representatie maakt het mogelijk voor het model om interacties over modaliteiten en over tijd heen te leren zonder te vertrouwen op geïsoleerde verwerkingstromen.

Gegevens en Tests

FullDiT’s trainingsaanpak was gebaseerd op selectief geannoteerde datasets die waren aangepast aan elke conditionerings-type, in plaats van te vereisen dat alle condities tegelijk aanwezig waren.

Voor tekstuele condities volgde het initiatief de gestructureerde onderschriftenbenadering zoals beschreven in het MiraData project.

Videocollectie en annotatiepijplijn van het MiraData project. Bron: https://arxiv.org/pdf/2407.06358

Voor camerabeweging was de RealEstate10K dataset de belangrijkste gegevensbron, vanwege de hoge kwaliteit grondwaarheidsannotaties van cameraparameters.

Echter, de auteurs observeerden dat training uitsluitend op statische-scene cameradatasets zoals RealEstate10K de dynamische object- en menselijke bewegingen in gegenereerde video’s verminderde. Om dit tegen te gaan, voerden ze aanvullende fijntuning uit met interne datasets die meer dynamische camerabewegingen bevatten.

Identiteitsannotaties werden gegenereerd met de pijplijn ontwikkeld voor het ConceptMaster project, dat efficiënte filtering en extractie van fijne identiteitsinformatie mogelijk maakte.

Het ConceptMaster framework is ontworpen om identiteitsontkoppelingproblemen aan te pakken terwijl conceptfideliteit in aangepaste video’s wordt behouden. Bron: https://arxiv.org/pdf/2501.04698

Diepteannotaties werden verkregen uit de Panda-70M dataset met behulp van Depth Anything.

Optimalisatie door Gegevensordenen

De auteurs implementeerden ook een progressieve trainingsplanning, waarbij moeilijkere condities eerder in de training werden geïntroduceerd om ervoor te zorgen dat het model robuuste representaties verwierf voordat eenvoudigere taken werden toegevoegd. De trainingsvolgorde verliep van tekst naar camera condities, vervolgens identiteiten, en ten slotte diepte, waarbij eenvoudigere taken over het algemeen later werden geïntroduceerd en met minder voorbeelden.

De auteurs benadrukken de waarde van het ordenen van de werklast op deze manier:

‘Tijdens de pre-trainingfase merkten we dat moeilijkere taken meer trainings tijd vereisen en eerder in het leerproces moeten worden geïntroduceerd. Deze moeilijke taken omvatten complexe gegevensverdelingen die aanzienlijk verschillen van de uitvoervideo, waardoor het model voldoende capaciteit moet hebben om ze nauwkeurig te vangen en te representeren.

‘Omgekeerd kan het introduceren van eenvoudigere taken te vroeg ertoe leiden dat het model eerst deze taken leert, aangezien ze onmiddellijke optimalisatiefeedback bieden, wat de convergentie van moeilijkere taken kan hinderen.’

Een illustratie van de gegevenstrainingvolgorde die de onderzoekers hebben gevolgd, met rood dat een grotere gegevensvolume aangeeft.

Na de initiële pre-training werd een laatste fijntuningsfase uitgevoerd om de model te verfijnen en de visuele kwaliteit en bewegingsdynamica te verbeteren. Vervolgens volgde de training die van een standaard diffusiekader*:

Na het toevoegen van ruis aan video-latents en het leren van het model om deze te voorspellen en te verwijderen, met de ingebedde conditionerings tokens als leidraad.

Om FullDiT effectief te evalueren en een eerlijke vergelijking te bieden met bestaande methoden, en aangezien er geen andere geschikte benchmark beschikbaar was, introduceerden de auteurs FullBench, een geannoteerde benchmark suite bestaande uit 1.400 afzonderlijke testgevallen.

Een gegevensverkennersinstantie voor de nieuwe FullBench-benchmark. Bron: https://huggingface.co/datasets/KwaiVGI/FullBench

Elk gegevenspunt bood grondwaarheidsannotaties voor verschillende conditioneringsignalen, waaronder camerabeweging, identiteit en diepte.

Metrieken

De auteurs evalueerden FullDiT met tien metrieken die vijf hoofdaspecten van prestaties dekken: tekstalignering, camerabeweging, identiteitsovereenkomst, dieptenauwkeurigheid en algemene videokwaliteit.

Tekstalignering werd gemeten met CLIP-overeenkomst, terwijl camerabeweging werd beoordeeld met rotatiefout (RotErr), translatiefout (TransErr) en camerabewegingsconsistentie (CamMC), volgens de benadering van CamI2V (in het CameraCtrl project).

Identiteitsovereenkomst werd beoordeeld met DINO-I en CLIP-I, en dieptenauwkeurigheid werd gekwantificeerd met Gemiddelde Absolute Fout (MAE).

Videokwaliteit werd beoordeeld met drie metrieken van MiraData: frame-niveau CLIP-overeenkomst voor gladheid; optische stroom-gebaseerde bewegingsafstand voor dynamica; en LAION-Aesthetische scores voor visuele aantrekkelijkheid.

Training

De auteurs trainden FullDiT met een intern (niet bekendgemaakt) tekst-naar-video diffusie-model met ongeveer een miljard parameters. Ze kozen expres een bescheiden parametersgrootte om eerlijkheid in vergelijkingen met eerdere methoden te behouden en reproduceerbaarheid te garanderen.

Aangezien trainingsvideo’s verschilden in lengte en resolutie, standardiseerden de auteurs elke batch door video’s te herschalen en te paddingen naar een gemeenschappelijke resolutie, 77 frames per sequentie te bemonsteren en toegepaste aandacht en verliesmaskers te gebruiken om trainingsdoeltreffendheid te optimaliseren.

De Adam optimizer werd gebruikt bij een leer tempo van 1×10⁻⁵ over een cluster van 64 NVIDIA H800 GPUs, voor een gecombineerd totaal van 5.120 GB VRAM (overweeg dat in de enthousiasten synthese-gemeenschappen 24 GB op een RTX 3090 nog steeds als een luxe standaard wordt beschouwd).

Het model werd getraind voor ongeveer 32.000 stappen, waarbij maximaal drie identiteiten per video, evenals 20 frames van camerabeweging en 21 frames van diepte, werden opgenomen, allemaal gelijkmatig bemonsterd uit de totale 77 frames.

Voor inferentie genereerde het model video’s met een resolutie van 384×672 pixels (ongeveer vijf seconden bij 15 frames per seconde) met 50 diffusie-inferentiestappen en een classificator-vrije leidingschaal van vijf.

Vorige Methoden

Voor camera-naar-video evaluatie vergeleken de auteurs FullDiT met MotionCtrl, CameraCtrl en CamI2V, waarbij alle modellen werden getraind met de RealEstate10k dataset om consistentie en eerlijkheid te garanderen.

Bij identiteit-geconditioneerde generatie, aangezien er geen vergelijkbare open-source multi-identiteitsmodellen beschikbaar waren, werd het model vergeleken met het 1B-parameter ConceptMaster model, met hetzelfde trainingsgegevens en architectuur.

Voor diepte-naar-video taken werden vergelijkingen gemaakt met Ctrl-Adapter en ControlVideo.

Kwantitatieve resultaten voor enkelvoudige taak video-generatie. FullDiT werd vergeleken met MotionCtrl, CameraCtrl en CamI2V voor camera-naar-video generatie; ConceptMaster (1B parameter versie) voor identiteit-naar-video; en Ctrl-Adapter en ControlVideo voor diepte-naar-video. Alle modellen werden geëvalueerd met hun standaardinstellingen. Voor consistentie werden 16 frames uniform bemonsterd uit elke methode, overeenkomend met de uitvoerlengte van eerdere modellen.

De resultaten geven aan dat FullDiT, ondanks het feit dat het meerdere conditioneringsignalen tegelijk verwerkt, staat-van-de-kunst prestaties bereikte in metrieken gerelateerd aan tekst, camerabeweging, identiteit en dieptecontrole.

In algemene kwaliteitsmetrieken presteerde het systeem over het algemeen beter dan andere methoden, hoewel de gladheid van FullDiT iets lager was dan die van ConceptMaster. Hierop merken de auteurs op:

‘De gladheid van FullDiT is iets lager dan die van ConceptMaster, omdat de berekening van gladheid is gebaseerd op CLIP-overeenkomst tussen aangrenzende frames. Aangezien FullDiT aanzienlijk meer dynamiek vertoont in vergelijking met ConceptMaster, heeft de gladheidsmetriek invloed op de grote variaties tussen aangrenzende frames.

‘Voor de aesthetische score, aangezien de beoordelingsmodel voorkeur geeft aan afbeeldingen in schilderstijl en ControlVideo typisch video’s in deze stijl genereert, bereikt het een hoge score in esthetiek.’

Wat betreft de kwalitatieve vergelijking, is het misschien beter om te verwijzen naar de voorbeeldvideo’s op de FullDiT-projectsite, aangezien de PDF-voorbeelden onvermijdelijk statisch zijn (en ook te groot zijn om hier volledig te reproduceren).

Het eerste deel van de kwalitatieve resultaten in de PDF. Verwijs alstublieft naar het bronartikel voor de aanvullende voorbeelden, die te uitgebreid zijn om hier te reproduceren.

De auteurs merken op:

‘FullDiT toont superieure identiteitsbehoud en genereert video’s met betere dynamiek en visuele kwaliteit in vergelijking met [ConceptMaster]. Aangezien ConceptMaster en FullDiT op hetzelfde backbone zijn getraind, benadrukt dit de effectiviteit van conditie-injectie met full aandacht.

‘…De [andere] resultaten demonstreren de superieure controleerbaarheid en generatiekwaliteit van FullDiT in vergelijking met bestaande diepte-naar-video en camera-naar-video methoden.’

Een deel van de PDF-voorbeelden van FullDiT’s uitvoer met meerdere signalen. Verwijs alstublieft naar het bronartikel en de project site voor aanvullende voorbeelden.

Conclusie

Hoewel FullDiT een spannende stap is in de richting van een meer full-featured type video foundation model, moet worden overwogen of de vraag naar ControlNet-stijl instrumenten ooit zal rechtvaardigen om dergelijke functies op grote schaal te implementeren, tenminste voor FOSS-projecten, die zouden worstelen om de enorme hoeveelheid GPU-verwerking te verkrijgen die nodig is, zonder commerciële ondersteuning.

Het primaire uitdaging is dat het gebruik van systemen zoals Diepte en Pose over het algemeen een niet-triviale vertrouwdheid met relatief complexe gebruikersinterfaces zoals ComfyUI vereist. Daarom lijkt het dat een functioneel FOSS-model van deze soort het meest waarschijnlijk zal worden ontwikkeld door een groep kleinere VFX-bedrijven die niet de middelen (of de wil, gezien dergelijke systemen snel verouderd raken door model-upgrades) hebben om een dergelijk model achter gesloten deuren te cureren en te trainen.

Aan de andere kant kunnen API-gedreven ‘huur-een-AI’ systemen gemotiveerd zijn om eenvoudigere en meer gebruikersvriendelijke interpretatieve methoden te ontwikkelen voor modellen waarin aanvullende controle systemen rechtstreeks zijn getraind.

Click to play. Diepte+Tekst controles opgelegd op een video-generatie met FullDiT.

* De auteurs specificeren geen bekende basismodel (d.w.z. SDXL, enz.)

Publicatie op donderdag 27 maart 2025