Betere generatieve AI-video door frames te shufflen tijdens training

Een nieuw artikel dat deze week op Arxiv is gepubliceerd, richt zich op een probleem waar iedereen die de Hunyuan Video of Wan 2.1 AI-video generators heeft gebruikt, tegenwoordig bekend is: temporele aberraties, waarbij het generatieve proces de neiging heeft om plotseling te versnellen, samen te voegen, weg te laten of op een andere manier cruciale momenten in een gegenereerde video te verstoren:

Click om af te spelen. Enkele van de temporele glitches die bekend worden bij gebruikers van de nieuwe generatie generatieve video-systemen, worden in de nieuwe paper benadrukt. Rechts, het verbeterende effect van de nieuwe FluxFlow-benadering. Bron: https://haroldchen19.github.io/FluxFlow/

De bovenstaande video bevat fragmenten van voorbeeldtestvideo’s op de (let op: vrij chaotische) projectsite van het artikel. We zien enkele steeds bekendere problemen die door de methode van de auteurs worden verholpen (afgebeeld aan de rechterkant in de video), die in wezen een dataset-voorbewerkingstechniek is die op elke generatieve video-architectuur kan worden toegepast.

In het eerste voorbeeld, met ‘twee kinderen die met een bal spelen’, gegenereerd door CogVideoX, zien we (links in de compilatievideo hierboven en in het specifieke voorbeeld hieronder) dat de native generatie snel door verschillende essentiële micro-bewegingen heen springt, waardoor de activiteit van de kinderen wordt versneld tot een ‘cartoon’-niveau. In tegenstelling tot de nieuwe voorbewerkingsmethode, die FluxFlow wordt genoemd (rechts van het beeld in de video hieronder):

Click om af te spelen

In het tweede voorbeeld (met NOVA-0.6B) zien we dat een centrale beweging met een kat op de een of andere manier is gecorrumpeerd of ondergesteld tijdens de trainingsfase, waardoor het generatieve systeem ‘verlamd’ raakt en niet in staat is om het onderwerp te laten bewegen:

Click om af te spelen

Dit syndroom, waarbij de beweging of het onderwerp ‘vast’ komt te zitten, is een van de meest frequent gemelde problemen bij HV en Wan, in de verschillende beeld- en videosynthesegroepen.

Sommige van deze problemen zijn gerelateerd aan video-onderwerpkeuze in de brondata, waar we een kijkje naar nam; maar de auteurs van het nieuwe artikel richten hun inspanningen op de temporele kwaliteiten van de trainingsdata, en maken een overtuigend argument dat het aanpakken van de uitdagingen vanuit dat perspectief bruikbare resultaten kan opleveren.

Net zoals in het eerder artikel over video-onderwerpkeuze, zijn bepaalde sporten bijzonder moeilijk om te distilleren tot sleutelmomenten, waardoor kritieke gebeurtenissen (zoals een slam-dunk) niet de aandacht krijgen die ze nodig hebben tijdens de trainingsfase:

Click om af te spelen

In het bovenstaande voorbeeld weet het generatieve systeem niet hoe het naar de volgende fase van de beweging moet komen en maakt het een onlogische overgang van de ene houding naar de andere, waardoor de houding en geometrie van de speler veranderen.

Deze zijn grote bewegingen die verloren zijn gegaan tijdens de training – maar evenzeer kwetsbaar zijn veel kleinere maar cruciale bewegingen, zoals het fladderen van de vleugels van een vlinder:

Click om af te spelen.

Anders dan de slam-dunk, is het fladderen van de vleugels geen ‘zeldzame’ maar een persistente en monotone gebeurtenis. Echter, de consistentie ervan gaat verloren in het steekproefproces, aangezien de beweging zo snel is dat het moeilijk is om deze temporeel te bepalen.

Deze zijn geen bijzonder nieuwe problemen, maar ze krijgen nu meer aandacht nu krachtige generatieve video-modellen beschikbaar zijn voor enthousiastelingen voor lokale installatie en gratis generatie.

De gemeenschappen op Reddit en Discord hebben deze problemen aanvankelijk behandeld als ‘gebruiker-gerelateerd’. Dit is een begrijpelijke veronderstelling, aangezien de systemen in kwestie zeer nieuw en minimaal gedocumenteerd zijn. Daarom hebben verschillende experts diverse (en niet altijd effectieve) remedies voorgesteld voor enkele van de glitches die hier worden gedocumenteerd, zoals het wijzigen van de instellingen in verschillende componenten van diverse soorten ComfyUI-workflows voor Hunyuan Video (HV) en Wan 2.1.

In sommige gevallen produceert HV en Wan in plaats van snelle beweging langzame beweging. Suggesties van Reddit en ChatGPT (die voornamelijk Reddit gebruikt) omvatten het wijzigen van het aantal frames in de aangevraagde generatie, of het drastisch verlagen van de framefrequentie*.

Dit is allemaal wanhopige acties; de opkomende waarheid is dat we nog niet weten wat de exacte oorzaak of het exacte remedie voor deze problemen is; het is duidelijk dat het martelen van de generatie-instellingen om deze problemen te omzeilen (vooral wanneer dit de outputkwaliteit degradeert, bijvoorbeeld met een te lage fps-snelheid) slechts een tijdelijke oplossing is, en het is goed om te zien dat het onderzoeksscène deze opkomende problemen zo snel aanpakt.

Dus, naast onze kijk op hoe onderschriften de training beïnvloeden, laten we een kijk nemen op het nieuwe artikel over temporele regularisatie, en welke verbeteringen het kan bieden voor de huidige generatieve video-scène.

De centrale idee is vrij eenvoudig en subtiel, en niets minder daarom; het artikel is echter enigszins opgeblazen om de voorgeschreven acht pagina’s te bereiken, en we zullen de overbodige delen overslaan waar nodig.

De vis in de native generatie van de VideoCrafter-framework is statisch, terwijl de FluxFlow-gewijzigde versie de vereiste veranderingen vastlegt. Bron: https://arxiv.org/pdf/2503.15417

Het nieuwe artikel heet Temporele regularisatie maakt uw video-generator sterker, en komt van acht onderzoekers uit Everlyn AI, Hong Kong University of Science and Technology (HKUST), de University of Central Florida (UCF) en The University of Hong Kong (HKU).

(op het moment van schrijven zijn er enkele problemen met de begeleidende projectsite)

FluxFlow

Het centrale idee achter FluxFlow, de nieuwe voorbewerkingsmethode van de auteurs, is om de wijdverbreide problemen flickering en temporele inconsistentie te overwinnen door blokken en groepen van blokken in de temporele framevolgorde te shufflen terwijl de brondata wordt blootgesteld aan het trainingsproces:

Het centrale idee achter FluxFlow is om blokken en groepen van blokken naar onverwachte en niet-temporele posities te verplaatsen, als een vorm van gegevensverrijking.

Het artikel legt uit:

‘[Artifacts] stammen uit een fundamentele beperking: ondanks het gebruik van grote datasets, vertrouwen de huidige modellen vaak op vereenvoudigde temporele patronen in de trainingsdata (bijv. vaste looprichtingen of herhaalde frame-overgangen) in plaats van het leren van diverse en plausibele temporele dynamiek.

‘Dit probleem wordt verder verergerd door het ontbreken van expliciete temporele verrijking tijdens de training, waardoor modellen vatbaar zijn voor overfitting op spurious temporele correlaties (bijv. “frame #5 moet volgen op #4”) in plaats van generaliseren over diverse bewegingsscenario’s.’

De meeste video-generatiemodellen, leggen de auteurs uit, lenen nog steeds te zwaar van beeld synthese, waarbij de focus ligt op ruimtelijke geloofwaardigheid, terwijl de temporele as grotendeels wordt genegeerd. Hoewel technieken zoals bijsnijden, omdraaien en kleurjitteren hebben geholpen om de statische beeldkwaliteit te verbeteren, zijn ze niet voldoende oplossingen wanneer ze op video’s worden toegepast, waar de illusie van beweging afhankelijk is van consistente overgangen tussen frames.

De resulterende problemen omvatten flikkerende texturen, schokkende cuts tussen frames en herhaalde of te eenvoudige bewegingspatronen.

Click om af te spelen.

Het artikel stelt dat hoewel sommige modellen – waaronder Stable Video Diffusion en LlamaGen – compenseren met steeds complexere architectuur of geëngineerde beperkingen, deze komen ten koste van rekenkracht en flexibiliteit.

Aangezien temporele gegevensverrijking al nuttig is gebleken in video begrip taken (in frameworks zoals FineCliper, SeFAR en SVFormer) is het verrassend, stellen de auteurs, dat deze tactiek zelden in een generatief kader wordt toegepast.

Disruptief gedrag

De onderzoekers beweren dat eenvoudige, gestructureerde verstoringen in temporele volgorde tijdens de training helpen om modellen beter te generaliseren naar realistische, diverse beweging:

‘Door te trainen op ongeordende sequenties, leert de generator plausibele trajecten te herstellen, waardoor de temporele entropie effectief wordt geregulariseerd. FLUXFLOW verbindt de kloof tussen discriminatieve en generatieve temporele verrijking, waardoor een plug-and-play verbeteringsoplossing voor temporeel plausibele video-generatie wordt geboden, terwijl de algehele [kwaliteit] wordt verbeterd.

‘In tegenstelling tot bestaande methoden die architectonische veranderingen introduceren of vertrouwen op post-processing, werkt FLUXFLOW rechtstreeks op het gegevensniveau, waardoor gecontroleerde temporele verstoringen tijdens de training worden geïntroduceerd.’

Click om af te spelen.

Frame-niveau-verstoringen, stellen de auteurs, introduceren fijne verstoringen binnen een sequentie. Deze verstoring is niet ongelijk aan masking augmentation, waarbij delen van de gegevens willekeurig worden geblokkeerd, om te voorkomen dat het systeem overfit op gegevenspunten, en om betere generalisatie te stimuleren.

Tests

Hoewel het centrale idee hier niet uitgebreid is, is er een testsectie die we kunnen bekijken.

De auteurs testten vier queries met betrekking tot verbeterde temporele kwaliteit bij het behoud van ruimtelijke geloofwaardigheid; de mogelijkheid om beweging/optische stroomdynamiek te leren; het behoud van temporele kwaliteit in extraterm-generatie; en gevoeligheid voor sleutelhyperparameters.

De onderzoekers pasten FluxFlow toe op drie generatieve architectuur: U-Net-gebaseerd, in de vorm van VideoCrafter2; DiT-gebaseerd, in de vorm van CogVideoX-2B; en AR-gebaseerd, in de vorm van NOVA-0.6B.

Om een eerlijke vergelijking te maken, hebben ze de basismodellen van de architectuur gefinetuned met FluxFlow als een extra trainingsfase, voor één epoch, op de OpenVidHD-0.4M-dataset.

De modellen werden geëvalueerd tegen twee populaire benchmarks: UCF-101; en VBench.

Voor UCF werden de Fréchet Video Distance (FVD) en Inception Score (IS) metrics gebruikt. Voor VBench richtten de onderzoekers zich op temporele kwaliteit, frame-wijs kwaliteit en algehele kwaliteit.

Kwantitatieve initiële evaluatie van FluxFlow-Frame. “+ Origineel” geeft training zonder FLUXFLOW aan, terwijl “+ Num × 1” verschillende FluxFlow-Frame-configuraties aangeeft. De beste resultaten zijn gearceerd; de tweede beste zijn onderstreept voor elk model.

In commentaar op deze resultaten, stellen de auteurs:

‘Beide FLUXFLOW-FRAME en FLUXFLOW-BLOCK verbeteren de temporele kwaliteit aanzienlijk, zoals blijkt uit de metrics in Tabs. 1, 2 (d.w.z. FVD, Subject, Flicker, Motion en Dynamic) en kwalitatieve resultaten in [afbeelding hieronder].

‘Bijvoorbeeld, de beweging van de glijdende auto in VC2, de kat die zijn staart achterna zit in NOVA, en de surfer die een golf berijdt in CVX, worden merkbaar vloeiender met FLUXFLOW. Belangrijk is dat deze temporele verbeteringen worden behaald zonder de ruimtelijke geloofwaardigheid te offeren, zoals blijkt uit de scherpe details van waterspetters, rookstrepen en golfteksten, evenals spatiale en algehele geloofwaardigheidsmetrieken.’

Hieronder zien we selecties uit de kwalitatieve resultaten die de auteurs noemen (zie het originele artikel voor volledige resultaten en betere resolutie):

Selecties uit de kwalitatieve resultaten.

Het artikel stelt dat hoewel zowel frame-niveau als block-niveau verstoringen de temporele kwaliteit verbeteren, frame-niveau methoden de neiging hebben om beter te presteren. Dit wordt toegeschreven aan hun fijnere granulariteit, waardoor meer precieze temporele aanpassingen mogelijk zijn. Block-niveau verstoringen, daarentegen, kunnen ruis introduceren vanwege de nauwe samenhang tussen spatiale en temporele patronen binnen blokken, waardoor hun effectiviteit wordt verminderd.

Conclusie

Dit artikel, evenals de Bytedance-Tsinghua onderschriften-samenwerking die deze week is uitgebracht, heeft het voor mij duidelijk gemaakt dat de schijnbare tekortkomingen in de nieuwe generatie generatieve video-modellen mogelijk niet het gevolg zijn van gebruikersfouten, institutionele misstappen of financieringsbeperkingen, maar eerder van een onderzoeksfocus die terecht prioriteit heeft gegeven aan meer dringende uitdagingen, zoals temporele coherentie en consistentie, boven deze minder belangrijke zorgen.

Tot voor kort waren de resultaten van vrij beschikbare en downloadbare generatieve video-systemen zo compromitterend dat geen enkele grote inspanning van de enthousiastelingengemeenschap is ontstaan om deze problemen aan te pakken (mede omdat de problemen fundamenteel waren en niet triviaal oplosbaar).

Nu we zo dicht bij de lang voorspelde tijdperk van puur door AI gegenereerde fotorealistische video-uitvoer zijn, is het duidelijk dat zowel de onderzoeks- als de casual gemeenschappen een diepere en productievere interesse hebben in het oplossen van de resterende problemen; met een beetje geluk zijn deze niet onoverkomelijke obstakels.

* Wan’s native framefrequentie is een magere 16fps, en als reactie op mijn eigen problemen, merk ik op dat forums hebben gesuggereerd om de framefrequentie zo laag mogelijk te verlagen tot 12fps, en vervolgens FlowFrames of andere AI-gebaseerde re-flowing systemen te gebruiken om de gaten tussen zo’n schaarse hoeveelheid frames te interpoleren.

First published Friday, 21 maart 2025