Waarom AI-video soms achterstevoren gaat

Als 2022 het jaar was waarin generatieve AI de verbeelding van een breder publiek wist te boeien, lijkt 2025 het jaar te worden waarin de nieuwe generatie generatieve video-kaders uit China hetzelfde effect gaat hebben.

Tencents Hunyuan Video heeft een grote impact gehad op de hobbyist AI-gemeenschap met de open-source release van een full-world video diffusie model dat gebruikers kunnen aanpassen aan hun behoeften.

Alibaba’s Wan 2.1 volgt snel, een van de krachtigste image-to-video FOSS-oplossingen van deze periode – nu ondersteund door aanpassing via Wan LoRAs.

Naast de beschikbaarheid van recente human-centric foundation modellen SkyReels, wachten we op de release van Alibaba’s uitgebreide VACE video creatie en bewerkingsuite:

Click to play. The pending release of Alibaba’s multi-function AI-editing suite VACE heeft de gebruikersgemeenschap opgewonden. Source: https://ali-vilab.github.io/VACE-Page/

Plotse Impact

Het generatieve video AI-onderzoeksveld is eveneens explosief; het is nog maar het eerste deel van maart, en dinsdags werden er bijna 350 inzendingen ontvangen op Arxiv’s Computer Vision sectie (een hub voor generatieve AI-papers) – een aantal dat eerder geassocieerd wordt met het hoogtepunt van conferentie-seizoen.

De twee jaar sinds de lancering van Stable Diffusion in de zomer van 2022 (en de daaropvolgende ontwikkeling van Dreambooth en LoRA aanpassingsmethoden) zijn gekenmerkt door het ontbreken van verdere grote ontwikkelingen, totdat de afgelopen weken, waarin nieuwe releases en innovaties in zo’n snel tempo zijn gevolgd dat het bijna onmogelijk is om op de hoogte te blijven, laat staan alles te dekken.

Video diffusie modellen zoals Hunyuan en Wan 2.1 hebben, na jaren van mislukte pogingen van honderden onderzoeksinitiatieven, eindelijk het probleem van temporele consistentie opgelost in verband met de generatie van mensen, en grotendeels ook met betrekking tot omgevingen en objecten.

Er kan weinig twijfel over bestaan dat VFX-studio’s momenteel personeel en middelen inzetten om de nieuwe Chinese video-modellen aan te passen om onmiddellijke uitdagingen zoals gezichtsvervanging op te lossen, ondanks het huidige gebrek aan ControlNet-style hulpmiddelen voor deze systemen.

Er moet een grote opluchting zijn dat één van de significante obstakels mogelijk is overwonnen, hoewel niet via de verwachte wegen.

Van de problemen die overblijven, is dit er één:

Click to play. Gebaseerd op de prompt ‘Een kleine steen rolt van een steile, rotsachtige helling, verplaatst aarde en kleine stenen ‘, maakt Wan 2.1, die de allerhoogste scores behaalde in het nieuwe paper, één eenvoudige fout. Source: https://videophy2.github.io/

Omhoog de heuvel achteruit

Alle text-to-video en image-to-video systemen die momenteel beschikbaar zijn, inclusief commerciële gesloten bron modellen, hebben de neiging om fysieke fouten te produceren, zoals hierboven, waar de video een steen laat zien die omhoog rolt, op basis van de prompt ‘Een kleine steen rolt van een steile, rotsachtige helling, verplaatst aarde en kleine stenen ‘.

Een theorie over waarom dit gebeurt, onlangs voorgesteld in een academische samenwerking tussen Alibaba en UAE, is dat modellen altijd trainen op enkele afbeeldingen, in zekere zin, zelfs wanneer ze trainen op video’s (die worden uitgeschreven naar enkelvoudige frame sequenties voor trainingsdoeleinden); en ze kunnen niet noodzakelijkerwijs de correcte temporele volgorde van ‘voor’ en ‘na’ afbeeldingen leren.

De meest waarschijnlijke oplossing is echter dat de modellen in kwestie data augmentatie routines hebben gebruikt die het blootstellen van een bron trainingsclip aan het model zowel vooruit en achteruit omvatten, waardoor de trainingsgegevens effectief worden verdubbeld.

Er is lang bekend dat dit niet willekeurig moet gebeuren, omdat sommige bewegingen achteruit werken, maar veel niet. Een 2019 studie van de Universiteit van Bristol in het VK zocht naar een methode om equivariante, invariante en onomkeerbare bron gegevens video clips te onderscheiden die samen bestaan in een enkele dataset (zie afbeelding hieronder), met de gedachte dat ongeschikte bron clips uit data augmentatie routines gefilterd zouden kunnen worden.

Voorbeelden van drie soorten beweging, waarvan er slechts één vrij omkeerbaar is bij het behoud van plausibele fysieke dynamica. Source: https://arxiv.org/abs/1909.09422

De auteurs van dat werk formuleren het probleem duidelijk:

‘We vinden dat de realiteit van omgekeerde video’s verraadt door omkeer artefacten, aspecten van de scène die niet mogelijk zouden zijn in een natuurlijke wereld. Sommige artefacten zijn subtiel, terwijl anderen gemakkelijk te herkennen zijn, zoals een omgekeerde ‘werpen’ actie waarbij het geworpen object spontaan van de vloer opstijgt.

‘We observeren twee soorten omkeer artefacten, fysiek, die inbreuken op de wetten van de natuur vertonen, en onwaarschijnlijk, die een mogelijke maar onwaarschijnlijke scenario vertegenwoordigen. Deze zijn niet exclusief, en veel omgekeerde acties vertonen zowel fysieke als onwaarschijnlijke artefacten, zoals wanneer een stuk papier wordt uitgevouwen.

‘Voorbeelden van fysieke artefacten zijn: omgekeerde zwaartekracht (bijv. ‘iets laten vallen’), spontane impulsen op objecten (bijv. ‘een pen laten draaien’), en onomkeerbare toestandsveranderingen (bijv. ‘een kaars aansteken’). Een voorbeeld van een onwaarschijnlijk artefact: een bord uit de kast nemen, drogen en op een droogrek plaatsen.

‘Dit soort hergebruik van gegevens is zeer gebruikelijk tijdens de trainingsfase, en kan nuttig zijn – bijvoorbeeld door ervoor te zorgen dat het model niet alleen één weergave van een afbeelding of object leert, die kan worden omgedraaid of geroteerd zonder zijn centrale coherentie en logica te verliezen.

‘Dit werkt alleen voor objecten die echt symmetrisch zijn, natuurlijk; en het leren van fysica uit een ‘omgekeerde’ video werkt alleen als de omgekeerde versie even veel zin heeft als de voorwaartse versie.’

Tijdelijke omkeringen

We hebben geen bewijs dat systemen zoals Hunyuan Video en Wan 2.1 willekeurig ‘omgekeerde’ clips hebben blootgesteld aan het model tijdens de training (geen van beide onderzoeksgroepen heeft specifiek vermeld wat de data augmentatie routines waren).

De enige redelijke alternatieve mogelijkheid, gezien zo veel rapporten (en mijn eigen praktische ervaring), lijkt te zijn dat de hyperschaal datasets die deze modellen aandrijven, clips kunnen bevatten die echt bewegingen omvat die in omgekeerde richting plaatsvinden.

De steen in de bovenstaande voorbeeldvideo is gegenereerd met Wan 2.1 en komt voor in een nieuwe studie die onderzoekt hoe goed video diffusie modellen fysica behandelen.

In tests voor dit project behaalde Wan 2.1 een score van slechts 22% in termen van zijn vermogen om consistent fysieke wetten te volgen.

Maar dat is de beste score van alle geteste systemen, wat aangeeft dat we mogelijk onze volgende struikelblok voor video AI hebben gevonden:

Scores behaald door toonaangevende open en gesloten bron systemen, met de output van de frameworks beoordeeld door menselijke annotators. Source: https://arxiv.org/pdf/2503.06800

De auteurs van het nieuwe werk hebben een benchmarking systeem ontwikkeld, nu in zijn tweede iteratie, genaamd VideoPhy, met de code beschikbaar op GitHub.

Hoewel de omvang van het werk verder gaat dan wat we hier kunnen dekken, laten we een algemeen overzicht zien van de methodologie en het potentieel om een metric te creëren die de koers van toekomstige model trainingsessies kan helpen bijsturen om deze vreemde voorbeelden van omkering te vermijden.

De studie, uitgevoerd door zes onderzoekers van UCLA en Google Research, heet VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation. Een drukke begeleidende project site is ook beschikbaar, evenals code en datasets op GitHub, en een dataset viewer op Hugging Face.

Click to play. Hier faalt het OpenAI Sora model om de interacties tussen roeispanen en reflecties te begrijpen en kan het geen logische fysieke stroom bieden voor de persoon in de boot of de manier waarop de boot met haar omgaat.

Methode

De auteurs beschrijven de laatste versie van hun werk, VideoPhy-2, als een ‘uitdagende commonsense evaluatie dataset voor real-world acties.’ De collectie omvat 197 acties over een breed scala aan diverse fysieke activiteiten zoals hula-hooping, gymnastiek en tennis, evenals object interacties, zoals een object buigen totdat het breekt.

Een grote taalmodel (LLM) wordt gebruikt om 3840 prompts te genereren vanuit deze basisacties, en de prompts worden vervolgens gebruikt om video’s te synthetiseren via de verschillende frameworks die worden getest.

Gedurende het proces hebben de auteurs een lijst van ‘kandidaat’ fysieke regels en wetten ontwikkeld die AI-gegenereerde video’s zouden moeten vervullen, met behulp van visie-taalmodellen voor evaluatie.

De auteurs verklaren:

‘Bijvoorbeeld, in een video van een sporter die tennis speelt, zou een fysieke regel zijn dat een tennibal een parabolische baan moet volgen onder invloed van de zwaartekracht. Voor gouden standaard oordelen vragen we menselijke annotators om elke video te beoordelen op basis van de algehele semantische overeenstemming en fysieke gezond verstand, en om te markeren of deze in overeenstemming is met verschillende fysieke regels.’

Boven: Een tekstprompt wordt gegenereerd vanuit een actie met behulp van een LLM en gebruikt om een video te maken met een text-to-video generator. Een visie-taalmodel onderschriften de video, waardoor mogelijke fysieke regels in het spel kunnen worden geïdentificeerd. Onder: Menselijke annotators evalueren de realiteit van de video, bevestigen regel overtredingen, voegen ontbrekende regels toe en controleren of de video overeenkomt met de oorspronkelijke prompt.

Aanvankelijk curateerden de onderzoekers een set acties om fysieke gezond verstand in AI-gegenereerde video’s te evalueren. Ze begonnen met meer dan 600 acties afkomstig uit de Kinetics, UCF-101, en SSv2 datasets, met de focus op activiteiten die sport, object interacties en echte fysica betreffen.

Twee onafhankelijke groepen van STEM-georiënteerde studenten annotators (met een minimum van een undergraduate kwalificatie) beoordeelden en filterden de lijst, en selecteerden acties die principes testen zoals zwaartekracht, impuls, en elasticiteit, terwijl ze lage-bewegingstaken zoals typen, een kat aaien, of kauwen verwijderden.

Na verdere verfijning met Gemini-2.0-Flash-Exp om duplicaten te elimineren, omvatte de definitieve dataset 197 acties, met 54 die object interacties betroffen en 143 die fysieke en sportactiviteiten betroffen:

Voorbeelden van de geëxtraheerde acties.

In de tweede fase gebruikten de onderzoekers Gemini-2.0-Flash-Exp om 20 prompts te genereren voor elke actie in de dataset, resulterend in een totaal van 3.940 prompts. Het generatieproces richtte zich op zichtbare fysieke interacties die duidelijk in een gegenereerde video konden worden weergegeven. Dit sloot niet-zichtbare elementen uit zoals emoties, zintuiglijke details, en abstracte taal, maar omvatte diverse personages en objecten.

Als voorbeeld, in plaats van een eenvoudige prompt zoals ‘Een boogschutter laat de pijl los’, werd het model geleid om een meer gedetailleerde versie te produceren zoals ‘Een boogschutter trekt de boogpees terug tot volle spanning, en laat de pijl dan los, die rechtuit vliegt en een bullseye op een papieren doelwit raakt’.

De onderzoekers verfijnden de onderschriften verder met de Mistral-NeMo-12B-Instruct prompt upsampler, om visuele details toe te voegen zonder de oorspronkelijke betekenis te veranderen.

Voorbeelden van prompts uit VideoPhy-2, gecategoriseerd door fysieke activiteiten of object interacties. Elke prompt is gekoppeld aan de corresponderende actie en het relevante fysieke principe dat het test.

Voor de derde fase werden fysieke regels niet afgeleid van tekstprompts, maar van gegenereerde video’s, omdat generatieve modellen kunnen worstelen met het volgen van voorwaardelijke tekstprompts.

Video’s werden eerst gegenereerd met VideoPhy-2 prompts, en vervolgens ‘up-onderschriften’ met Gemini-2.0-Flash-Exp om sleutel details te extraheren. Het model stelde drie verwachte fysieke regels per video voor, die menselijke annotators beoordeelden en uitbreidden door extra potentiële overtredingen te identificeren.

Voorbeelden van de up-onderschriften.

Vervolgens om de meest uitdagende acties te identificeren, genereerden de onderzoekers video’s met behulp van CogVideoX-5B met prompts uit de VideoPhy-2 dataset. Ze selecteerden 60 acties uit 197 waar het model consistent faalde om zowel de prompts als basis fysieke gezond verstand te volgen.

Deze acties omvatten fysica-rijke interacties zoals impuls overdracht bij discuswerpen, toestandsveranderingen zoals het buigen van een object totdat het breekt, balans taken zoals tightrope walking, en complexe bewegingen die back-flips, polsstokspringen en pizzagoien omvatten, onder andere. In totaal werden 1.200 prompts geselecteerd om de moeilijkheid van de subdataset te verhogen.

De resulterende dataset bestond uit 3.940 onderschriften – 5,72 keer meer dan de eerdere versie van VideoPhy. De gemiddelde lengte van de oorspronkelijke onderschriften is 16 tokens, terwijl de up-onderschriften 138 tokens bereiken – 1,88 keer en 16,2 keer langer, respectievelijk.

De dataset omvat ook 102.000 menselijke annotaties die semantische overeenstemming, fysieke gezond verstand en regel overtredingen dekken over meerdere video generatie modellen.

Evaluatie

De onderzoekers definieerden duidelijke criteria voor de evaluatie van de video’s. Het hoofddoel was om te beoordelen hoe goed elke video overeenkwam met de invoer prompt en basis fysieke principes volgde.

In plaats van video’s simpelweg te rangschikken op basis van voorkeur, gebruikten ze beoordelingsgebaseerde feedback om specifieke successen en mislukkingen te registreren. Menselijke annotators beoordeelden video’s op een schaal van vijf punten, waardoor meer gedetailleerde oordelen mogelijk werden, terwijl de evaluatie ook controleerde of video’s verschillende fysieke regels en wetten volgden.

Voor menselijke evaluatie werden 12 annotators geselecteerd uit proeven op Amazon Mechanical Turk (AMT), en kregen beoordelingen na het ontvangen van gedetailleerde instructies op afstand. Voor eerlijkheid werden semantische overeenstemming en fysieke gezond verstand afzonderlijk beoordeeld (in de oorspronkelijke VideoPhy-studie werden ze gezamenlijk beoordeeld).

De annotators beoordeelden eerst hoe goed video’s overeenkwamen met hun invoer prompts, en beoordeelden vervolgens afzonderlijk de fysieke plausibiliteit, door regel overtredingen en algehele realiteit te scoren op een schaal van vijf punten. Alleen de oorspronkelijke prompts werden getoond, om een eerlijke vergelijking tussen modellen te behouden.

De interface die aan de AMT-annotators werd gepresenteerd.

Hoewel menselijke beoordeling de gouden standaard blijft, is het duur en komt het met een aantal kanttekeningen. Daarom is geautomatiseerde evaluatie essentieel voor snellere en schaalbaardere modelbeoordelingen.

De auteurs van het paper testten verschillende video-taalmodellen, waaronder Gemini-2.0-Flash-Exp en VideoScore, op hun vermogen om video’s te beoordelen op semantische nauwkeurigheid en ‘fysieke gezond verstand’.

De modellen beoordeelden elke video op een schaal van vijf punten, terwijl een afzonderlijke classificatie taak bepaalde of fysieke regels werden gevolgd, overtreden of onduidelijk waren.

Experimenten toonden aan dat bestaande video-taalmodellen worstelden om menselijke oordelen te evenaren, voornamelijk vanwege zwakke fysieke redenering en de complexiteit van de prompts. Om geautomatiseerde evaluatie te verbeteren, ontwikkelden de onderzoekers VideoPhy-2-Autoeval, een 7B-parameter model ontworpen om nauwkeurigere voorspellingen te bieden over drie categorieën: semantische overeenstemming; fysieke gezond verstand; en regel naleving, fijngesteld op de VideoCon-Physics model met 50.000 menselijke annotaties*.

Gegevens en tests

Met deze tools op hun plaats, testten de auteurs een aantal generatieve video systemen, zowel via lokale installaties als, waar nodig, via commerciële API’s: CogVideoX-5B; VideoCrafter2; HunyuanVideo-13B; Cosmos-Diffusion; Wan2.1-14B; OpenAI Sora; en Luma Ray.

De modellen werden geprompt met up-onderschriften waar mogelijk, behalve dat Hunyuan Video en VideoCrafter2 onder 77-token CLIP beperkingen vallen, en kunnen geen prompts boven een bepaalde lengte accepteren.

De gegenereerde video’s werden beperkt tot minder dan 6 seconden, omdat kortere output gemakkelijker te evalueren is.

De stuurdata kwam uit de VideoPhy-2 dataset, die werd gesplitst in een benchmark en trainingsset. 590 video’s werden gegenereerd per model, behalve voor Sora en Ray2; vanwege de kostfactor (equivalente lagere aantallen video’s werden gegenereerd voor deze).

(Verwijs naar het bronpaper voor verdere evaluatie details, die uitgebreid worden beschreven daar)

De initiële evaluatie had betrekking op fysieke activiteiten/sport (PA) en object interacties (OI), en testte zowel de algemene dataset als de bovengenoemde ‘moeilijkere’ subset:

Resultaten van de eerste ronde.

Hierop merken de auteurs op:

‘Zelfs het best presterende model, Wan2.1-14B, haalt slechts 32,6% en 21,9% op de volledige en moeilijke splits van onze dataset, respectievelijk. De relatief sterke prestatie van dit model kan worden toegeschreven aan de diversiteit van zijn multimodale trainingsgegevens, evenals robuuste bewegingsfiltering die hoge kwaliteit video’s over een breed scala aan acties behoudt.

‘Bovendien observeren we dat gesloten modellen, zoals Ray2, slechter presteren dan open modellen zoals Wan2.1-14B en CogVideoX-5B. Dit suggereert dat gesloten modellen niet noodzakelijkerwijs superieur zijn aan open modellen in het vastleggen van fysieke gezond verstand.

‘Opvallend genoeg haalt Cosmos-Diffusion-7B de tweede beste score op de moeilijke split, zelfs beter presterend dan het veel grotere HunyuanVideo-13B model. Dit kan te wijten zijn aan de hoge vertegenwoordiging van menselijke acties in zijn trainingsgegevens, evenals synthetisch gegenereerde simulaties.’

De resultaten toonden aan dat video modellen meer worstelden met fysieke activiteiten zoals sport dan met eenvoudige object interacties. Dit suggereert dat het verbeteren van AI-gegenereerde video’s in dit gebied zal vereisen dat betere datasets worden gemaakt – met name hoge kwaliteit beelden van sporten zoals tennis, discus, honkbal en cricket.

De studie onderzocht ook of een model’s fysieke plausibiliteit correleerde met andere video kwaliteit metrics, zoals esthetiek en bewegingssmoothheid. De bevindingen toonden geen sterke correlatie, wat aangeeft dat een model zijn prestatie op VideoPhy-2 niet kan verbeteren door alleen visueel aantrekkelijke of vloeiende beweging te genereren – het heeft een dieper begrip van fysieke gezond verstand nodig.

Hoewel het paper een overvloed aan kwalitatieve voorbeelden biedt, lijken weinig van de statische voorbeelden die in het PDF worden geleverd, te maken te hebben met de uitgebreide video-voorbeelden die de auteurs op de project site ter beschikking stellen. Daarom zullen we een kleine selectie van de statische voorbeelden en enkele van de daadwerkelijke project video’s bekijken.

De bovenste rij toont video’s gegenereerd door Wan2.1. (a) In Ray2, blijft de jetski aan de linkerkant achter en beweegt vervolgens achteruit. (b) In Hunyuan-13B, deformatieert de sledgehammer halverwege de zwaai, en verschijnt een gebroken houten plank onverwachts. (c) In Cosmos-7B, werpt de speer zand uit voordat het contact maakt met de grond.

Met betrekking tot de bovenstaande kwalitatieve test, merken de auteurs op:

‘[We] observeren overtredingen van fysieke gezond verstand, zoals jetski’s die onnatuurlijk achteruit bewegen en deformatie van een solide sledgehammer, die de principes van elasticiteit tarten. Echter, zelfs Wan lijdt aan het gebrek aan fysieke gezond verstand, zoals te zien is in [de clip die aan het begin van dit artikel is ingebed].

‘In dit geval benadrukken we dat een steen begint te rollen en versnelt bergopwaarts, in strijd met de fysieke wet van de zwaartekracht.’

Verdere voorbeelden van de project site:

Click to play. Hier was de onderschrift ‘Een persoon wringt een natte handdoek uit, water spuit uit in een zichtbare boog’ – maar de resulterende bron van water lijkt meer op een waterslang dan op een handdoek.

Click to play. Hier was de onderschrift ‘Een chemicus giet een heldere vloeistof uit een bekerglas in een reageerbuis, waarbij hij zorgvuldig vermijdt te morsen’, maar we kunnen zien dat het volume water dat aan het bekerglas wordt toegevoegd, niet in overeenstemming is met het volume dat de kan verlaat.

Net zoals ik aan het begin zei, overschrijdt de hoeveelheid materiaal dat met dit project is geassocieerd, wat hier kan worden gedekt. Daarom verwijs ik naar het bronpaper, de project site en de eerder genoemde gerelateerde sites voor een uitgebreide beschrijving van de auteurs’ procedures en aanzienlijk meer testvoorbeelden en procedurele details.

* Wat de herkomst van de annotaties betreft, specificeert het paper alleen ‘verworven voor deze taken’ – het lijkt een hoop om door 12 AMT-werkers te zijn gegenereerd.

Eerst gepubliceerd op donderdag 13 maart 2025