Waarom kunnen generatieve videosystemen geen complete films maken?

De ontwikkeling en vooruitgang van generatieve AI-video hebben veel casual waarnemers ertoe gebracht te voorspellen dat machine learning het einde van de filmindustrie zoals we die kennen, zal betekenen – in plaats daarvan kunnen einzelgangers Hollywood-stijl blockbusters creëren bij hen thuis, op lokale of cloud-gebaseerde GPU-systemen.

Is dit mogelijk? Zelfs als het mogelijk is, is het imminent, zoals veel mensen geloven?

Dat individuen uiteindelijk films kunnen creëren, in de vorm die we kennen, met consistente personages, narratieve continuïteit en totale fotorealisme, is heel goed mogelijk – en misschien zelfs onvermijdelijk.

Er zijn echter verschillende fundamentele redenen waarom dit niet waarschijnlijk zal gebeuren met videosystemen gebaseerd op Latent Diffusion Models.

Deze laatste feiten zijn belangrijk omdat, op dit moment, deze categorie elke populaire tekst-naar-video (T2) en image-naar-video (I2V) systeem omvat, inclusief Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (en, voor zover we kunnen zien, Adobe Firefly’s aankomende videofunctionaliteit); onder veel anderen.

Hier overwegen we de mogelijkheid van echte auteur full-length gen-AI-producties, gemaakt door individuen, met consistente personages, cinematografie en visuele effecten die minstens gelijk zijn aan de huidige stand van de techniek in Hollywood.

Laten we eens kijken naar enkele van de grootste praktische obstakels voor de uitdagingen die hierbij komen kijken.

1: Je kunt geen nauwkeurige follow-up shot krijgen

Narratieve inconsistentie is de grootste van deze obstakels. Het feit is dat geen enkel momenteel beschikbaar videosysteem een echt nauwkeurige ‘follow-up’ shot kan maken*.

Dit komt omdat het denoising diffusion model in het hart van deze systemen afhankelijk is van random noise, en dit centrale principe is niet vatbaar voor het opnieuw interpreteren van exact dezelfde inhoud twee keer (d.w.z. vanuit verschillende hoeken, of door de vorige shot te ontwikkelen tot een follow-up shot dat consistent is met de vorige shot).

Waar tekstprompts worden gebruikt, alleen of samen met geüploade ‘seed’ images (multimodale invoer), zullen de tokens die zijn afgeleid van de prompt semantisch geschikte inhoud oproepen uit de getrainde latent space van het model.

Maar verder wordt dit belemmerd door het ‘random noise’ factor, en zal het nooit op dezelfde manier doen.

Dit betekent dat de identiteiten van personen in de video zullen neigen naar verschuiving, en objecten en omgevingen zullen niet overeenkomen met de initiële shot.

Dit is waarom virale clips met buitengewone visuals en Hollywood-niveau output meestal enkelvoudige shots zijn, of een ‘showcase montage’ van de mogelijkheden van het systeem, waar elke shot verschillende personages en omgevingen heeft.

Uit een generatieve AI-montage van Marco van Hylckama Vlieg – bron: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

De implicatie in deze verzamelingen van ad hoc video-generaties (die in het geval van commerciële systemen onoprecht kunnen zijn) is dat het onderliggende systeem kan aaneengesloten en consistente verhalen creëren.

De analogie die hier wordt uitgebuit, is een filmtrailer, die slechts een minuut of twee beeldmateriaal uit de film bevat, maar de kijker reden geeft om te geloven dat de hele film bestaat.

De enige systemen die momenteel narratieve consistentie bieden in een diffusiemodel, zijn die welke stilbeelden produceren. Deze omvatten NVIDIA’s ConsiStory, en diverse projecten in de wetenschappelijke literatuur, zoals TheaterGen, DreamStory, en StoryDiffusion.

Twee voorbeelden van ‘statische’ narratieve consistentie, van recente modellen:: Bronnen: https://research.nvidia.com/labs/par/consistory/ en https://arxiv.org/pdf/2405.01434

In theorie kun je een betere versie van dergelijke systemen gebruiken (geen van de bovenstaande zijn echt consistent) om een reeks image-naar-video-shots te creëren, die kunnen worden samengesteld tot een sequentie.

Op het huidige niveau van de techniek produceert deze aanpak geen geloofwaardige follow-up shots; en, in elk geval, zijn we al afgedwaald van de auteur droom door een laag complexiteit toe te voegen.

We kunnen ook Low Rank Adaptation (LoRA) modellen gebruiken, specifiek getraind op personages, dingen of omgevingen, om betere consistentie over shots te behouden.

Maar als een personage in een nieuwe jurk wil verschijnen, moet meestal een geheel nieuwe LoRA worden getraind die het personage in die jurk belichaamt (hoewel sub-concepten zoals ‘rode jurk’ in afzonderlijke LoRA’s kunnen worden getraind, samen met passende afbeeldingen, zijn ze niet altijd gemakkelijk te gebruiken).

Dit voegt aanzienlijke complexiteit toe, zelfs aan een openingscène in een film, waarin een persoon uit bed komt, een badjas aantrekt, gaapt, uit het slaapkamerraam kijkt en naar de badkamer gaat om zijn tanden te poetsen.

Een dergelijke scène, met ongeveer 4-8 shots, kan in één ochtend worden gefilmd met conventionele filmtechnieken; op het huidige niveau van de techniek in generatieve AI, kan dit potentieel weken van werk vertegenwoordigen, meerdere getrainde LoRA’s (of andere aanvullende systemen), en een aanzienlijke hoeveelheid post-productie

Als alternatief kan video-naar-video worden gebruikt, waarbij alledaagse of CGI-beelden worden getransformeerd via tekstprompts in alternatieve interpretaties. Runway biedt een dergelijk systeem, bijvoorbeeld.

CGI (links) van Blender, geïnterpreteerd in een tekst-geassisteerde Runway video-naar-video-experiment door Mathieu Visnjevec – Bron: https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Er zijn twee problemen hier: je moet al het core-materiaal creëren, dus je maakt de film twice, zelfs als je een synthetisch systeem zoals UnReal’s MetaHuman gebruikt.

Als je CGI-modellen (zoals in de clip hierboven) gebruikt en deze in een video-naar-image-transformatie gebruikt, kan de consistentie over shots niet worden vertrouwd.

Dit komt omdat video-diffusiemodellen het ‘grote plaatje’ niet zien – in plaats daarvan creëren ze een nieuwe frame op basis van de vorige frame/s, en, in sommige gevallen, overwegen ze een nabije toekomstige frame; maar, om het proces te vergelijken met een schaakspel, kunnen ze niet ‘tien zetten vooruit’ denken, en kunnen ze niet ‘tien zetten achteruit’ onthouden.

Ten tweede zal een diffusiemodel nog steeds moeite hebben om een consistent uiterlijk over de shots te behouden, zelfs als je meerdere LoRA’s voor personage, omgeving en lichtstijl opneemt, om redenen die aan het begin van deze sectie worden genoemd.

2: Je kunt een shot niet gemakkelijk bewerken

Als je een personage laat lopen over een straat met ouderwetse CGI-methoden, en je besluit dat je een aspect van de shot wilt veranderen, kun je het model aanpassen en opnieuw renderen.

Als het een echte opname is, reset je het gewoon en neem je het opnieuw, met de passende veranderingen.

Maar als je een gen-AI-video-shot produceert die je leuk vindt, maar waarvan je één aspect wilt veranderen, kun je dit alleen bereiken door pijnlijke post-productie-methoden die in de afgelopen 30-40 jaar zijn ontwikkeld: CGI, rotoscoping, modellering en matting – allemaal arbeidsintensieve en dure, tijdrovende procedures.

De manier waarop diffusiemodellen werken, verandert simpelweg één aspect van een tekstprompt (zelfs in een multimodale prompt, waarbij je een complete bronseed-afbeelding biedt) en zal meerdere aspecten van de gegenereerde output veranderen, waardoor een spel van prompting ‘whack-a-mole’ ontstaat.

3: Je kunt je niet verlaten op de wetten van de fysica

Traditionele CGI-methoden bieden een verscheidenheid aan algoritme-gebaseerde fysica-modellen die dingen zoals vloeistofdynamica, gasbeweging, inverse kinematica (de nauwkeurige modellering van menselijke beweging), kledingdynamica, explosies en diverse andere echte fenomenen kunnen simuleren.

Diffusie-gebaseerde methoden, zoals we hebben gezien, hebben een kort geheugen, en ook een beperkt bereik van motion priors (voorbeelden van dergelijke acties, opgenomen in de trainingsdataset) om op terug te vallen.

In een eerder versie van OpenAI’s landingspagina voor het bekroonde Sora-generatieve systeem, gaf het bedrijf toe dat Sora beperkingen heeft op dit gebied (hoewel deze tekst inmiddels is verwijderd):

‘[Sora] kan moeite hebben om de fysica van een complexe scène te simuleren, en kan specifieke voorbeelden van oorzaak en gevolg niet begrijpen (bijvoorbeeld: een koekje kan geen spoor vertonen nadat een personage erin heeft gebeten).

‘Het model kan ook ruimtelijke details in een prompt verwarren, zoals onderscheiden tussen links en rechts, of worstelen met precieze beschrijvingen van gebeurtenissen die zich over tijd ontvouwen, zoals specifieke cameratrajecten.’

De praktische toepassing van verschillende API-gebaseerde generatieve videosystemen onthult soortgelijke beperkingen in het weergeven van accurate fysica. Echter, bepaalde algemene fysieke fenomenen, zoals explosies, lijken beter te worden weergegeven in hun trainingsdatasets.

Sommige motion prior embeddings, die zijn getraind in het generatieve model of worden gevoed vanuit een bronvideo, duren even om te voltooien (zoals een persoon die een complexe en niet-repetitieve danssequentie uitvoert in een ingewikkeld kostuum) en, opnieuw, is het diffusiemodels myope venster van aandacht waarschijnlijk om de inhoud (faciale ID, kostuumdetails, enz.) te transformeren zodra de beweging is voltooid. Echter, LoRAs kunnen dit enigszins mitigeren.

Fixing It in Post

Er zijn andere tekortkomingen van pure ‘single user’ AI-video-generatie, zoals de moeite die ze hebben om snelle bewegingen weer te geven, en het algemene en veel dringendere probleem van het verkrijgen van temporele consistentie in de uitvoervideo.

Bovendien is het creëren van specifieke faciale prestaties vrijwel een kwestie van geluk in generatieve video, evenals lip-sync voor dialoog.

In beide gevallen wordt de toepassing van hulp-systemen zoals LivePortrait en AnimateDiff steeds populairder in de VFX-gemeenschap, aangezien dit de overdracht van ten minste brede faciale expressie en lip-sync naar bestaande gegenereerde output mogelijk maakt.

Een voorbeeld van expressie-overdracht (rijden video in linkeronderhoek) die wordt opgelegd op een doelvideo met LivePortrait. De video is van Generative Z TunisiaGenerative. Bekijk de volledige versie in betere kwaliteit op https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Verder bieden een groot aantal complexe oplossingen, waaronder tools zoals de Stable Diffusion GUI ComfyUI en de professionele compositie- en manipulatie-toepassing Nuke, evenals latent space-manipulatie, AI-VFX-practitioners in staat om meer controle te krijgen over faciale expressie en dispositie.

Hoewel hij beschrijft het proces van faciale animatie in ComfyUI als ‘marteling’, heeft VFX-professional Francisco Contreras een dergelijk proces ontwikkeld, dat de oplegging van lip-phonemen en andere aspecten van faciale/hoofd-weergave mogelijk maakt

Stable Diffusion, geholpen door een Nuke-gebaseerde ComfyUI-workflow, stelde VFX-pro Francisco Contreras in staat om ongebruikelijke controle te krijgen over faciale aspecten. Voor de volledige video, in betere resolutie, ga naar https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Conclusie

Geen van deze dingen is veelbelovend voor de mogelijkheid van een enkele gebruiker om coherente en fotorealistische blockbuster-stijl full-length films te genereren, met realistische dialoog, lip-sync, prestaties, omgevingen en continuïteit.

Verder zijn de obstakels die hier worden beschreven, ten minste in verband met diffusie-gebaseerde generatieve video-modellen, niet noodzakelijkerwijs oplosbaar ‘binnenkort’, ondanks forumopmerkingen en media-aandacht die dit beweren. De beperkingen die hier worden beschreven, lijken intrinsiek te zijn aan de architectuur.

In AI-synthese-onderzoek, net als in alle wetenschappelijk onderzoek, verblinden briljante ideeën ons soms met hun potentieel, alleen om verder onderzoek te doen naar hun fundamentele beperkingen.

In de generatieve/synthese-ruimte is dit al gebeurd met Generatieve Adversarial Networks (GANs) en Neurale Radiance Fields (NeRF), die uiteindelijk allebei heel moeilijk bleken te zijn om te instrumentaliseren in prestatie-commerciële systemen, ondanks jaren van academisch onderzoek naar dat doel. Deze technologieën verschijnen nu meestal als onderdelen in alternatieve architectuur.

Net zoals filmstudio’s hopen dat trainen op legitiem gelicenceerde filmcatalogi VFX-artiesten kan elimineren, voegt AI eigenlijk rollen toe aan de werkgelegenheid op dit moment.

Of diffusie-gebaseerde videosystemen echt kunnen worden getransformeerd in narratief-consistente en fotorealistische filmgeneratoren, of dat het hele bedrijf gewoon nog een alchemistische onderneming is, zal de komende 12 maanden duidelijk worden.

Misschien hebben we een geheel nieuwe aanpak nodig; of misschien vertegenwoordigt Gaussian Splatting (GSplat), dat in de vroege jaren 90 is ontwikkeld en onlangs in populariteit is gestegen in de image-synthese-ruimte, een potentieel alternatief voor diffusie-gebaseerde video-generatie.

Daar GSplat 34 jaar nodig had om naar voren te komen, is het mogelijk dat oudere kandidaten zoals NeRF en GANs – en zelfs latent diffusiemodellen – nog hun dag moeten meemaken.

* Hoewel Kaiber’s AI Storyboard-functie deze functionaliteit biedt, zijn de resultaten die ik heb gezien niet van productiekwaliteit.

Martin Anderson is de voormalige hoofd van wetenschappelijk onderzoeksinhoud bij metaphysic.ai
Eerst gepubliceerd op maandag 23 september 2024