Varför kan inte generativa videosystem skapa kompletta filmer?

Utvecklingen och framstegen inom generativ AI-video har fått många observatörer att förutsäga att maskinlärande kommer att visa sig vara dödsstöten för filmindustrin som vi känner den – istället kommer enskilda skapare att kunna skapa Hollywood-inspirerade blockbusters hemma, antingen på lokala eller molnbaserade GPU-system.

Är detta möjligt? Även om det är möjligt, är det omedelbart, som många tror?

Att individer så småningom kommer att kunna skapa filmer, i den form vi känner dem, med konsekventa karaktärer, berättelsekontinuitet och total fotorealism, är ganska möjligt – och kanske till och med oundvikligt.

Det finns dock flera verkligt grundläggande skäl till varför detta inte troligen kommer att ske med videosystem baserade på Latent Diffusion Models.

Denna sista punkt är viktig eftersom, för tillfället, denna kategori inkluderar varje populär text-till-video (T2) och bild-till-video (I2V) system som finns tillgängligt, inklusive Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (och, så långt vi kan avgöra, Adobe Fireflys väntade videofunktion); bland många andra.

Här överväger vi utsikten till sanna auteur fullängds gen-AI-produktioner, skapade av individer, med konsekventa karaktärer, cinematografi och visuella effekter som är åtminstone lika bra som den nuvarande tillståndet i Hollywood.

Låt oss ta en titt på några av de största praktiska hinder för utmaningarna som är involverade.

1: Du kan inte få en exakt uppföljningsbild

Berättelseinkonsekvens är det största av dessa hinder. Faktum är att inget nu tillgängligt videoskapande system kan skapa en verkligt exakt “uppföljningsbild”.

Detta beror på att denoising diffusion model i hjärtat av dessa system bygger på slumpmässig brus, och denna grundläggande princip är inte förenlig med att tolka exakt samma innehåll två gånger (dvs. från olika vinklar, eller genom att utveckla den tidigare bilden till en uppföljningsbild som upprätthåller konsekvens med den tidigare bilden).

Där textprompt används, antingen ensamma eller tillsammans med uppladdade “seed”-bilder (multimodal inmatning), kommer token som härrör från prompten att framkalla semantiskt lämpligt innehåll från den tränade latenta rummet i modellen.

Men, ytterligare hämmad av “slumpmässig brus”-faktorn, kommer det aldrig att göra det på samma sätt två gånger.

Detta innebär att identiteterna för personer i videon tenderar att skifta, och föremål och miljöer kommer inte att matcha den initiala bilden.

Detta är varför virala klipp som visar extraordinära visuella effekter och Hollywood-nivåutmatning tenderar att vara antingen enstaka bilder eller en “showcase-montage” av systemets förmågor, där varje bild visar olika karaktärer och miljöer.

Utdrag från en generativ AI-montage av Marco van Hylckama Vlieg – källa: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Implicationen i dessa samlingar av ad hoc videogenereringar (som kan vara oärliga i fallet med kommersiella system) är att det underliggande systemet kan skapa sammanhängande och konsekventa berättelser.

Analogen som utnyttjas här är en filmtrailer, som visar bara en eller två minuter av filmen, men ger publiken anledning att tro att hela filmen existerar.

De enda system som för närvarande erbjuder berättelsekonsekvens i en diffusionsmodell är de som producerar stillbilder. Dessa inkluderar NVIDIA’s ConsiStory, och diverse projekt i den vetenskapliga litteraturen, såsom TheaterGen, DreamStory, och StoryDiffusion.

Två exempel på ‘statisk’ berättelsekonsekvens, från nyliga modeller:: Källor: https://research.nvidia.com/labs/par/consistory/ och https://arxiv.org/pdf/2405.01434

I teorin kunde man använda en bättre version av sådana system (inga av ovanstående är riktigt konsekventa) för att skapa en serie bild-till-video-bilder, som kunde strängas samman till en sekvens.

Men vid den nuvarande tillståndet i konsten, producerar denna metod inte trovärdiga uppföljningsbilder; och, i vilket fall som helst, har vi redan avvikit från auteur-drömmen genom att lägga till ett lager av komplexitet.

Vi kan, dessutom, använda Low Rank Adaptation (LoRA) modeller, specifikt tränade på karaktärer, saker eller miljöer, för att upprätthålla bättre konsekvens över bilder.

Men, om en karaktär vill dyka upp i en ny kostym, krävs vanligtvis en helt ny LoRA som omfattar karaktären i den dräkten (även om underkoncept som “röd klänning” kan tränas in i enskilda LoRAs, tillsammans med passande bilder, är de inte alltid lätta att arbeta med).

Detta tillför betydande komplexitet, även till en öppningsscen i en film, där en person går ut ur sängen, sätter på en morgonrock, gäspande, tittar ut genom sovrumsfönstret och går till badrummet för att borsta tänderna.

Sådan scen, som innehåller ungefär 4-8 bilder, kan filmas på en morgon med konventionella filmproduktionsförfaranden; vid den nuvarande tillståndet i konsten för generativ AI, representerar det potentiellt veckor av arbete, flera tränade LoRAs (eller andra tillhörande system), och en betydande mängd efterbearbetning

Alternativt kan video-till-video användas, där vardagliga eller CGI-bilder omvandlas genom textprompt till alternativa tolkningar. Runway erbjuder ett sådant system, till exempel.

CGI (vänster) från Blender, tolkad i en textbaserad Runway video-till-video-experiment av Mathieu Visnjevec – Källa: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Det finns två problem här: du måste redan skapa den grundläggande bilden, så du skapar redan filmen två gånger, även om du använder ett syntetiskt system som UnReals MetaHuman.

Om du skapar CGI-modeller (som i klippet ovan) och använder dem i en video-till-bild-omvandling, kan deras konsekvens över bilder inte lita på.

Detta beror på att video-diffusionsmodeller inte ser “den stora bilden” – snarare skapar de en ny bild baserad på tidigare bild/er, och i vissa fall, överväga en närliggande framtida bild; men, för att jämföra processen med ett schackspel, kan de inte tänka “tio drag framåt”, och kan inte komma ihåg tio drag bakåt.

Andra, en diffusionsmodell kommer fortfarande att kämpa för att upprätthålla ett konsekvent utseende över bilderna, även om du inkluderar flera LoRAs för karaktär, miljö och ljusstil, av skäl som nämns i början av denna sektion.

2: Du kan inte redigera en bild lätt

Om du visar en karaktär som går nerför en gata med hjälp av traditionella CGI-metoder, och du bestämmer dig för att ändra något aspekt av bilden, kan du justera modellen och rendera den igen.

Om det är en riktig inspelning, kan du bara återställa och spela in den igen, med lämpliga ändringar.

Men, om du producerar en gen-AI-video-bild som du älskar, men vill ändra en aspekt av den, kan du bara uppnå detta genom smärtsamma efterbearbetningsmetoder som utvecklats under de senaste 30-40 åren: CGI, rotoscoping, modellering och matning – alla arbetskrävande och dyra, tidskrävande procedurer.

Sättet som diffusionsmodeller fungerar på, ändrar enkelt ändring av en aspekt av en textprompt (även i en multimodal prompt, där du tillhandahåller en fullständig källbild) kommer att ändra flera aspekter av den genererade utmatningen, vilket leder till enlek “whack-a-mole”.

3: Du kan inte lita på fysikens lagar

Traditionella CGI-metoder erbjuder en mängd algoritmiska fysikbaserade modeller som kan simulera saker som fluiddynamik, gasrörelse, invers kinematik (den exakta modelleringen av mänsklig rörelse), tygdynamik, explosioner och diverse andra verkliga fenomen.

Men, diffusionsbaserade metoder, som vi har sett, har korta minnen, och också en begränsad mängd rörelsepriorer (exempel på sådana handlingar, inkluderade i träningsdatauppsättningen) att dra på.

I en tidigare version av OpenAI:s landningssida för det berömda Sora-generativa systemet, medgav företaget att Sora har begränsningar i detta avseende (även om denna text har tagits bort):

‘[Sora] kan ha svårt att simulera fysiken i en komplex scen, och kan inte förstå specifika instanser av orsak och verkan (till exempel: en kaka kanske inte visar ett märke efter att en karaktär bitit i den).

‘Modellen kan också förväxla spatiala detaljer som ingår i en prompt, såsom att skilja vänster från höger, eller kämpa med precisa beskrivningar av händelser som utvecklas över tid, som specifika kamerabanor.’

Den praktiska användningen av olika API-baserade generativa videosystem avslöjar liknande begränsningar i att avbilda korrekt fysik. Men vissa vanliga fysiska fenomen, som explosioner, verkar vara bättre representerade i deras träningsdatauppsättningar.

Vissa rörelseprioreringsinbäddningar, antingen tränade in i den generativa modellen eller matade in från en källvideo, tar en stund att slutföra (såsom en person som utför en komplex och icke-repetitiv danssekvens i en elegant kostym) och, än en gång, diffusionsmodellens myopiska uppmärksamhetsfönster är troligen att omvandla innehållet (ansikts-ID, kostymdetaljer etc.) när rörelsen har spelat ut. Men LoRAs kan mildra detta, till en viss grad.

Fixa det i efterbearbetning

Det finns andra brister i ren “enkel användare” AI-videogenerering, såsom svårigheten de har i att avbilda snabba rörelser, och det allmänna och mer pressande problemet att få temporal konsekvens i utmatningsvideo.

Dessutom är skapandet av specifika ansiktsprestationer nästan uteslutande en fråga om tur i generativ video, liksom lip-sync för dialog.

I båda fallen är användningen av hjälpsystem som LivePortrait och AnimateDiff blir allt mer populärt i VFX-samhället, eftersom detta tillåter överföring av åtminstone breda ansiktsuttryck och lip-sync till befintlig genererad utmatning.

Ett exempel på uttrycksöverföring (drivande video i nedre vänster) som påförs en målbild med LivePortrait. Videon är från Generative Z TunisiaGenerative. Se den fullständiga versionen i bättre kvalitet på https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Ytterligare, en mängd komplexa lösningar, som omfattar verktyg som Stable Diffusion GUI ComfyUI och den professionella kompositions- och manipuleringsapplikationen Nuke, samt latenta rumshantering, tillåter AI-VFX-utövare att få större kontroll över ansiktsuttryck och disposition.

Även om han beskriver processen för ansiktsanimering i ComfyUI som “pinning”, har VFX-proffs Francisco Contreras utvecklat en sådan process, som tillåter påföring av lip-fonem och andra aspekter av ansikts-/huvudavbildning

Stable Diffusion, hjälpt av en Nuke-aktiverad ComfyUI-arbetsflöde, tillåter VFX-proffs Francisco Contreras att få ovanlig kontroll över ansiktsaspekter. För den fullständiga videon, i bättre upplösning, gå till https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Slutsats

Ingenting av detta är lovande för utsikten till en ensam användare som genererar sammanhängande och fotorealistiska blockbusters-inspirerade fullängdsfilmer, med realistisk dialog, lip-sync, prestationer, miljöer och kontinuitet.

Dessutom är de hinder som beskrivs här, åtminstone i relation till diffusionsbaserade generativa videomodeller, inte nödvändigtvis lösbara “inom en snar framtid”, trots forumkommentarer och mediabevakning som gör detta påstående. De begränsningar som beskrivs verkar vara inbyggda i arkitekturen.

I AI-syntesforskning, som i all vetenskaplig forskning, dazzlar ibland lysande idéer oss med sin potential, bara för att ytterligare forskning ska avslöja deras grundläggande begränsningar.

I generativ/syntes-området har detta redan hänt med Generative Adversarial Networks (GANs) och Neural Radiance Fields (NeRF), som båda visade sig vara mycket svåra att instrumentaliera till presterande kommersiella system, trots år av akademisk forskning mot detta mål. Dessa teknologier dyker nu upp oftast som adjungerande komponenter i alternativa arkitekturer.

Mycket som filmstudior kan hoppas att utbildning på legitimt licensierade filmkataloger skulle eliminera VFX-artister, lägger AI faktiskt till roller i arbetskraften just nu.

Om diffusionsbaserade videosystem verkligen kan omvandlas till berättelsekonsekventa och fotorealistiska filmgeneratorer, eller om hela affären är bara ett annat alkemistiskt företag, bör detta bli tydligt under de kommande 12 månaderna.

Det kan vara så att vi behöver ett helt nytt tillvägagångssätt; eller så kan Gaussian Splatting (GSplat), som utvecklades i början av 1990-talet och nyligen tagit fart i bildsyntesområdet, representera ett potentiellt alternativ till diffusionsbaserad videogenerering.

Eftersom GSplat tog 34 år att komma till framsidan, är det möjligt att äldre utmanare som NeRF och GANs – och till och med latent diffusionsmodeller – ännu inte har haft sin dag.

* Även om Kaibers AI Storyboard-funktion erbjuder denna typ av funktionalitet, är resultaten jag har sett inte av produktionkvalitet.

Martin Anderson är den tidigare chefen för vetenskaplig forskningsinnehåll på metaphysic.ai
Först publicerad måndag, 23 september 2024