Hvorfor kan ikke generative videosystemer lage fullstendige filmer?

Oppfinnelsen og fremgangen av generativ AI-video har ført mange til å forutsi at maskinlæring vil vise seg å være døden for filmindustrien som vi kjenner den – i stedet vil enkeltpersoner kunne lage Hollywood-liknende blockbuster-filmer hjemme, enten på lokale eller skybaserte GPU-systemer.

Er dette mulig? Selv om det er mulig, er det forestående, som mange tror?

At enkeltpersoner til slutt vil kunne lage filmer, i den formen vi kjenner dem, med konsistente karakterer, narrativ kontinuitet og total fotorealistisk, er ganske mulig – og kanskje sogar uunngåelig.

Det er imidlertid flere fundamentale grunner til at dette ikke er sannsynlig å skje med videosystemer basert på Latent Diffusion Models.

Dette siste faktum er viktig fordi, for tiden, denne kategorien inkluderer hver populær tekst-til-video (T2) og bilde-til-video (I2V) system tilgjengelig, inkludert Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (og, så langt vi kan se, Adobe Fireflys forestående videofunksjonalitet); blant mange andre.

Her, vurderer vi prospektet for sanne auteur fullstendige gen-AI-produksjoner, skapt av enkeltpersoner, med konsistente karakterer, kinematografi og visuelle effekter som er minst like gode som den nåværende tilstanden i Hollywood.

La oss se på noen av de største praktiske hindringene for utfordringene som er involvert.

1: Du kan ikke få en nøyaktig oppfølgende skudd

Narrativ inkonsistens er den største av disse hindringene. Faktum er at ingen nåværende video-genereringssystem kan lage et virkelig nøyaktig ‘oppfølgende skudd’.

Dette skyldes at denoising diffusion model i hjertet av disse systemene avhenger av tilfeldig støy, og denne grunnleggende prinsippet er ikke åpne for å tolke nøyaktig samme innhold to ganger (dvs. fra forskjellige vinkler, eller ved å utvikle det forrige skuddet til et oppfølgende skudd som opprettholder konsistens med det forrige skuddet).

Når tekstpromptene brukes, alene eller sammen med lastede ‘seed’-bilder (multimodal input), vil tokenene som er avledet fra prompten fremkalle semantisk-egnet innhold fra den trenede latente rommet i modellen.

Men, ytterligere hindret av ’tilfeldig støy’-faktoren, vil det aldri gjøre det samme måten to ganger.

Dette betyr at identitetene til personer i videoen vil tendere til å skifte, og objekter og miljøer vil ikke matche det innledende skuddet.

Dette er hvorfor virale klipp som viser ekstraordinære visuelle og Hollywood-nivå utgang tendrer til å være enten enkelt skudd, eller en ‘showcase-montasje’ av systemets evner, hvor hvert skudd viser forskjellige karakterer og miljøer.

Utdrag fra en generativ AI-montasje fra Marco van Hylckama Vlieg – kilde: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Implikasjonen i disse samlingene av ad hoc video-genereringer (som kan være svikende i tilfelle av kommersielle systemer) er at det underliggende systemet kan lage sammenhengende og konsistente narrativer.

Analogien som utnyttes her er en film-trailer, som viser bare ett eller to minutter med filmklipp fra filmen, men gir publikum grunn til å tro at hele filmen eksisterer.

De eneste systemene som for tiden tilbyr narrativ konsistens i en diffusjonsmodell er de som produserer stille bilder. Disse inkluderer NVIDIA’s ConsiStory, og diverse prosjekter i den vitenskapelige litteraturen, som TheaterGen, DreamStory, og StoryDiffusion.

To eksempler på ‘statiske’ narrative konsistens, fra nyere modeller:: Kilder: https://research.nvidia.com/labs/par/consistory/ og https://arxiv.org/pdf/2405.01434

I teorien kunne man bruke en bedre versjon av slike systemer (ingen av disse er virkelig konsistente) til å lage en serie av bilde-til-video-skudd, som kunne strenges sammen til en sekvens.

Ved den nåværende tilstanden av kunnskapen, fungerer ikke denne tilnærmingen for å produsere plausibele oppfølgende skudd; og, i alle fall, har vi allerede forlatt auteur-drømmen ved å legge til et lag av kompleksitet.

Vi kan, i tillegg, bruke Low Rank Adaptation (LoRA) modeller, spesifikt trenet på karakterer, ting eller miljøer, for å opprettholde bedre konsistens over skudd.

Men, hvis en karakter ønsker å dukke opp i en ny drakt, vil en helt ny LoRA vanligvis trenes for å inkorporere karakteren i den drakten (selv om underkonsepter som ‘rød kjole’ kan trenes inn i enkelt LoRAs, sammen med passende bilder, er de ikke alltid lett å arbeide med).

Dette legger til betydelig kompleksitet, selv til en åpningsscene i en film, hvor en person kommer ut av sengen, tar på en morgenkåpe, gaper, ser ut av soveromsvinduet og går til badet for å børste tennene.

Slik en scene, som inneholder omtrent 4-8 skudd, kan filmes på en morgen med konvensjonelle filmprosedyrer; ved den nåværende tilstanden av kunnskapen i generativ AI, kan det potensielt representere uker med arbeid, multiple trenede LoRAs (eller andre hjelpesystemer), og en betydelig mengde post-prosessering

Alternativt kan video-til-video brukes, hvor hverdags- eller CGI-klipp kan transformeres gjennom tekst-prompt til alternative tolkninger. Runway tilbyr et slikt system, for eksempel.

CGI (venstre) fra Blender, tolket i en tekst-aided Runway video-til-video-eksperiment av Mathieu Visnjevec – Kilde: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Det er to problemer her: du må allerede lage det grunnleggende filmklippet, så du lager allerede filmen to ganger, selv om du bruker et syntetisk system som UnReals MetaHuman.

Hvis du lager CGI-modeller (som i klippet over) og bruker disse i en video-til-bilde-transformasjon, kan konsistensen over skudd ikke pålitest.

Dette skyldes at video-diffusjonsmodellene ikke ser ‘det store bildet’ – snarere, de lager en ny ramme basert på forrige ramme/r, og, i noen tilfeller, vurdere en nærliggende fremtidig ramme; men, å sammenligne prosessen med et sjakkspill, kan de ikke tenke ‘ti trekk fremover’, og kan ikke huske ti trekk bakover.

For det andre, vil en diffusjonsmodell fortsatt slite med å opprettholde en konsistent utseende over skuddene, selv om du inkluderer flere LoRAs for karakter, miljø og lysstil, av grunner nevnt i begynnelsen av denne delen.

2: Du kan ikke redigere et skudd lett

Hvis du avbilder en karakter som går ned en gate med gamle skole CGI-metoder, og du bestemmer deg for å endre et aspekt av skuddet, kan du justere modellen og rendre det igjen.

Hvis det er en virkelig innspilling, kan du bare resette og spille det igjen, med de riktige endringene.

Men, hvis du produserer et gen-AI video-skudd som du elsker, men ønsker å endre ett aspekt av det, kan du bare oppnå dette ved smertefulle post-prosessering metoder utviklet over de siste 30-40 årene: CGI, rotoscoping, modellering og matting – alle arbeidskrevende og dyre, tidskrevende prosedyrer.

Måten diffusjonsmodellene fungerer på, vil bare å endre ett aspekt av en tekst-prompt (selv i en multimodal prompt, hvor du gir en fullstendig kilde-bilde) endre flere aspekter av det genererte utgangen, og føre til en spill av prompting ‘whack-a-mole’.

3: Du kan ikke stole på fysikkens lover

Tradisjonelle CGI-metoder tilbyr en rekke algoritmbaserte fysikk-baserte modeller som kan simulere ting som fluiddynamikk, gassbevegelse, inverse kinematik (nøyaktig modellering av menneskelig bevegelse), klesdynamikk, eksplosjoner og diverse andre virkelige fenomener.

Men, diffusjonsbaserte metoder, som vi har sett, har kort minne, og også en begrenset rekke bevegelses-priorer (eksempler på slike handlinger, inkludert i treningsdatasettet) å trekke på.

I en tidligere versjon av OpenAIs landingsside for den anerkjente Sora-genererings-systemet, innrømmet selskapet at Sora har begrensninger på dette området (selv om denne teksten har blitt fjernet):

‘[Sora] kan slite med å simulere fysikken i en kompleks scene, og kan ikke forstå bestemte eksempler på årsak og virkning (for eksempel: en kjeks kan ikke vise et merke etter at en karakter biter det).

‘Modellen kan også forvirre romlige detaljer inkludert i en prompt, som å skille venstre fra høyre, eller slite med presise beskrivelser av hendelser som utvikler seg over tid, som bestemte kamera-traektorier.’

Den praktiske bruken av ulike API-baserte generative video-systemer avslører lignende begrensninger i å avbilde nøyaktig fysikk. Men, visse vanlige fysiske fenomener, som eksplosjoner, synes å være bedre representert i deres treningsdatasett.

Noen bevegelses-prior-embeddings, enten trenet inn i genereringsmodellen eller fedt inn fra en kilde-video, tar en stund å fullføre (slik som en person som utfører en kompleks og ikke-repetitiv danssekvens i en intrikat kostyme) og, igjen, vil diffusjonsmodellens myopiske vindu av oppmerksomhet sannsynligvis transformere innholdet (ansikts-ID, kostymedetaljer osv.) når bevegelsen har spilt ut. Men, LoRAs kan mildne dette, til en viss grad.

Fixing It in Post

Det er andre mangler ved ren ‘enkel bruker’ AI-video-generering, som vanskelighetene de har i å avbilde raske bevegelser, og det generelle og langt mer presserende problemet med å oppnå tidskonsistens i utgangs-videoen.

I tillegg, er å lage spesifikke ansikts-prestasjoner nesten bare et spørsmål om flaks i generativ video, likeså er lip-sync for dialog.

I begge tilfeller, er bruken av hjelpesystemer som LivePortrait og AnimateDiff blir stadig mer populært i VFX-samfunnet, siden dette tillater transponering av minst bredt ansikts-uttrykk og lip-sync til eksisterende generert utgang.

Et eksempel på uttrykks-overføring (drivende video i nedre venstre) påført en mål-video med LivePortrait. Videoen er fra Generative Z TunisiaGenerative. Se hele videoen i bedre kvalitet på https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Fortsatt, en mengde komplekse løsninger, som inkorporerer verktøy som Stable Diffusion GUI ComfyUI og det profesjonelle komposisjons- og manipulasjons-programmet Nuke, samt latent-rom-manipulering, tillater AI-VFX-utøvere å få større kontroll over ansikts-uttrykk og holdning.

Selv om han beskriver prosessen med ansikts-animasjon i ComfyUI som ‘pinlig’, har VFX-proff Francisco Contreras utviklet en slik prosess, som tillater påføring av lip-fonemer og andre aspekter av ansikts-/hode-avbildning

Stable Diffusion, hjulpet av en Nuke-drevet ComfyUI-arbeidsflyt, tillot VFX-proff Francisco Contreras å få uvanlig kontroll over ansikts-aspekter. For hele videoen, i bedre oppløsning, gå til https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Konklusjon

Ingen av dette er lovende for prospektet om en enkelt bruker som genererer kohesive og fotorealistiske blockbuster-liknende fullstendige filmer, med realistisk dialog, lip-sync, prestasjoner, miljøer og kontinuitet.

Fortsatt, hindringene som er beskrevet her, i alle fall i forhold til diffusjons-baserte generative video-modeller, er ikke nødvendigvis løsbare ‘noen gang’ nå, til tross for forum-kommentarer og medie-oppmerksomhet som gjør dette krav. Begrensningene som er beskrevet, synes å være innebygget i arkitekturen.

I AI-syntese-forskning, som i all vitenskapelig forskning, skinner geniale ideer periodisk oss med deres potensiale, bare for videre forskning å avdekke deres grunnleggende begrensninger.

I generativ/syntese-rommet, har dette allerede skjedd med Generative Adversarial Networks (GANs) og Neural Radiance Fields (NeRF), begge som til slutt viste seg å være svært vanskelige å instrumentaliserer til performant kommersielle systemer, til tross for år med akademisk forskning mot dette målet. Disse teknologiene viser nå opp mest som hjelpesystemer i alternative arkitekturer.

Mye som filmstudioer kan håpe at trening på legitimt lisensiert filmkataloger kunne eliminere VFX-artister, legger AI faktisk til roller til arbeidsstyrken for tiden.

Om diffusjons-baserte video-systemer virkelig kan transformeres til narrativt-konsistente og fotorealistiske film-genereringer, eller om hele forretningen bare er et annet alchemistisk forsøk, burde bli tydelig over de neste 12 månedene.

Det kan være at vi trenger en helt ny tilnærming; eller det kan være at Gaussian Splatting (GSplat), som ble utviklet i tidlige 1990-årene og nylig tok av i bilde-syntese-rommet, representerer en potensiell alternativ til diffusjons-basert video-generering.

Siden GSplat tok 34 år å komme til fremtreden, er det mulig også at eldre kandidater som NeRF og GANs – og selv latent diffusjons-modeller – ennå ikke har hatt sin dag.

* Selv om Kaibers AI Storyboard-funksjon tilbyr denne type funksjonalitet, er resultater jeg har sett ikke produksjonskvalitet.

Martin Anderson er tidligere sjef for vitenskapelig forskningsinnhold ved metaphysic.ai
Først publisert mandag, 23. september 2024