Proč nemohou generativní video systémy vytvářet kompletní filmy?

Vznik a vývoj generativních AI videí vedly mnoho pozorovatelů k předpovědi, že strojové učení bude znamenat konec filmového průmyslu, jak jej známe – místo toho budou jednotliví tvůrci moci vytvářet hollywoodské filmy doma, buď na místních nebo cloudových systémech GPU.

Je to možné? I kdyby to bylo možné, je to blízko, jak si mnoho lidí myslí?

Že jednotlivci budou nakonec moci vytvářet filmy, v podobě, jak je známe, s konzistentními postavami, narativní kontinuitou a absolutní fotorealističností, je docela možné – a možná dokonce nevyhnutelné.

Však existují několik skutečně fundamentálních důvodů, proč se to pravděpodobně nestane s video systémy založenými na Latentních difuzních modelech.

Tato poslední skutečnost je důležitá, protože v současné době tato kategorie zahrnuje každý populární text-to-video (T2) a image-to-video (I2V) systém dostupný, včetně Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (a pokud můžeme zjistit, Adobe Firefly’s připravovanou video funkčnost); mezi mnohými jinými.

Zde zvažujeme perspektivu skutečných auteur plnohodnotných gen-AI produkcí, vytvořených jednotlivci, s konzistentními postavami, kinematografií a vizuálními efekty alespoň na úrovni současného stavu umění v Hollywoodu.

Podívejme se na některé z největších praktických překážek spojených s touto výzvou.

1: Nemůžete získat přesný následný záběr

Narativní nekonzistence je největší z těchto překážek. Skutečností je, že žádný目前 dostupný video generativní systém nemůže vytvořit skutečně přesný ‘následný záběr’*.

To je proto, že denoising difuzní model v srdci těchto systémů spoléhá na náhodný šum, a tento základní princip není vhodný pro reinterpretaci přesně stejného obsahu dvakrát (tj. z různých úhlů nebo rozvíjením předchozího záběru do následného záběru, který zachovává konzistenci s předchozím záběrem).

Když se používají textové podněty, samostatně nebo společně s nahrávanými ‘seed’ obrázky (multimodální vstup), tokeny odvozené z podnětu vyvolají sémanticky vhodné obsah z trénovaného latentního prostoru modelu.

Však dále zhoršené ‘náhodným šumem’, to nikdy nedělá to samé způsobem dvakrát.

To znamená, že identity osob ve videu budou mít tendenci měnit se, a objekty a prostředí nebudou odpovídat počátečnímu záběru.

To je důvod, proč virální klipy zobrazující výjimečné vizuály a hollywoodské výstupy tendují být buď jediné záběry, nebo ‘showcase montáž’ schopností systému, kde každý záběr zobrazuje různé postavy a prostředí.

Excerpty z generativního AI montáže od Marco van Hylckama Vlieg – zdroj: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Implicite v těchto kolekcích ad hoc video generací (které mohou být nečestné v případě komerčních systémů) je, že základní systém může vytvářet kontinuální a konzistentní narativy.

Analógie zde využité je filmový trailer, který zobrazuje pouze minutu nebo dvě záběrů z filmu, ale dává divákovi důvod věřit, že celý film existuje.

Jediné systémy, které目前 nabízejí narativní konzistenci v difuzním modelu, jsou ty, které produkují statické obrázky. Tyto zahrnují NVIDIA’s ConsiStory, a různé projekty ve vědecké literatuře, jako TheaterGen, DreamStory, a StoryDiffusion.

Dva příklady ‘statické’ narativní kontinuity, z nedávných modelů:: Zdroje: https://research.nvidia.com/labs/par/consistory/ a https://arxiv.org/pdf/2405.01434

Teoreticky by bylo možné použít lepší verzi takových systémů (žádný z nich není skutečně konzistentní) k vytvoření série image-to-video záběrů, které by mohly být spojeny do sekvence.

V současné době tento přístup nevytváří přesvědčivé následné záběry; a v každém případě jsme již opustili auteur sen o přidání další vrstvy složitosti.

Můžeme navíc použít Low Rank Adaptation (LoRA) modely, speciálně trénované na postavách, věcech nebo prostředích, aby se zachovala lepší konzistence mezi záběry.

Však pokud postava chce objevit se v novém kostýmu, obvykle je nutné trénovat zcela nový LoRA, který ztělesňuje postavu oblečenou v tomto stylu (ačkoli sub-koncepty, jako ‘červené šaty’, mohou být trénovány do jednotlivých LoR, spolu s vhodnými obrázky, nejsou vždy snadné k práci).

To přidává značnou složitost, dokonce i do úvodní scény filmu, kde osoba vstane z postele, oblékne se do županu, zažehne, podívá se z okna ložnice a jde do koupelny, aby si umyla zuby.

Taková scéna, obsahující přibližně 4-8 záběrů, může být natočena během jednoho rána pomocí konvenčních filmových postupů; v současné době může to představovat týdny práce, mnoho trénovaných LoR (nebo jiných pomocných systémů) a značné množství post-produkce

Alternativně lze použít video-to-video, kde se běžné nebo CGI záběry transformují pomocí textových podnětů do alternativních interpretací. Runway nabízí takový systém, například.

CGI (vlevo) z Blenderu, interpretovaný v text-aided Runway video-to-video experimentu od Mathieu Visnjevec – Zdroj: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Existují dva problémy zde: musíte již vytvořit základní záběry, takže již vytváříte film dvakrát, i když používáte syntetický systém, jako je UnReal’s MetaHuman.

Pokud vytvoříte CGI modely (jako v klipu výše) a použijete je v video-to-image transformaci, jejich konzistence mezi záběry nelze spolehnout.

To je proto, že video difuzní modely nevidí ‘velký obraz’ – spíše vytvářejí nový rámec na základě předchozího rámcu a v některých případech zvažují blízkou budoucnou rámeček; ale, aby se to přirovnalo k šachové hře, nemohou ‘myslet deset tahů dopředu’ a nemohou si pamatovat deset tahů zpět.

Druhým je, že difuzní model bude stále mít potíže s udržením konzistentního vzhledu mezi záběry, i když zahrnete mnoho LoR pro postavu, prostředí a styl osvětlení, z důvodů uvedených na začátku této sekce.

2: Nemůžete snadno editovat záběr

Pokud zobrazíte postavu chůze po ulici pomocí starých CGI metod a rozhodnete se změnit nějaký aspekt záběru, můžete upravit model a renderovat jej znovu.

Pokud je to reálný záběr, jednoduše resetujete a natáčíte jej znovu s příslušnými změnami.

Však pokud vytvoříte gen-AI video záběr, který máte rádi, ale chcete změnit jeden aspekt z něj, můžete to udělat pouze pomocí bolestivé post-produkční metody, vyvinuté za posledních 30-40 let: CGI, rotoskopie, modelování a matování – všechny časově náročné a drahé, časově náročné postupy.

Způsob, jakým difuzní modely fungují, znamená, že jednoduchá změna jednoho aspektu textového podnětu (i v multimodálním podnětu, kde poskytnete kompletní zdroj semene obrázku) změní mnoho aspektů generovaného výstupu, vedoucí k hře ‘whack-a-mole’.

3: Nemůžete se spolehnout na zákony fyziky

Tradiční CGI metody nabízejí řadu algoritmických fyzikálních modelů, které mohou simulovat věci, jako jsou tekuté dynamiky, plynulé pohyby, inverzní kinematika (přesné modelování lidského pohybu), dynamika tkanin, exploze a různé další reálné jevy.

Však difuzní metody, jak jsme viděli, mají krátkou paměť a také omezený rozsah motion priors (příklady takových akcí, zahrnutých do trénovacího datasetu) k dispozici.

V dřívější verzi OpenAI’s landing page pro uznávaný Sora generativní systém, společnost uznala, že Sora má omezení v tomto ohledu (ačkoli tento text byl odstraněn):

‘[Sora] může mít potíže se simulací fyziky komplexní scény a nemusí pochopit konkrétní instance příčiny a účinku (například: sušenka nemusí mít stopu po tom, co ji postava kousne).

‘Model může také zmást prostorové detaily zahrnuté v podnětu, jako je rozlišení levé a pravé strany, nebo mít potíže s přesnými popisy událostí, které se vyvíjejí v čase, jako konkrétní kamerové trajektorie.’

Praktické použití různých API-založených generativních video systémů odhaluje podobná omezení při zobrazování přesné fyziky. Některé běžné fyzikální jevy, jako jsou exploze, se zdají být lépe reprezentovány ve jejich trénovacích datech.

Některé motion prior embeddings, buď trénované do generativního modelu nebo krmené ze zdrojového videa, trvají nějakou dobu (jako osoba, která provádí komplexní a neopakovatelnou taneční sekvenci v okázalém kostýmu) a, jednou opět, difuzní modelova ‘krátkozraká’ okna pozornosti pravděpodobně transformuje obsah (faciální ID, detaily kostýmu atd.) do doby, než se pohyb dokončí. Avšak LoRAs mohou zmírnit tento problém, do jisté míry.

Řešení v postprodukci

Existují další nedostatky čistě ‘jednotlivého uživatele’ AI video generace, jako je obtíž zobrazit rychlé pohyby a obecný a mnohem naléhavější problém získání temporální konzistence ve výstupním videu.

Kromě toho je vytváření specifických výkonů obličeje téměř záležitostí štěstí v generativním videu, stejně jako je lip-sync pro dialog.

V obou případech se stává stále populárnějším použití pomocných systémů, jako je LivePortrait a AnimateDiff, protože to umožňuje transpozici alespoň široké faciální exprese a lip-syncu do existujícího generovaného výstupu.

Příklad přenosu exprese (řízený video v levém dolním rohu) ukládán na cílové video s LivePortrait. Video je od Generative Z TunisiaGenerative. Viz plnou verzi v lepší kvalitě na https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Dále, řada komplexních řešení, zahrnujících nástroje, jako je Stable Diffusion GUI ComfyUI a profesionální kompozitní a manipulační aplikace Nuke, jakož i manipulace latentního prostoru, umožňuje AI VFX praktikům získat větší kontrolu nad faciální expresí a dispozicí.

Ačkoli popisuje proces faciální animace v ComfyUI jako ‘mučení’, VFX profesionál Francisco Contreras vyvinul takový postup, který umožňuje uvalení lip fonémů a dalších aspektů faciální/hlavové deprese

Stable Diffusion, pomáhán Nuke-powered ComfyUI workflow, umožnil VFX pro Francisco Contreras získat neobvyklou kontrolu nad faciálními aspekty. Pro plné video, v lepší kvalitě, jděte na https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Závěr

Žádné z toho není slibné pro perspektivu jediného uživatele generujícího koherentní a fotorealistické blockbuster-styl full-length filmy, s realistickým dialogem, lip-sync, výkony, prostředí a kontinuitou.

Kromě toho, překážky popsány zde, alespoň v souvislosti s difuzními založenými generativními video modely, nejsou nutně řešitelné ‘každou chvíli’ nyní, navzdory fórovým komentářům a mediální pozornosti, která činí tento případ. Omezení popsána zde se zdají být intrinsic ke architektuře.

V AI syntéze výzkumu, stejně jako ve všech vědeckých výzkumech, brilantní nápady periodicky osvětlují svou potenciál, pouze pro další výzkum, který odhalí jejich fundamentální omezení.

V generativním/syntetickém prostoru, to se již stalo s Generative Adversarial Networks (GANs) a Neural Radiance Fields (NeRF), oba z nichž se nakonec ukázaly být velmi obtížné k instrumentaci do výkonných komerčních systémů, navzdory letům akademického výzkumu k tomuto cíli. Tyto technologie se nyní objevují nejčastěji jako pomocné komponenty v alternativních architekturách.

Mnohem jako filmová studia mohou doufat, že trénink na legitimně licencovaných filmových katalozích by mohl eliminovat VFX umělce, AI je ve skutečnosti přidává role do pracovních sil v současné době.

Je-li možné, zda difuzní založené video systémy mohou být skutečně transformovány do narativně-konzistentních a fotorealistických filmových generátorů, nebo zda je celý obchod pouze další alchymistickou snahou, by se mělo stát zjevným během příštích 12 měsíců.

Může to být, že potřebujeme zcela nový přístup; nebo může to být, že Gaussian Splatting (GSplat), který byl vyvinut na počátku 90. let a nedávno vzal v image syntetickém prostoru, představuje potenciální alternativu k difuznímu založenému video generování.

Pokud GSplat trval 34 let, aby se stal prominentním, je možné, že starší konkurenti, jako NeRF a GANs – a dokonce latentní difuzní modely – jsou ještě čekají na svůj den.

* Ačkoli Kaiber’s AI Storyboard funkce nabízí tuto funkčnost, výsledky, které jsem viděl, jsou ne produkční kvality.

Martin Anderson je bývalý šéf vědeckého výzkumu obsahu v metaphysic.ai
První publikováno v pondělí, září 23, 2024