De ce sistemele video generative nu pot crea filme complete?

Apariția și progresul inteligenței artificiale generative video a determinat mulți observatori casuali să previzioneze că învățarea automată va dovedi a fi moartea industriei cinematografice așa cum o știm – în schimb, creatorii individuali vor putea crea blockbustere în stil Hollywood la domiciliu, fie pe sisteme locale, fie pe sisteme bazate pe cloud.

Este acest lucru posibil? Chiar dacă este posibil, este iminent, așa cum cred mulți?

Că indivizii vor putea, în cele din urmă, să creeze filme, în forma pe care o știm, cu personaje consistente, continuitate narativă și fotorealism total, este destul de posibil – și, poate, chiar inevitabil.

Cu toate acestea, există câteva motive fundamentale pentru care acest lucru nu este probabil să se întâmple cu sistemele video bazate pe modele de difuziune latentă.

Acest ultim fapt este important, deoarece, în acest moment, această categorie include fiecare sistem popular de text-la-video (T2) și imagine-la-video (I2V) disponibil, inclusiv Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (și, după cum putem discerne, funcționalitatea video pending a Adobe Firefly); printre mulți alții.

Aici, luăm în considerare perspectiva unor producții de film complet gen-AI, create de indivizi, cu personaje consistente, cinematografie și efecte vizuale cel puțin la nivelul stadiului actual al artei în Hollywood.

Să aruncăm o privire asupra unora dintre cele mai mari obstacole practice pentru provocările implicate.

1: Nu poți obține un cadru de urmărire precis

Inconsistența narativă este cel mai mare dintre aceste obstacole. Faptul este că niciun sistem de generare video disponibil în prezent nu poate crea un cadru de urmărire “precis”.

Acest lucru se datorează faptului că modelul de difuziune de denoising din inima acestor sisteme se bazează pe zgomot aleator, și acest principiu de bază nu este adaptat pentru a reinterpreta exact același conținut de două ori (adică, din unghiuri diferite, sau prin dezvoltarea cadrelor anterioare într-un cadru de urmărire care menține consistența cu cadrul anterior).

În cazul în care se utilizează prompturi de text, singure sau împreună cu imagini “seed” încărcate (intrare multimodală), tokenurile derivate din prompt vor solicita conținut semantic adecvat din spațiul latent antrenat al modelului.

Cu toate acestea, împiedicat în plus de factorul “zgomot aleator”, niciodată nu va face același lucru de două ori.

Acest lucru înseamnă că identitățile persoanelor din videoclip vor tendența să se schimbe, și obiectele și mediile nu vor corespunde cu cadrul inițial.

Acesta este motivul pentru care clipurile virale care prezintă imagini extraordinare și ieșiri la nivelul Hollywood tendența să fie fie cadre simple, fie o “montaj de prezentare” a capacităților sistemului, unde fiecare cadru prezintă personaje și medii diferite.

Excerpte dintr-un montaj generativ de inteligență artificială de la Marco van Hylckama Vlieg – sursă: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Implicația în aceste colecții de generații video ad hoc (care pot fi înșelătoare în cazul sistemelor comerciale) este că sistemul subiacent poate crea narațiuni și cadre contigue și consistente.

Analogia exploatată aici este o prezentare a filmului, care prezintă doar un minut sau două de filmare din film, dar oferă publicului motiv să creadă că întregul film există.

Singurele sisteme care oferă în prezent consistență narativă într-un model de difuziune sunt cele care produc imagini statice. Acestea includ ConsiStory de la NVIDIA și diverse proiecte din literatura științifică, cum ar fi TheaterGen, DreamStory și StoryDiffusion.

Două exemple de continuitate narativă ‘statică’, de la modele recente: Surse: https://research.nvidia.com/labs/par/consistory/ și https://arxiv.org/pdf/2405.01434

În teorie, puteți utiliza o versiune mai bună a unor astfel de sisteme (niciunul dintre cele de mai sus nu este cu adevărat consistent) pentru a crea o serie de cadre de imagine-la-videoclip, care pot fi conectate într-o secvență.

La stadiul actual al tehnologiei, această abordare nu produce cadre de urmărire plauzibile; și, în orice caz, am abandonat deja visul auteur prin adăugarea unei straturi de complexitate.

Puteți, de asemenea, utiliza modele de adaptare de rang scăzut (LoRA), special antrenate pe caractere, lucruri sau medii, pentru a menține o mai bună consistență între cadre.

Cu toate acestea, dacă un personaj dorește să apară într-un costum nou, un LoRA complet nou va trebui să fie antrenat, care să încorporeze personajul îmbrăcat în acel mod (deși sub-concepte, cum ar fi “rochie roșie”, pot fi antrenate în LoRA individuale, împreună cu imagini adecvate, nu sunt întotdeauna ușor de lucrat).

Acest lucru adaugă o complexitate considerabilă, chiar și pentru o scenă de deschidere a unui film, în care o persoană iese din pat, se îmbracă într-un halat de baie, căscă, se uită pe fereastră și merge la baie pentru a-și spăla dinții.

O astfel de scenă, care conține aproximativ 4-8 cadre, poate fi filmată într-o singură dimineață prin proceduri de filmare convențională; la stadiul actual al tehnologiei de inteligență artificială generativă, reprezintă potențial săptămâni de muncă, multiple LoRA antrenate (sau alte sisteme auxiliare) și o cantitate considerabilă de post-procesare.

Alternativ, se poate utiliza videoclip-la-videoclip, unde imagini sau CGI obișnuite sunt transformate prin prompturi de text în interpretări alternative. Runway oferă un astfel de sistem, de exemplu.

CGI (stânga) din Blender, interpretat într-un experiment de videoclip-la-videoclip asistat de text de către Mathieu Visnjevec – Sursă: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Există două probleme aici: sunteți nevoit să creați filmarea de bază, așa că sunteți deja în curs de a face filmul de două ori, chiar dacă utilizați un sistem sintetic, cum ar fi MetaHuman de la UnReal.

Dacă creați modele CGI (cum ar fi clipul de mai sus) și le utilizați într-o transformare de imagine-la-videoclip, consistența lor între cadre nu poate fi garantată.

Acest lucru se datorează faptului că modelele de difuziune video nu văd “imaginea de ansamblu” – mai degrabă, creează un cadru nou pe baza cadrului anterior, și, în unele cazuri, iau în considerare un cadru viitor apropiat; dar, pentru a compara procesul cu o partidă de șah, nu pot “gândi zece mutări înainte” și nu pot “aminti zece mutări în urmă”.

În al doilea rând, un model de difuziune va continua să lupte pentru a menține o aparență consistentă între cadre, chiar dacă includeți multiple LoRA pentru caractere, medii și stil de iluminare, din motivele menționate la începutul acestei secțiuni.

2: Nu poți edita un cadru ușor

Dacă descrieți un personaj care merge pe stradă utilizând metode de CGI tradiționale și doriți să schimbați un aspect al cadrului, puteți ajusta modelul și să-l refaceți.

Dacă este o filmare în viața reală, pur și simplu resetați și refaceți-o, cu modificările adecvate.

Cu toate acestea, dacă produceți un cadru de videoclip gen-AI pe care îl iubiți, dar doriți să schimbați un aspect al acestuia, puteți face acest lucru doar prin metode de post-procesare laborioase, dezvoltate în ultimii 30-40 de ani: CGI, rotoscopie, modelare și mascaj – toate proceduri consumatoare de timp și scumpe.

Modul în care funcționează modelele de difuziune, simpla modificare a unui aspect al unui prompt de text (chiar și într-un prompt multimodal, în care furnizați o imagine “seed” completă) va schimba mai multe aspecte ale ieșirii generate, ducând la un joc de “whack-a-mole” de prompt.

3: Nu poți conta pe legile fizicii

Metodele tradiționale de CGI oferă o varietate de modele fizice algoritmice care pot simula lucruri cum ar fi dinamica fluidelor, mișcarea gazelor, cinematica inversă (modelarea precisă a mișcării umane), dinamica pânzei, explozii și diverse alte fenomene din lumea reală.

Cu toate acestea, metodele bazate pe difuziune, așa cum am văzut, au o memorie scurtă și o gamă limitată de motoare priore (exemple de astfel de acțiuni, incluse în setul de antrenament) de a atrage.

Într-o versiune anterioară a paginii de aterizare a OpenAI pentru sistemul generativ aclamat Sora, compania a recunoscut că Sora are limitări în această privință (deși acest text a fost ulterior eliminat):

‘[Sora] poate lupta pentru a simula fizica unei scene complexe și nu poate înțelege instanțe specifice de cauză și efect (de exemplu: un biscuit nu va arăta o urmă după ce un personaj îl mușcă).

‘Modelul poate confunda, de asemenea, detalii spațiale incluse într-un prompt, cum ar fi discernerea stâng de dreapta, sau lupta cu descrieri precise ale evenimentelor care se desfășoară în timp, cum ar fi traiectorii specifice ale camerei.’

Utilizarea practică a diverselor sisteme de generare video bazate pe API revelează limitări similare în reprezentarea fizicii exacte. Cu toate acestea, anumite fenomene fizice comune, cum ar fi exploziile, par să fie reprezentate mai bine în seturile lor de antrenament.

Unele încorporări de motoare priore, antrenate în modelul generativ sau alimentate dintr-un videoclip sursă, durează ceva timp pentru a fi finalizate (cum ar fi o persoană care execută o secvență de dans complexă și non-repetitivă, într-un costum elaborat) și, din nou, ferestra de atenție “miopică” a modelului de difuziune este probabil să transforme conținutul (identitatea facială, detalii de costum, etc.) până la sfârșitul mișcării. Cu toate acestea, LoRA pot atenua acest lucru, până la un anumit punct.

Rezolvarea în post-procesare

Există și alte limitări ale generării video pure “single user” AI, cum ar fi dificultatea de a reprezenta mișcări rapide și problema generală și mai presantă de obținere a consistenței temporale în videoclipul de ieșire.

În plus, crearea unor performanțe faciale specifice este practic o chestiune de noroc în videoclipul generativ, la fel ca și sincronizarea buzelor pentru dialog.

În ambele cazuri, utilizarea unor sisteme auxiliare, cum ar fi LivePortrait și AnimateDiff, devine foarte populară în comunitatea VFX, deoarece aceasta permite transpunerea unei expresii faciale și a sincronizării buzelor asupra ieșirii generate existente.

Un exemplu de transfer de expresie (în partea stângă inferioară) impus pe un videoclip țintă cu LivePortrait. Videoclipul este de la Generative Z TunisiaGenerative. Vedeți versiunea completă, în calitate mai bună, la https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Mai mult, o multitudine de soluții complexe, care includ instrumente cum ar fi interfața grafică de utilizator ComfyUI pentru difuziune stabilă ComfyUI și aplicația profesională de compunere și manipulare Nuke, precum și manipularea spațiului latent, permit practicienilor de efecte vizuale AI să obțină un control mai mare asupra expresiei faciale și a dispoziției.

Deși el descrie procesul de animație facială în ComfyUI ca “tortură”, profesionistul VFX Francisco Contreras a dezvoltat o astfel de procedură, care permite impunerea fonemelor buzelor și a altor aspecte ale reprezentării capului.

Difuziunea stabilă, ajutată de o flux de lucru ComfyUI alimentat de Nuke, a permis profesionistului VFX Francisco Contreras să obțină un control neobișnuit asupra aspectelor faciale. Pentru videoclipul complet, în rezoluție mai bună, mergeți la https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Concluzie

Niciunul dintre acestea nu este promițător pentru perspectiva unui utilizator care generează filme complete, coerente și fotorealistice, cu dialog realist, sincronizare a buzelor, performanțe, medii și continuitate.

În plus, obstacolele descrise aici, cel puțin în ceea ce privește modelele de difuziune video bazate pe generare, nu sunt neapărat solubile “în orice moment”, în ciuda comentariilor din forum și a atenției mass-media care susțin acest lucru. Constrângerile descrise par a fi intrinseci arhitecturii.

În cercetarea sintezei AI, la fel ca și în orice cercetare științifică, idei strălucite ne uimesc periodic cu potențialul lor, doar pentru ca cercetările ulterioare să descopere limitările lor fundamentale.

În spațiul de generare/sinteză, acest lucru s-a întâmplat deja cu Rețelele Adversative Generative (GAN) și Câmpurile de Radianță Neuronale (NeRF), ambele dovedindu-se extrem de dificil de instrumentalizat în sisteme comerciale performante, în ciuda anilor de cercetare academică în acest scop. Aceste tehnologii apar cel mai frecvent ca componente auxiliare în arhitecturi alternative.

Multe studiouri de film speră că antrenarea pe cataloage de filme licențiate în mod legitim ar putea elimina artiștii de efecte vizuale, dar inteligența artificială adăugă roluri în forța de muncă în acest moment.

Indiferent dacă sistemele video bazate pe difuziune pot fi transformată cu adevărat în generatoare de filme narativ-consistente și fotorealistice, sau dacă întreaga afacere este doar o urmărire alchimică, ar trebui să devină evident în următoarele 12 luni.

Este posibil ca noi să avem nevoie de o abordare complet nouă; sau este posibil ca Spatări Gaussiană (GSplat), care a fost dezvoltată în începutul anilor ’90 și a luat recent avânt în spațiul de sinteză a imaginilor, să reprezinte o alternativă potențială la generarea video bazată pe difuziune.

Deoarece GSplat a durat 34 de ani pentru a ajunge în prim-plan, este posibil, de asemenea, ca vechile concurente, cum ar fi NeRF și GAN, și chiar modelele de difuziune latentă – să nu-și fi avut încă ziua.

* Deși funcționalitatea AI Storyboard a lui Kaiber oferă acest tip de funcționalitate, rezultatele pe care le-am văzut nu sunt de calitate de producție.

Martin Anderson este fostul șef al conținutului de cercetare științifică de la metaphysic.ai
Publicat pentru prima dată luni, 23 septembrie 2024