Miksi generatiiviset videosysteemit eivät voi luoda täydellisiä elokuvia?

Generatiivisen AI-videon kehittyminen on saanut monet tarkkailijat ennustamaan, että koneoppiminen tulee olemaan kuolemansyynä elokuvateollisuudelle, ja sen sijaan yksittäiset luojat voivat luoda Hollywood-tyylisiä blockbustereita kotona, joko paikallisilla tai pilvipohjaisilla GPU-järjestelmillä.

Onko tämä mahdollista? Vaikka se on mahdollista, onko se lähellä, kuten monet uskovat?

On mahdollista, että yksittäiset luojat voivat lopulta luoda elokuvia, sellaisina kuin me tunnemme ne, jatkuvilla hahmoilla, kertomuksen jatkumolla ja täydellisellä fotorealismin, ja se on ehkä jopa väistämätöntä.

On kuitenkin useita perustavanlaatuisia syitä, miksi tämä ei ole todennäköistä videojärjestelmissä, jotka perustuvat latenttiin diffuusiomalliin.

Tämä viimeinen seikka on tärkeä, koska tämä kategoria kattaa tällä hetkellä jokaisen suositun teksti-videolle (T2) ja kuva-videolle (I2V) järjestelmän, mukaan lukien Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (ja niin kauan kuin voimme havaita, Adobe Fireflyn odottava video-ominaisuus); joukossa monia muita.

Tässä käsittelemme mahdollisuutta luoda todellisia auteur täyspitkiä gen-AI-tuotantoja, joita luovat yksittäiset luojat, jatkuvilla hahmoilla, kuvausryhmällä ja visuaalisilla tehosteilla, jotka ovat vähintään nykyisen Hollywoodin tasolla.

Tutustumme nyt johtaviin käytännön esteisiin, jotka liittyvät haasteisiin.

1: Et voi saada tarkkaa jatkuvaa otosta

Kertomuksen epäjohdonmukaisuus on näistä esteistä suurin. Totuus on, että mikään nykyisin saatavilla oleva videonluontijärjestelmä ei voi luoda todella tarkkaa ‘jatkuvaa otosta’.

Tämä johtuu siitä, että dififuusiomalli, joka on näiden järjestelmien ydin, perustuu sattumaisten häiriöiden varaan, ja tämä periaate ei ole sovellettavissa tulkkaamaan samaa sisältöä uudelleen (ts. eri kulmista tai kehittämällä edellistä otosta jatkuvaksi otoksi, joka ylläpitää johdonmukaisuutta edellisen otoksen kanssa).

Kun tekstipromptteja käytetään yksin tai yhdessä ladataan ‘siemen’ -kuvia (monimodaalinen syöte), tokenit, jotka ovat johdettu prompista, saavat aikaan semanttisesti sopivan sisällön koulutetusta latentista tilasta mallissa.

Kuitenkin, jota edelleen haittaa ‘sattumanvarainen häiriö’ -tekijä, se ei koskaan tee sitä samalla tavalla uudelleen.

Tämä tarkoittaa, että henkilöiden identiteetit videossa taipuvat muuttumaan, ja esineet ja ympäristöt eivät vastaa alkuperäistä otosta.

Tämä on myös syy, miksi viralliset klipit, jotka esittävät poikkeuksellisia visuaalisia ja Hollywood-tasoa olevia tuloksia, ovat usein yksittäisiä otoksia tai ‘näyttelymontaaseja’ järjestelmän kyvyistä, joissa kunkin otoksen eri hahmot ja ympäristöt.

Marco van Hylckama Vliegin generatiivinen AI-montaasi – lähde: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Näiden ad hoc videonluontien kokoelmissa (jotka voivat olla epärehellisiä kaupallisten järjestelmien tapauksessa) on viitattu siihen, että perustava järjestelmä voi luoda jatkuvia ja johdonmukaisia kertomuksia.

Analogia, jota tässä hyödynnetään, on elokuvan traileri, joka sisältää vain muutaman minuutin elokuvasta, mutta antaa yleisölle syyn uskoa, että koko elokuva on olemassa.

Ainoat järjestelmät, jotka tarjoavat kertomuksen johdonmukaisuuden diffuusiomallissa, ovat ne, jotka tuottavat vain kiinteitä kuvia. Niihin kuuluvat NVIDIA:n ConsiStory ja tieteellisen kirjallisuuden moninaiset projektit, kuten TheaterGen, DreamStory ja StoryDiffusion.

Kaksi esimerkkiä ‘staattisesta’ kertomuksen johdonmukaisuudesta, viimeaikaisista malleista: Lähteet: https://research.nvidia.com/labs/par/consistory/ ja https://arxiv.org/pdf/2405.01434

Teoriassa voisi käyttää parempaa versiota sellaisista järjestelmistä (kukaan edellä mainituista ei ole todella johdonmukainen) luodaan sarja kuva-videoksi, jotka voivat olla yhdistettyjä jatkuvaksi.

Nykyisessä tilassa tämä lähestymistapa ei tuota uskottavia jatkuvia otoksia; ja tapauksessa, jossa olemme jo poistuneet auteur -unelmasta, lisäämällä kerroksen monimutkaisuutta.

Voimme myös käyttää Low Rank Adaptation (LoRA) -malleja, jotka on koulutettu hahmoille, asioille tai ympäristöille, jotta voidaan ylläpitää parempaa johdonmukaisuutta otoksissa.

Kuitenkin, jos hahmo haluaa näkyä uudessa asussa, uusi LoRA on yleensä koulutettava, joka sisältää hahmon pukeutuneena tyyliin (vaikka alakäsitteet, kuten ‘punainen mekko’, voidaan kouluttaa yksittäisiin LoRAihin, yhdessä sovellettavien kuvien kanssa, ne eivät aina ole helppoja työskennellä).

Tämä lisää merkittävästi monimutkaisuutta, jopa elokuvan avauskohtauksessa, jossa henkilö nousee sängystä, pukeutuu viinipukuun, hieroo silmiään, katsoo makuuhuoneen ikkunasta ja menee peseytymään.

Tällainen kohtaus, joka sisältää noin 4-8 otosta, voidaan kuvata yhden aamun aikana perinteisillä elokuvantekotekniikoilla; nykyisessä tilassa generatiivisessa AI:ssa se edustaa potentiaalisesti useita viikkoja työtä, useita koulutettuja LoRAja (tai muita apujärjestelmiä) ja merkittävää jälkikäsittelyä

Alternatiivisesti voidaan käyttää video-videota, jossa arkiset tai CGI-kuvat muunnetaan tekstipromptein vaihtoehtoisiin tulkintoihin. Runway tarjoaa tällaisen järjestelmän esimerkiksi.

CGI (vasemmalla) Blenderistä, joka on tulkittu tekstipohjaisessa Runway-videossa Mathieu Visnjevecin toimesta – Lähde: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

On kaksi ongelmaa tässä: sinun on jo luotava peruskuva, joten sinä jo teet elokuvaa kaksi kertaa, vaikka käytätkin synthetistä järjestelmää, kuten UnRealin MetaHuman.

Jos luot CGI-malleja (kuten yllä olevassa klipissä) ja käytät niitä videon muuntamiseen, niiden johdonmukaisuus otoksissa ei voida luottaa.

Tämä johtuu siitä, että videon diffuusiomallit eivät näe ‘suurta kuvaa’ – sen sijaan ne luovat uuden kehyksen perustuen edellisiin kehyksiin, ja joissakin tapauksissa lähellä olevaan tulevaan kehykseen; mutta, verrattaessa tätä shakkipeliin, ne eivät voi ajatella ‘kymmenen siirron verran eteenpäin’, eivätkä ne voi muistaa kymmentä siirtoa taaksepäin.

Toiseksi, diffuusiomalli kamppailee yhä edelleen ylläpitämään johdonmukaisen ulkonäön otoksissa, vaikka sisällytetään useita LoRAja hahmolle, ympäristölle ja valaistustyylille, johtuen syistä, jotka mainittiin tämän osion alussa.

2: Et voi muokata otosta helposti

Jos kuvaa hahmoa, joka kävelee kadulla perinteisillä CGI-menetelmillä, ja haluat muuttaa jotain otoksen osaa, voit muuttaa mallia ja renderöidä sen uudelleen.

Jos se on oikea elokuva, voit vain resetoida ja kuvata sen uudelleen, sovellettavilla muutoksilla.

Kuitenkin, jos tuot generatiivisen AI-videoksi, jota rakastat, mutta haluat muuttaa yhtä sen osaa, voit saavuttaa tämän vain vaivallisilla jälkikäsittelymenetelmillä, jotka on kehitetty viimeisten 30-40 vuoden aikana: CGI, rotoskooppaus, mallinnus ja maskaus – kaikki työläät ja kalliit, aikaa vievät menetelmät.

Tapa, jolla diffuusiomallit toimivat, yksinkertaisesti muuttamalla yhtä tekstipromptin osaa (jopa monimodaalisessa prompissa, jossa annetaan täydellinen lähdekuva) muuttaa useita generoituun tulokseen liittyviä osia, johtaen ‘mämmiä lyömiseen’.

3: Et voi luottaa fysiikan lakeihin

Perinteiset CGI-menetelmät tarjoavat useita algoritmisia fysiikan perusteisia malleja, jotka voivat simuloida asioita, kuten fluididynamiikkaa, kaasuliikettä, käänteistä kinematiikkaa (ihmisen liikkeen tarkan mallinnuksen), kangasdynamiikkaa, räjähdyksiä ja monia muita todellisen maailman ilmiöitä.

Kuitenkin, diffuusioon perustuvat menetelmät, kuten olemme nähneet, ovat lyhytnäköisiä, ja niillä on myös rajoitettu määrä liikkeen etuoikeuksia (esimerkkejä tällaisista toimista, jotka sisältyvät koulutusaineistoon) saatavilla.

Aikaisemmassa versiossa OpenAI:n Sora-generatiivisen järjestelmän aloitus­sivulla yhtiö myönsi, että Sora:lla on rajoituksia tässä suhteessa (vaikka tämä teksti on poistettu):

‘[Sora] voi kamppailla simuloimalla fysiikkaa monimutkaisissa kohtauksissa, ja se ei välttämättä ymmärrä tiettyjä syyn ja seuraus -suhteita (esimerkiksi: keksi ei välttämättä näytä jälkeä, kun hahmo puraisee sitä).

‘Malli voi myös sekoittaa tilan yksityiskohtia, jotka sisältyvät prompstiin, kuten erottaa vasemman ja oikean, tai kamppailla tarkkojen tapahtumien tarkan kuvaamisessa, jotka kehittyvät ajan myötä, kuten tiettyjä kamerareittejä.’

Praktisen käytön erilaisissa API-pohjaisissa generatiivisissa videosysteemeissä paljastaa samankaltaisia rajoituksia kuvatessaan tarkan fysiikan.
Kuitenkin, tiettyjä yleisiä fysikaalisia ilmiöitä, kuten räjähdyksiä, näyttävät olevan paremmin edustettuina koulutusaineistoissa.
Jotkut liikkeen etuoikeuksien upotukset, jotka on koulutettu generatiiviseen malliin tai syötetty lähdemateriaalista, kestävät jonkin aikaa (kuten henkilö, joka suorittaa monimutkaisen ja ei-toistuvan tanssisarjan monimutkaisessa asussa) ja, kuten aiemmin mainittiin, diffuusiomallin lyhytnäköinen tarkastelumahdollisuus muuttaa sisällön (kasvon tunnistus, asun yksityiskohdat jne.) siinä vaiheessa, kun liike on valmis. Kuitenkin, LoRAt voivat lieventää tätä jonkin verran.

Siitä selviäminen jälkikäsittelyssä

On muita puutteita yksinomaan ‘yksittäisen käyttäjän’ AI-videon luomisessa, kuten vaikeus kuvata nopeita liikkeitä, ja yleisempi ja paljon tärkeämpi ongelma saavuttaa aikajatkuvuus tulostevideossa.

Lisäksi, tiettyjen kasvojen suorittaminen generatiivisessa videossa on melkein kokonaan onni, kuten myös huulienkynnykkäys dialogille.

Molemmissa tapauksissa apujärjestelmien, kuten LivePortrait ja AnimateDiff, käyttö on hyvin suosittua VFX-yhteisössä, koska se mahdollistaa ainakin laajan kasvojen ilmeen ja huulienkynnykkäyksen siirtämisen olemassa olevaan generoituun tulokseen.

Ilmeen siirtäminen (ohjaava video vasemmalla alhaalla) asetetaan kohdevideoon LivePortraitilla. Video on Generative Z Tunisiasta. Katso koko versio paremmassa laadussa osoitteessa https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Lisäksi, useat monimutkaiset ratkaisut, jotka sisältävät työkaluja, kuten Stable Diffusion GUI ComfyUI ja ammattimainen komposointi- ja manipulointiohjelma Nuke, sekä latentin avaruuden manipulointi, antavat AI-VFX-ammattilaisille enemmän valtaa kasvojen ilmeen ja asennoitumisen hallitsemiseen.

Vaikka hän kuvailee kasvojen animaatioprosessia ComfyUI:ssa ‘kidutukseksi’, VFX-ammattilainen Francisco Contreras on kehittänyt tällaisen prosessin, joka mahdollistaa huulienkynnykkäyksen ja muiden kasvojen ja pään esittämisen asettamisen.

Stable Diffusion, jota avustaa Nuke-pohjainen ComfyUI-työkalu, antoi VFX-ammattilainen Francisco Contrerasille epätavallisen valvonnan kasvojen osille. Katso koko video paremmassa laadussa osoitteessa https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Johtopäätös

Mitään näistä ei ole lupaavaa yhden käyttäjän generoivan koherentin ja fotorealistisen, blockbustereiden tyyppisen täyspitkän elokuvan, jossa on realistinen dialogi, huulienkynnykkäys, suoritukset, ympäristöt ja jatkuvuus.

Lisäksi, esteet, jotka on kuvattu tässä, ainakin diffuusioon perustuvien generatiivisten videomallien suhteen, eivät välttämättä ole ratkaistavissa ‘millä tahansa hetkellä’, vaikka foorumikommentit ja medialähettiläät viittaavat siihen. Rajoitukset näyttävät olevan perustavanlaatuisia järjestelmän arkkitehtuuriin.

Ai-synteesitutkimuksessa, kuten kaikessa tieteellisessä tutkimuksessa, loistavat ideat jaksoittain häikäisevät meitä potentiaalillaan, vain jotta myöhempi tutkimus paljastaa heidän perustavanlaatuiset rajoituksensa.

Tässä tapauksessa generatiivisessa/synteesitilassa tämä on jo tapahtunut Generatiivisilla Adversarial Networkseilla (GAN) ja Neural Radiance Fieldseillä (NeRF), jotka osoittautuivat lopulta hyvin vaikeiksi instrumentoimaan suorituskykyisiin kaupallisiin järjestelmiin, vaikka vuosien akateeminen tutkimus tähän tarkoitukseen. Nämä teknologiat näkyvät nyt useimmiten vaihtoehtoisten arkkitehtuurien apukomponentteina.

Samoin kuin elokuvastudiot toivovat, että kouluttaminen lailliseen elokuvakatalogiin voisi poistaa VFX-taiteilijat, AI on itse asiassa lisäämässä rooleja työvoimaan tällä hetkellä.

Onko todella mahdollista, että diffuusioon perustuvat videosysteemit voidaan muuttaa kertovien ja fotorealististen elokuvien generoijiksi, vai onko koko asia vain toinen alkeeminen tavoite, tulee ilmi seuraavan 12 kuukauden aikana.

On mahdollista, että tarvitaan täysin uusi lähestymistapa; tai se, että Gaussian Splatting (GSplat), joka kehitettiin 1990-luvun alussa ja on viime aikoina ottanut käyttöön kuvasynteesitilassa, edustaa vaihtoehtoa diffuusioon perustuvalle videonluonnille.

Koska GSplat kesti 34 vuotta tulla esiin, on myös mahdollista, että vanhemmat kilpailijat, kuten NeRF ja GAN, ja jopa latentti diffuusiomallit, ovat vielä saamatta parastaan.

* Vaikka Kaiberin AI Storyboard -ominaisuus tarjoaa tällaisen toiminnallisuuden, tulokset, joita olen nähnyt, eivät ole tuotantolaatua.

Martin Anderson on entinen tieteellisen tutkimuksen sisällön johtaja metaphysic.ai:ssa. Julkaistu maanantaina 23. syyskuuta 2024.