Kokeile tarinaa yhtenäisyydestä pitkien videoiden luomiseen

Viimeaikainen julkinen julkaisu Hunyuan Video -generatiivisesta tekoälymallista on lisännyt keskustelua suurten multimodaalisten visuaalisen ja kielen mallien potentiaalista luoda koko elokuvia.

Kuten olemme huomanneet, tämä on hyvin etäinen näkymä tällä hetkellä useista syistä. Yksi syy on, että useimmat tekoäly-videogeneraattorit kärsivät hyvin lyhyestä huomioikeästä, joka taistelee yhtenäisyyden ylläpitämisen kanssa jopa lyhyessä yksittäisessä otoksessa, puhumastaan sarjassa otoksia.

Toinen syy on, että video-sisällön johdonmukaiset viittaukset (kuten tutkimuskelpoiset ympäristöt, jotka eivät saa muuttua satunnaisesti, jos toimitaan niiden läpi uudelleen) voidaan saavuttaa vain diffuusiomalleissa mukauttamistekniikoilla, kuten alhaisen sijan sovittaminen (LoRA), joka rajoittaa perusmallien valmiiden ominaisuuksien käytön.

Siksi generatiivisen videon kehitys näyttää pysähtyvän, ellei uusia lähestymistapoja kehitetä tarinan jatkuvuuden ylläpitämiseksi.

Resepti jatkuvuudelle

Tämän asian huomioon ottaen, uusi yhteistyö Yhdysvaltojen ja Kiinan välillä on ehdottanut ohjeistusvideoita mahdollisena mallina tuleville jatkuvuusjärjestelmille.

Paina toistaa. VideoAuteur-projekti järjestelmällistää osien analyysin ruoanlaittoprosessista, jotta voidaan tuottaa hienosti nimetty uusi tietokanta ja orkesterointimenetelmä videoiden luomiseksi. Viittaus lähteeseen paremman resoluution vuoksi. Lähde: https://videoauteur.github.io/

Nimeltään VideoAuteur, työ ehdottaa kahden vaiheen putkea generoivaksi ohjeistusvideoita yhdistämällä koherenssin tilat, jotka yhdistävät avainkehykset ja kuvatekstit, saavuttaen huipputuloksia – myöntäen, että tämä on alue, jossa osallistujia on vähän.

VideoAuteurin projekti sivu sisältää myös useita muita, enemmän huomion herättäviä videoita, jotka käyttävät samaa tekniikkaa, kuten ehdotettu traileri (olemattomalle) Marvel/DC -yhteistyölle:

Paina toistaa. Kaksi supersankaria vaihtoehtoisista universumeista kohtaa toisensa videossa VideoAuteurista. Viittaus lähteeseen paremman resoluution vuoksi.

Sivu sisältää myös samanlaisia promo-videoita ei-olemassaolevalle Netflix-eläin sarjalle ja Tesla (TSLA ) -automainokselle.

VideoAuteurin kehittämisessä kirjoittajat kokeilivat erilaisia menetelmiä ja uusia lähestymistapoja. Ruoanlaitto-ohjeiden luomiseksi he myös keräsivät CookGen-tietokannan, joka on suurin ruoanlaittoalalle keskittyvä tietokanta, joka sisältää 200 000 videoklippiä, joiden keskimääräinen kesto on 9,5 sekuntia.

Keskimäärin 768,3 sanaa videota kohden, CookGen on mukavasti laajin ja eniten annotoitu tietokanta laatuaan. Monet visuaaliset/kielimalleja käytettiin, muun muassa varmistamaan, että kuvaukset olisivat yhtä yksityiskohtaisia, asiaa koskettavia ja tarkkoja mahdollista.

Ruokavideot valittiin, koska ruoanlaitto-ohjeiden kulkua on helppo seurata ja arvioida, mikä tekee annotoinnin ja arvioinnin helpommaksi. Paitsi pornovideoita (jotka ovat todennäköisesti tulevat tähän alueeseen pian), on vaikea ajatella muita genrejä, jotka ovat yhtä visuaalisesti ja kerronnallisesti “kaavoittuneita”.

Kirjoittajat toteavat:

‘Meidän ehdottamamme kahden vaiheen auto-regressiivinen putki, joka sisältää pitkän kerronnallisen ohjaajan ja visuaalisten ehtojen mukaisen videoiden luomisen, osoittaa lupaavia parannuksia semanttisessa jatkuvuudessa ja visuaalisessa uskottavuudessa pitkissä kerronnallisissa videoissa.

‘Kokeellisissa tutkimuksissamme me havaitsemme parannuksia paikallisessa ja ajallisessa koherenssissa videoiden sequensseissa.

‘Toivomme, että työmme voi edistää lisää tutkimusta pitkien kerronnallisten videoiden luomisessa.’

Uusi työ on nimeltään VideoAuteur: Kohti pitkien kerronnallisten videoiden luomista, ja se tulee kahdeksalta kirjoittajalta Johns Hopkinsin yliopistosta, ByteDancesta ja ByteDance Seedistä.

Tietokannan kuraattori

CookGenin kehittämiseksi, joka mahdollistaa kaksivaiheisen generatiivisen järjestelmän AI-ruokavideoiden tuottamiseksi, kirjoittajat käyttivät materiaalia YouCook ja HowTo100M -kokoelmista. Kirjoittajat vertaavat CookGenin mittakaavaa aiempiin tietokantoihin, jotka keskittyvät kerronnallisen kehityksen generatiivisessa videossa, kuten Flintstones -tietokantaan, Pororo -piirros-tietokantaan, StoryGen, Tencentin StoryStream ja VIST -tietokantaan.

Vertailu kuvien ja tekstin pituuden välillä CookGenin ja lähimpänä olevan samanlaisen tietokannan välillä. Lähde: https://arxiv.org/pdf/2501.06173

CookGen keskittyy todellisiin kertomuksiin, erityisesti prosessiin liittyviin toimintoihin, kuten ruoanlaittoon, tarjoaa selkeämmän ja helpommin annotoituja tarinoita verrattuna kuvapohjaisiin sarjakuva-tietokantoihin. Se ylittää suurimman olemassa olevan tietokannan, StoryStreamin, 150-kertaisella enemmän kehyksillä ja 5-kertaisella tiheämmällä tekstikuvauksella.

Tutkijat hienosäätivät kuvaukselle LLaVA-NeXT -menetelmällä. HowTo100M:stä saatujen automaattisten puheentunnistus- (ASR) -välimuistojen “toimet” käytettiin “toimintoina” jokaiselle videolle, ja sitten edelleen hienosäätelty suurten kielimallien (LLM) avulla.

Esimerkiksi ChatGPT-4o käytettiin luomaan kuvaukset, ja pyydettiin keskittymään subjekti-objekti -vuorovaikutuksiin (kuten käsiin, jotka käsittelevät välineitä ja ruokaa), objekti-attribuutteihin ja ajallisiin dynamiikkaan.

Koska ASR-käsikirjoitukset ovat todennäköisesti epätarkkoja ja yleensä “meluisia”, Intersection-over-Union (IoU) käytettiin mittana, joka mittaa, kuinka läheisesti kuvaukset vastaavat videon osaa, jota ne käsittelevät. Kirjoittajat toteavat, että tämä oli ratkaiseva tekijä kerronnallisen jatkuvuuden luomisessa.

Valitut klipit arvioitiin Fréchet Video Distance (FVD) -menetelmällä, joka mittaa eroa todellisen maailman esimerkkien ja generoityjen esimerkkien välillä, sekä avainkehyksillä että ilman niitä, saavuttaen suorituskykyisen tuloksen:

FVD:n käyttäminen videoiden arvioimiseen, jotka on generoitu uusilla kuvauksilla, sekä avainkehyksillä että ilman niitä.

Lisäksi klipit arvioitiin sekä GPT-4o:lla että kuudella ihmisen annotoijalla, noudattaen LLaVA-Hound -määritelmää “hallusinaatiosta” (ts. mallin kyky keksiä väärää sisältöä).

Tutkijat vertasivat kuvauksien laatua Qwen2-VL-72B -kokoelmaan, saavuttaen hieman parannetun tuloksen.

Vertailu FVD- ja ihmisen arviointituloksien välillä Qwen2-VL-72B ja kirjoittajien kokoelman välillä.

Menetelmä

VideoAuteurin generatiivinen vaihe on jaettu Pitkän kerronnallisen ohjaajan (LND) ja visuaalisten ehtojen mukaisen videoiden luomisen mallin (VCVGM) välillä.

LND generoi sarjan visuaalisten upotusten tai avainkehyksien, jotka luonnehtivat kerronnallisen virran, samalla tavalla kuin “olennaiset korkeakohdat”. VCVGM generoi videoklippejä näiden valintojen perusteella.

VideoAuteurin prosessin kaavio. Pitkä kerronnallinen ohjaaja tekee sovellettuja valintoja syötettäväksi Seed-X -generatiiviseen moduuliin.

Kirjoittajat keskustelivat laajasti vuorovaikutteisen kuva-teksti ohjaajan ja kieli-keskeisen avainkehyksien ohjaajan eroista ja päättelivät, että ensimmäinen lähestymistapa on tehokkaampi.

Vuorovaikutteinen kuva-teksti ohjaaja generoi sarjan vuorovaikutteisesti tekstin tokenien ja visuaalisten upotusten kanssa, käyttäen autoregressiivista mallia ennustamaan seuraava token yhdistetyssä kontekstissa sekä tekstistä että kuvista. Tämä varmistaa tiukan yhdenmukaisuuden visuaalisen ja tekstin välillä.

Toisaalta kieli-keskeinen avainkehyksien ohjaaja syntetisoi avainkehyksiä teksti-ehtoisella diffuusiomallilla pelkästään kuvauksien perusteella, ilman visuaalisten upotusten sisällyttämistä generoimisprosessiin.

Tutkijat totesivat, että vaikka kieli-keskeinen menetelmä generoi visuaalisesti miellyttäviä avainkehyksiä, se kärsii jatkuvuuden puutteesta kehyksissä, väittäen, että vuorovaikutteinen menetelmä saavuttaa korkeammat tulokset realismissa ja visuaalisessa jatkuvuudessa. He myös totesivat, että tämä menetelmä oli paremmin kykenevä oppimaan realistisen visuaalisen tyylin koulutuksen kautta, vaikka joskus joidenkin toistuvien tai meluisien elementtien kera.

Epätavallisesti, tutkimuksen suunnassa, jossa Stable Diffusion ja Flux on otettu osaksi työnkulkua, kirjoittajat käyttivät Tencentin SEED-X 7B-parametrin monimodaalista suurten kielimallien perusmallia generatiivisessa putkessa (vaikka tämä malli hyödyntää Stability.ai:n SDXL -julkaisua Stable Diffusionista osittain arkkitehtuurissaan).

Kirjoittajat toteavat:

‘Toisin kuin klassinen Kuva-Video (I2V) -putki, joka käyttää kuvaa aloituskehyksenä, lähestymistapamme hyödyntää [regressoituja visuaalisia upotusten latenteja] jatkuvina ehdoina koko [sarjan] ajan.

‘Lisäksi parannamme generoituja videoiden luotettavuutta ja laatua sopeuttamalla mallin käsittelemään meluisia visuaalisia upotusten latenteja, koska regressoituja visuaalisia upotusten latenteja ei välttämättä ole täydellisiä regressiovirheiden takia.’

Vaikka tyypilliset visuaalisten ehtojen mukaiset generatiiviset putket käyttävät usein alkukehyksiä ohjaamiseen, VideoAuteur laajentaa tätä paradigman generoimalla moniosaisia visuaalisia tiloja semanttisesti koherentissa latenttiavaruudessa, välttäen mahdollisen alkukehyksien perusteella tapahtuvan generoinnin harhan.

Kaavio visuaalisen tilan upotusten käytöstä parempana ehtona.

Testit

SeedStoryn menetelmien mukaisesti, tutkijat käyttävät SEED-X:ää soveltamaan LoRA-hienosäätöä narratiivisessa tietokannassaan, kuvaillen tulosta arvoituksellisesti “Sora-tyyppisenä” mallina, joka on esikoulutettu suurilla video-teksti -parien kanssa ja pystyy vastaanottamaan sekä visuaalisia että tekstipohjaisia syötteitä ja ehtoja.

32 000 narratiivista videota käytettiin mallin kehittämiseen, ja 1 000 pidettiin erillään validointinäytteinä. Videot leikattiin 448 pikseliin lyhyellä sivulla ja sitten keskileikattiin 448x448px:ksi.

Koulutuksessa narratiivisen generoinnin arvioitiin pääasiassa YouCook2 -validointijoukossa. Howto100M -joukkoa käytettiin datan laadun arviointiin ja myös kuvasta videoksi -generoinnissa.

Visuaalisten ehtojen menetelmässä tutkijat käyttivät diffuusiomenetelmää DiT:stä ja vuoden 2024 työstä, joka perustuu Stable Diffusioniin.

Todistamaan väitettään, että vuorovaikutteinen menetelmä on parempi, kirjoittajat asettivat VideoAuteuren kilpailevia menetelmiä vastaan, jotka riippuvat pelkästään tekstipohjaisesta syötteestä: EMU-2, SEED-X, SDXL ja FLUX.1-schnell (FLUX.1-s).

Kun annetaan globaali syöte, ‘Vaiheittainen opas mapo-tofun valmistamiseen’, vuorovaikutteinen ohjaaja generoi toimintoja, kuvauksia ja kuva-upotusten latenteja järjestyksessä kertoakseen prosessin. Ensimmäiset kaksi riviä näyttävät avainkehyksiä, jotka on dekoodattu EMU-2 ja SEED-X -latenssiavaruudesta. Nämä kuvat ovat realistisia ja johdonmukaisia, mutta vähemmän viimeisteltyjä kuin ne, jotka ovat edistyneistä malleista kuten SDXL ja FLUX.

Kirjoittajat toteavat:

‘Kieli-keskeinen lähestymistapa, joka käyttää teksti-kuva -malleja, tuottaa visuaalisesti miellyttäviä avainkehyksiä, mutta kärsii jatkuvuuden puutteesta kehyksissä johtuen rajoitettua keskinäistä tietoa. Toisaalta vuorovaikutteinen generoimismenetelmä hyödyntää kieli-yhdenmukaisia visuaalisia upotusten latenteja, saavuttaen realistisen visuaalisen tyylin koulutuksen kautta.

‘Kuitenkin se joskus generoi kuvia, jotka sisältävät toistuvia tai meluisia elementtejä, koska autoregressiivinen malli kamppailee luodakseen tarkan upotusarvon yhdellä kertaa.’

Ihmisen arvio vahvistaa myös kirjoittajien väitteen parantuneesta suorituskyvystä vuorovaikutteisessa lähestymistavassa, jossa vuorovaikutteiset menetelmät saavuttavat korkeimmat tulokset kyselyssä.

Lähestymistapojen vertailu ihmisen tutkimuksesta tehdyn paperin mukaan.

Kuitenkin kieli-keskeiset lähestymistavat saavuttavat parhaat esteettiset tulokset. Kirjoittajat väittävät kuitenkin, että tämä ei ole keskeinen asia pitkien kerronnallisten videoiden generoimisessa.

Paina toistaa. Segmentejä, jotka on generoitu pizzan rakentamiselle VideoAuteurilla.

Johtopäätös

Suosituin tutkimussuunta, joka liittyy tähän haasteeseen eli kerronnallisen jatkuvuuteen pitkien videoiden generoimisessa, keskittyy yksittäisiin kuviin. Tällaisia projekteja ovat DreamStory, StoryDiffusion, TheaterGen ja NVIDIA:n ConsiStory.

Jossain mielessä VideoAuteur kuuluu myös tähän ‘staattiseen’ kategoriaan, koska se käyttää siemenkuvia, joista klipit generoidaan. Kuitenkin videon ja semanttisen sisällön yhdistäminen tuo prosessin askelen lähemmäs käytännön putkea.

Julkaistu ensimmäisen kerran torstaina, 16. tammikuuta 2025