Generatiivinen tekoäly on jo pitkään vienyt tekoälytutkimusta eteenpäin. Kuvien luomisen edistysaskeleet, erityisesti diffuusiomallit, ovat hyödyttäneet myös videoiden generointia tutkimuksessa ja käytännön sovelluksissa. Videomallit koulutetaan yleensä alusta tai ne perustuvat valmiiksi koulutettujen kuvamallien osittaiseen tai täydelliseen hienosäätöön. Niihin lisätään ajallisia kerroksia, ja koulutuksessa käytetään sekä kuva- että videoaineistoja.

Tässä artikkelissa tarkastelemme Stable Video Diffusionia, latentissa esitysavaruudessa toimivaa videodiffuusiomallia, joka tuottaa korkearesoluutioista videota kuvista ja tekstistä. Selvitämme, miten kaksiulotteisten kuvien latentit diffuusiomallit parantavat videoiden generointia, kun niihin lisätään ajallisia kerroksia ja niitä hienosäädetään pienillä, laadukkailla videoaineistoilla. Tarkastelemme mallin arkkitehtuuria ja toimintaa, arvioimme tuloksia eri mittareilla ja vertaamme niitä johtaviin videomalleihin.

Stable Video Diffusion ja videoita generoivat mallit: johdanto

Generatiivisen tekoälyn lähes rajattomat mahdollisuudet ovat tehneet siitä tekoälyn ja koneoppimisen asiantuntijoiden keskeisen tutkimuskohteen. Kuvia generoivien mallien suorituskyky ja tehokkuus ovat kehittyneet nopeasti. Näitä tuloksia on voitu hyödyntää videoiden generoinnissa ja sen käytännön sovelluksissa. Suuri osa tutkimuksesta on kuitenkin keskittynyt ajallisten ja avaruudellisten kerrosten järjestämiseen, kun taas aineiston huolellisen valinnan vaikutus on saanut vähemmän huomiota.

Kuvamalleja koskeva tutkimus osoittaa, että koulutusaineiston jakauma vaikuttaa merkittävästi suorituskykyyn. Esikoulutus suurella ja monipuolisella aineistolla sekä myöhempi hienosäätö pienemmällä, laadukkaammalla aineistolla parantavat usein tuloksia huomattavasti. Videomallit hyödyntävät kuvamallien saavutuksia, mutta aineistojen ja koulutusstrategioiden vaikutuksia ei ole vielä tutkittu riittävästi. Stable Video Diffusion keskittyy näihin vähemmän tutkittuihin kysymyksiin, erityisesti aineiston valintaan.

Uudet videoita generoivat mallit käyttävät diffuusiota ja teksti- tai kuvaohjausta tuottaakseen yhtenäisiä kuvasarjoja. Diffuusiomallit oppivat poistamaan kohinaa normaalijakaumasta otetusta näytteestä toistuvien tarkennusvaiheiden avulla. Menetelmä on tuottanut hyviä tuloksia korkearesoluutioisten videoiden ja tekstistä luotujen kuvien synteesissä. Stable Video Diffusion kouluttaa vastaavasti latentissa avaruudessa toimivan videodiffuusiomallin videoaineistolla. Artikkelissa viitataan lisäksi generatiivisiin kilpaileviin verkkoihin (GAN) ja jossain määrin autoregressiivisiin malleihin.

Stable Video Diffusion käyttää vertailukohtana latentteja videodiffuusiomalleja, joiden arkkitehtuuri ja koulutusstrategia pidetään samoina. Näin aineiston kuratoinnin vaikutusta voidaan arvioida erikseen. Sen tärkeimmät kontribuutiot ovat:

• Järjestelmällinen ja tehokas kuratointiprosessi, joka muuntaa suuren määrän käsittelemättömiä videonäytteitä laadukkaaksi generatiivisten videomallien koulutusaineistoksi.
• Edistyneiden kuva–video- ja teksti–video-mallien kouluttaminen siten, että niiden tulokset ylittävät aiemmat vertailumallit.
• Alakohtaiset kokeet mallin kolmiulotteisen ymmärryksen ja sen oppiman vahvan liikepriorin tutkimiseksi.

Stable Video Diffusion rakentuu latenttien videodiffuusiomallien tutkimustuloksille ja aineiston kuratointitekniikoille.

Latentit videodiffuusiomallit

Nämä Video-LDM-mallit kouluttavat varsinaisen generatiivisen mallin latentissa avaruudessa laskennallisen kuormituksen vähentämiseksi. Useimmat käyttävät valmiiksi koulutettua teksti–kuva-mallia ja lisäävät sen arkkitehtuuriin ajallisia sekoituskerroksia. Tavallisesti koulutetaan vain nämä ajalliset kerrokset tai lisäkoulutuksesta luovutaan kokonaan. Stable Video Diffusion sen sijaan hienosäätää koko mallin. Tekstistä videota tuotettaessa mallia ohjataan suoraan tekstikehotteella. Tulokset osoittavat, että mallia voidaan helposti mukauttaa useiden näkymien synteesiin tai kuvasta videota tuottaviin tehtäviin.

Aineiston kuratointi

Aineiston kuratointi on olennaista sekä Stable Video Diffusionille että generatiivisille malleille yleisemmin. Suurten mallien esikoulutus laajoilla aineistoilla parantaa esimerkiksi kielen mallintamista ja tekstistä kuvaksi -generointia. Kuvamalleissa kuratointia on toteutettu onnistuneesti tehokkaiden kieli- ja kuvaesitysten avulla, mutta videoiden generoinnissa se on saanut vähemmän huomiota. Stable Video Diffusion vastaa videoaineiston kuratoinnin haasteisiin kolmivaiheisella koulutuksella, joka parantaa tuloksia merkittävästi.

Aineiston kuratointi laadukkaiden videoiden synteesiä varten

Ensimmäisessä vaiheessa tehdään kuvien esikoulutus kaksiulotteisella teksti–kuva-diffuusiomallilla. Toisessa vaiheessa malli esikoulutetaan suurella videoaineistolla. Kolmannessa vaiheessa sitä hienosäädetään pienellä, laadukkaiden ja korkearesoluutioisten videoiden osajoukolla.

Näitä vaiheita edeltävät aineiston käsittely ja annotointi. Ne muodostavat perustan toiselle vaiheelle ja ovat ratkaisevia lopputulokselle. Tehokkuuden maksimoimiseksi järjestelmä tunnistaa ensin otosten vaihtumiset peräkkäisellä menettelyllä kolmella eri kuvataajuudella (FPS). Alla oleva kuva havainnollistaa menettelyn tarvetta.

Tämän jälkeen jokainen videoleike annotoidaan kolmella eri automaattisella kuvailumenetelmällä. Seuraava taulukko vertaa aineistoja ennen suodatusta ja sen jälkeen.

Vaihe I: kuvien esikoulutus

Ensimmäinen vaihe perustuu valmiiksi koulutettuun kuvadiffuusiomalliin, Stable Diffusion 2.1:een, joka tarjoaa vahvat visuaaliset esitykset.

Vaihe II: videoiden esikoulutus

Toinen vaihe hyödyntää havaintoa, jonka mukaan aineiston kuratointi parantaa multimodaalisten kuvamallien tuloksia, tehokkuutta ja erottelevuutta. Ei-toivottujen videonäytteiden suodattamiseen ei kuitenkaan ole yhtä vahvoja valmiita esityksiä. Siksi Stable Video Diffusion käyttää ihmisten mieltymyksiä signaaleina sopivan esikoulutusaineiston kokoamiseen. Seuraava kuva osoittaa kuratoidulla aineistolla tehdyn esikoulutuksen myönteisen vaikutuksen sekä suorituskyvyn paranemisen pienemmillä videoaineistoilla.

Malli käyttää erilaisia menetelmiä LVD-aineiston osajoukkojen kuratointiin ja tarkastelee niillä koulutettujen LVD-mallien paremmuusjärjestystä. Kuratoitu aineisto parantaa sekä tämän järjestelmän että diffuusiomallien suorituskykyä yleisesti. Strategia toimii myös suuremmilla, käytännön kannalta olennaisemmilla aineistoilla. Seuraava kuva havainnollistaa jälleen kuratoidun esikoulutuksen myönteistä vaikutusta pienemmillä videoaineistoilla.

Vaihe III: hienosäätö laadukkaalla aineistolla

Toiseen vaiheeseen asti järjestelmä keskittyy videoiden esikoulutuksen tuomiin parannuksiin. Kolmannessa vaiheessa tutkitaan lisäparannuksia laadukkailla videoilla tehdyn hienosäädön jälkeen sekä siirtymistä toisesta vaiheesta kolmanteen. Järjestelmä hyödyntää latenttien kuvadiffuusiomallien koulutustekniikoita ja kasvattaa koulutusnäytteiden resoluutiota. Menetelmää arvioidaan kolmella muuten samanlaisella mallilla, jotka eroavat vain alustuksensa osalta. Ensimmäisessä painot alustetaan ja videoiden esikoulutus jätetään pois; kahden muun painot saadaan muista latenteista videodiffuusiomalleista.

Tulokset ja havainnot

Käytännön tehtävien arviointia ja johtaviin malleihin vertaamista varten Stable Video Diffusion kouluttaa ensin perusmallin parhaaksi todetulla aineistomenetelmällä. Tätä hienosäädetään sitten eri tehtäviin tarkoitetuiksi edistyneiksi malleiksi.

Yllä on korkearesoluutioisia esimerkkejä kuvasta videoksi -generoinnista. Seuraava kuva osoittaa mallin kyvyn tuottaa laadukkaita videoita tekstistä.

Esikoulutettu perusmalli

Perusmalli pohjautuu Stable Diffusion 2.1:een. Uusien havaintojen mukaan kohina-aikataulun muuttaminen ja koulutuksessa käytettävän kohinan lisääminen ovat ratkaisevia kuvadiffuusiomallien korkeamman resoluution tuloksille. Näin koulutettu perusmalli oppii vahvan liike-esityksen ja ylittää vertailumallit tekstistä videoksi -generoinnissa ilman tehtäväkohtaista lisäkoulutusta eli zero-shot-asetelmassa. Tulokset esitetään alla.

Kehysten interpolointi ja useiden näkymien generointi

Järjestelmä hienosäätää kuva–video-mallin useiden näkymien aineistoilla tuottamaan uusia näkymiä kohteesta. Tätä mallia kutsutaan SVD-MV:ksi eli Stable Video Diffusion–Multi View -malliksi. Alkuperäistä SVD:tä hienosäädetään kahdella aineistolla: syötteenä annetaan yksi kuva ja tuloksena saadaan kuvasarja kohteen eri näkymistä.

Alla olevien kuvien mukaan SVD-MV:n suorituskyky on verrattavissa edistyneeseen Scratch Multi View -malliin. Tulokset osoittavat, että se hyödyntää tehokkaasti alkuperäisen SVD:n oppimia tietoja useiden näkymien luomisessa. Suhteellisen pieni koulutusiteraatioiden määrä tuottaa parhaat tulokset, kuten useimmissa muissakin SVD:stä hienosäädetyissä malleissa.

Yllä olevan kuvan vasemmalla puolella ovat arviointimittarit. SVD-MV ylittää Scratch-MV:n ja SD2.1 Multi-View’n selvästi. Toinen kuva näyttää koulutusiteraatioiden määrän vaikutuksen CLIP Score -mittarilla arvioituna; SVD-MV:n tulokset pysyvät vakaina.

Lopuksi

Stable Video Diffusion on latentissa avaruudessa toimiva videodiffuusiomalli, joka tuottaa edistyneitä korkearesoluutioisia videoita kuvista tai tekstistä. Sen erityinen strategia pitää vertailumallien arkkitehtuurin ja koulutusmenetelmän muuttumattomina, jotta aineiston kuratoinnin vaikutusta voidaan arvioida.

Kaksiulotteisten kuvien latentit diffuusiomallit parantavat videoita generoivien mallien kyvykkyyttä ja tehokkuutta, kun niihin lisätään ajallisia kerroksia ja niitä hienosäädetään pienillä laadukkailla videoaineistoilla. Esikoulutusaineiston kokoamisessa järjestelmä tutkii skaalaamista ja käyttää järjestelmällisiä keruumenetelmiä. Näin suuri määrä kohinaista videomateriaalia voidaan muuttaa käyttökelpoiseksi koulutusaineistoksi.

Kolmea koulutusvaihetta analysoidaan erikseen niiden suorituskykyvaikutuksen arvioimiseksi. Tuloksena on vahva videoesitys, joka sopii jatkohienosäätöön ja laadukkaaseen videosynteesiin sekä tuottaa johtaviin käytössä oleviin malleihin verrattavia tuloksia.