Generativ KI har lenge vært en drivkraft i KI-miljøet. Fremskritt innen generativ bildemodellering, særlig med diffusjonsmodeller, har også ført videomodeller fremover både i forskning og praktiske anvendelser. Videomodeller trenes vanligvis fra bunnen av eller finjusteres helt eller delvis fra forhåndstrente bildemodeller med ekstra tidslag, på en blanding av bilde- og videodata.

Her ser vi på Stable Video Diffusion, en latent videodiffusjonsmodell for bilde-til-video og tekst-til-video med høy oppløsning. Vi undersøker hvordan diffusjonsmodeller for todimensjonale bilder kan forbedre videomodeller ved å legge til tidslag og finjustere på små datasett med videoer av høy kvalitet. Vi går gjennom arkitekturen, virkemåten og ytelsen sammenlignet med andre ledende videorammeverk.

Stable Video Diffusion og generative videomodeller: en innføring

Generativ KI har vært et sentralt forskningstema, og generative bildemodeller har raskt blitt mer effektive og bedre. Erfaringene har gitt mer anvendelige videomodeller. Likevel har mye av forskningen konsentrert seg om plasseringen av tidslige og romlige lag, med mindre oppmerksomhet på hvordan valg av treningsdata påvirker resultatene.

For bildemodeller har fordelingen av treningsdata stor betydning. Forhåndstrening på et stort og variert datasett, fulgt av finjustering på et mindre datasett av høyere kvalitet, forbedrer ofte ytelsen betydelig. Videomodeller bygger på erfaringene fra bildemodeller, men betydningen av data og treningsstrategier er mindre undersøkt. Stable Video Diffusion utforsker dette med særlig vekt på datautvalg.

Nyere videomodeller bruker diffusjon og betinging på tekst eller bilder til å lage sammenhengende videobilder. Diffusjonsmodeller lærer gradvis å fjerne støy fra en prøve fra en normalfordeling gjennom gjentatt forbedring. De har gitt gode resultater for video med høy oppløsning og tekst-til-bilde. Artikkelen omtaler disse prinsippene i forbindelse med latent videodiffusjon, og nevner også generative adversarielle nettverk (GAN-er) og autoregressive modeller.

Stable Video Diffusion bruker grunnmodeller for latent videodiffusjon med fast arkitektur og treningsstrategi, slik at effekten av datakuratering kan vurderes. Målet er å:

• Presentere en systematisk og effektiv arbeidsflyt som omformer en stor samling ukuraterte videoprøver til et datasett av høy kvalitet.
• Trene ledende bilde-til-video- og tekst-til-video-modeller som overgår eksisterende rammeverk.
• Gjennomføre domenespesifikke eksperimenter for å undersøke modellens 3D-forståelse og sterke forhåndskunnskap om bevegelse.

Rammeverket bygger på latente videodiffusjonsmodeller og teknikker for datakuratering.

Latente videodiffusjonsmodeller

Video-LDM-er trener den generative hovedmodellen i et latent rom for å redusere beregningskostnaden. De fleste tar utgangspunkt i en forhåndstrent tekst-til-bilde-modell og legger til lag som blander informasjon over tid. Mange trener bare tidslagene eller hopper over ytterligere trening, mens Stable Video Diffusion finjusterer hele rammeverket. Ved tekst-til-video betinges modellen direkte på en tekstprompt. Resultatene viser at den deretter enkelt kan finjusteres for generering av flere visninger eller bilde-til-video.

Datakuratering

Datakuratering er viktig både for Stable Video Diffusion og generative modeller generelt. Forhåndstrening på store datasett kan forbedre ytelsen i blant annet språkmodellering og tekst-til-bilde-oppgaver. Effektive språk- og bilderepresentasjoner har gjort kuratering vellykket for bildemodeller, mens dette har fått mindre oppmerksomhet for video. Videokuratering har flere utfordringer; rammeverket møter dem med en treningsstrategi i tre trinn som forbedrer resultatene.

Datakuratering for videosyntese av høy kvalitet

Trinn I er forhåndstrening på bilder med en todimensjonal tekst-til-bilde-diffusjonsmodell. Trinn II er forhåndstrening på store mengder video. Trinn III er finjustering på et lite utvalg videoer med høy kvalitet og oppløsning.

Før treningen må dataene behandles og annoteres. Dette legger grunnlaget for videoforhåndstreningen i trinn II og er avgjørende for gode resultater. Først brukes en kaskadekjede for klippdeteksjon på tre ulike bildefrekvenser (FPS). Figuren illustrerer behovet for denne behandlingen.

Deretter annoteres hvert videoklipp med tre forskjellige metoder for syntetiske bildetekster. Tabellen sammenligner datasettene før og etter filtrering.

Trinn I: forhåndstrening på bilder

Første trinn tar utgangspunkt i den forhåndstrente bildediffusjonsmodellen Stable Diffusion 2.1. Den gir Stable Video Diffusion sterkere visuelle representasjoner.

Trinn II: forhåndstrening på video

Trinn II bygger på at datakuratering forbedrer resultater og effektivitet i multimodale bildemodeller. Siden tilsvarende sterke, ferdige representasjoner for filtrering av uønskede videoprøver mangler, brukes menneskelige preferanser som signaler når datasettet for forhåndstrening utformes. Figuren viser den positive effekten av et kuratert datasett, som også forbedrer videre videoforhåndstrening på mindre datasett.

Rammeverket kuraterer ulike delmengder av Latent Video Diffusion-data og sammenligner rangeringen av LVD-modeller trent på dem. Kuraterte treningsdata forbedrer ytelsen både for rammeverket og diffusjonsmodeller generelt. Strategien virker også på større og mer praktisk relevante datasett. Figuren nedenfor viser igjen fordelen ved forhåndstrening på kuraterte data.

Trinn III: finjustering med høy kvalitet

Etter de tidligere trinnene legger rammeverket vekt på å forbedre ytelsen gjennom videofinjustering av høy kvalitet og undersøke overgangen fra trinn II til III. Det bruker treningsteknikker fra latente bildediffusjonsmodeller og øker oppløsningen på treningseksemplene. For å vurdere effekten sammenlignes tre ellers identiske modeller med ulik initialisering. Den første hopper over videoforhåndstreningen, mens de to andre initialiseres med vekter fra andre latente videomodeller.

Resultater og funn

Rammeverket bruker den beste datautvalgsstrategien til å trene en grunnmodell. Deretter finjusteres den til flere ledende modeller med hver sin oppgave, og resultatene sammenlignes med andre rammeverk.

Bildet over viser bilde-til-video-eksempler med høy oppløsning. Figuren nedenfor viser modellens evne til å generere tekst-til-video av høy kvalitet.

Forhåndstrent grunnmodell

Stable Video Diffusion bygger på Stable Diffusion 2.1. Nyere funn gjorde det viktig å tilpasse støyplanen og øke støynivået for å oppnå høyere oppløsning ved trening av bildediffusjonsmodeller. Dette gir grunnmodellen sterke bevegelsesrepresentasjoner. Den overgår sammenligningsmodeller for tekst-til-video uten oppgavespesifikke eksempler, slik tabellen viser.

Bildeinterpolering og generering av flere visninger

Rammeverket finjusterer bilde-til-video-modellen på datasett med flere visninger for å generere nye perspektiver av et objekt. Modellen kalles SVD-MV, Stable Video Diffusion Multi View. Den opprinnelige SVD-modellen finjusteres med to datasett, slik at ett bilde brukes som inndata og en sekvens med flere visninger returneres.

Figurene viser ytelse på nivå med den ledende Scratch Multi View-modellen og at SVD-MV kan utnytte kunnskapen fra den opprinnelige SVD-modellen. Resultatene tyder også på at relativt få treningsiterasjoner kan gi de beste resultatene, slik man ser for flere modeller finjustert fra SVD.

I figuren vises målene til venstre. Stable Video Diffusion Multi View overgår Scratch-MV og SD2.1 Multi-View med god margin. Den andre figuren viser hvordan antall treningsiterasjoner påvirker CLIP-skåren; SVD-MV gir stabile resultater.

Avsluttende tanker

Vi har sett på Stable Video Diffusion, en latent videodiffusjonsmodell for bilde-til-video og tekst-til-video med høy oppløsning. Med fast arkitektur og treningsstrategi undersøker den systematisk virkningen av datakuratering.

Latente diffusjonsmodeller for todimensjonale bilder kan forbedre generative videomodeller ved å legge til tidslag og finjustere på små datasett med kvalitetsvideo. Rammeverket gjennomfører skaleringsstudier og systematisk datainnsamling for forhåndstreningen, og foreslår en metode for å kuratere store videomengder og gjøre støyende video egnet som treningsdata.

De tre treningstrinnene analyseres hver for seg for å vurdere bidraget til ytelsen. Resultatet er en videorepresentasjon som kan finjusteres for god videosyntese, med resultater som kan sammenlignes med ledende videomodeller.