Generativ AI har længe været en drivkraft i AI-miljøet. Fremskridt inden for generativ billedmodellering, især med diffusionsmodeller, har også forbedret videomodeller betydeligt, både i forskning og praktiske anvendelser. Videomodeller trænes normalt fra bunden eller finjusteres helt eller delvist fra fortrænede billedmodeller med ekstra tidslige lag på en blanding af billeder og videoer.

Her ser vi på Stable Video Diffusion, en latent videodiffusionsmodel til billed-til-video og tekst-til-video i høj opløsning. Vi undersøger, hvordan modeller trænet til todimensionale billeder forbedrer videomodellers evner og effektivitet ved at tilføje tidslige lag og finjustere på små datasæt med kvalitetsvideo. Vi gennemgår arkitekturen, virkemåden og resultaterne sammenlignet med førende videomodeller.

Stable Video Diffusion og generative videomodeller: introduktion

Generativ AI har på grund af sit store potentiale længe været et centralt forskningsemne. De seneste år har billedmodeller gjort store fremskridt i effektivitet og ydeevne. Erfaringerne har hjulpet udviklere med at skabe mere praktisk anvendelige videomodeller. Meget forskning har dog fokuseret på den præcise placering af rumlige og tidslige lag og i mindre grad på betydningen af at vælge de rette træningsdata.

For billedmodeller har træningsdataenes fordeling stor betydning. Fortræning på et stort og varieret datasæt efterfulgt af finjustering på et mindre datasæt af højere kvalitet forbedrer ofte resultaterne markant. Videomodeller bruger erfaringerne fra billedmodeller, men effekten af data og træningsstrategier er mindre udforsket. Stable Video Diffusion undersøger dette med særligt fokus på dataudvælgelse.

Nyere generative videomodeller bruger diffusion og betingning på tekst eller billeder til at skabe sammenhængende videobilleder. Diffusionsmodeller lærer gradvist at fjerne støj fra en prøve fra en normalfordeling gennem gentagne forbedringer. De har givet gode resultater inden for video i høj opløsning og tekst-til-billede. Artiklen omtaler disse principper i forbindelse med latent videodiffusion og nævner også generative adversarielle netværk (GAN’er) og autoregressive modeller.

Stable Video Diffusion bruger grundmodeller for latent videodiffusion med fast arkitektur og træningsstrategi for at undersøge effekten af datakuratering. Bidragene er:

• En systematisk og effektiv arbejdsgang, der omdanner en stor samling ukuraterede videoprøver til et datasæt af høj kvalitet.
• Træning af førende billed-til-video- og tekst-til-video-modeller, der overgår eksisterende rammeværk.
• Domænespecifikke forsøg, som undersøger modellens 3D-forståelse og stærke forhåndsviden om bevægelse.

Rammeværket bygger på erfaringer fra latente videodiffusionsmodeller og datakuratering.

Latente videodiffusionsmodeller

Video-LDM’er træner den generative hovedmodel i et latent rum for at mindske beregningskompleksiteten. De fleste kombinerer en fortrænet tekst-til-billede-model med nye lag, der blander information over tid. Mange træner kun de tidslige lag eller springer yderligere træning over. Stable Video Diffusion finjusterer derimod hele rammeværket. Ved tekst-til-video betinges modellen direkte på en tekstprompt. Resultaterne viser, at den let kan finjusteres til generering af flere synsvinkler eller billed-til-video.

Datakuratering

Datakuratering er afgørende for Stable Video Diffusion og generative modeller generelt. Store datasæt til fortræning kan forbedre opgaver som sprogmodellering og tekst-til-billede. Effektive sprog- og billedrepræsentationer har gjort kuratering vellykket for billedmodeller, mens dette har fået mindre opmærksomhed for video. Videokuratering indebærer flere udfordringer; rammeværket adresserer dem med en træningsstrategi i tre trin, som forbedrer resultaterne.

Datakuratering til videosyntese af høj kvalitet

Trin I er billedfortræning med en todimensional tekst-til-billede-diffusionsmodel. Trin II er videofortræning på store mængder video. Trin III er finjustering på en lille delmængde videoer med høj kvalitet og opløsning.

Inden træningen skal data behandles og annoteres. Det danner grundlag for videofortræningen i trin II og er vigtigt for optimale resultater. Først bruges en kaskade til registrering af klip ved tre forskellige billedfrekvenser (FPS). Figuren viser behovet for denne arbejdsgang.

Derefter annoteres hvert klip med tre forskellige metoder til syntetiske billedtekster. Tabellen sammenligner datasættene før og efter filtrering.

Trin I: billedfortræning

Første trin tager udgangspunkt i den fortrænede billeddiffusionsmodel Stable Diffusion 2.1, som giver Stable Video Diffusion stærkere visuelle repræsentationer.

Trin II: videofortræning

Trin II bygger på, at kuratering forbedrer resultater og effektivitet i multimodale billedmodeller. Tilsvarende stærke, færdige repræsentationer til filtrering af uønskede videoprøver mangler. Derfor bruges menneskelige præferencer som signaler til at sammensætte fortræningsdatasættet. Figuren viser fordelen ved fortræning på kuraterede data, som også forbedrer den videre træning på mindre videodatasæt.

Rammeværket kuraterer forskellige delmængder af Latent Video Diffusion-data og sammenligner rangeringen af LVD-modeller trænet på dem. Kuraterede datasæt forbedrer rammeværkets og diffusionsmodellernes resultater. Strategien virker også på større og mere praktisk relevante datasæt. Figuren nedenfor viser igen den positive virkning af kurateret fortræning.

Trin III: finjustering af høj kvalitet

Efter de tidligere trin fokuserer rammeværket på at forbedre ydeevnen gennem videofinjustering af høj kvalitet og undersøge overgangen fra trin II til III. Det bruger træningsteknikker fra latente billeddiffusionsmodeller og øger træningseksemplernes opløsning. Effekten vurderes ved at sammenligne tre ellers identiske modeller med forskellig initialisering. Den første springer videofortræningen over, mens de to andre initialiseres med vægte fra andre latente videomodeller.

Resultater og observationer

Rammeværket bruger den bedste strategi for dataudvælgelse til at træne en grundmodel. Derefter finjusteres den til flere førende modeller med hver deres opgave, og ydeevnen sammenlignes med andre rammeværk.

Figuren ovenfor viser billed-til-video-eksempler i høj opløsning. Figuren nedenfor viser generering af tekst-til-video af høj kvalitet.

Fortrænet grundmodel

Stable Video Diffusion bygger på Stable Diffusion 2.1. Nyere resultater gjorde det vigtigt at tilpasse støjplanen og øge støjen for at opnå højere opløsning under træning af billeddiffusionsmodeller. Derved lærer grundmodellen stærke bevægelsesrepræsentationer og overgår sammenligningsmodeller for tekst-til-video uden opgavespecifikke eksempler. Tabellen viser resultaterne.

Billedinterpolation og generering af flere synsvinkler

Billed-til-video-modellen finjusteres på datasæt med flere synsvinkler for at generere nye visninger af et objekt. Modellen kaldes SVD-MV, Stable Video Diffusion Multi View. Den oprindelige SVD-model finjusteres med to datasæt, så ét inputbillede resulterer i en sekvens med flere visninger.

Figurerne viser resultater på niveau med den førende Scratch Multi View-model og demonstrerer, at SVD-MV udnytter erfaringerne fra den oprindelige SVD-model. Relativt få træningsiterationer kan give de bedste resultater, hvilket også ses i flere andre modeller finjusteret fra SVD.

Målingerne i figuren vises til venstre. Stable Video Diffusion Multi View overgår Scratch-MV og SD2.1 Multi-View med en tydelig margen. Den anden figur viser træningsiterationernes betydning for CLIP-scoren; SVD-MV leverer stabile resultater.

Afsluttende betragtninger

Vi har gennemgået Stable Video Diffusion, en latent videodiffusionsmodel til billed-til-video og tekst-til-video i høj opløsning. Med fast arkitektur og træningsstrategi undersøger den systematisk virkningen af datakuratering.

Latente diffusionsmodeller til todimensionale billeder kan forbedre generative videomodeller ved at tilføje tidslige lag og finjustere på små datasæt med kvalitetsvideo. Rammeværket gennemfører skaleringsstudier og systematisk dataindsamling til fortræningen. Det foreslår en metode til at kuratere store videomængder og gøre støjfyldte videoer egnede som træningsdata.

De tre træningstrin analyseres hver for sig for at vurdere deres bidrag til ydeevnen. Resultatet er en stærk videorepræsentation, der kan finjusteres til god videosyntese med resultater på niveau med førende videomodeller.