Generativ AI har vært en drivende kraft i AI-samfunnet i en stund nå, og fremgangen som er gjort i feltet generativ bilde-modellering, spesielt med bruk av diffusjonsmodeller, har hjulpet generative video-modeller å fremme betydelig, ikke bare i forskning, men også i virkelige verden-applikasjoner. Vanligvis er generative video-modeller enten trent fra scratch, eller de er delvis eller fullstendig finjustert fra forhånds-trente bilde-modeller med ekstra tids-lag, på en blanding av bilde- og video-datasæt.

Videre med fremgangen i generative video-modeller, skal vi i denne artikkelen snakke om Stabil Video-Diffusjonsmodell, en latent video-diffusjonsmodell som kan generere høyoppløselige, statisk-av-arten bilde-til-video og tekst-til-video-innhold. Vi skal snakke om hvordan latente diffusjonsmodeller trent for å syntetisere 2D-bilder har forbedret evnene og effektiviteten til generative video-modeller ved å legge til tids-lag og finjustere modellene på små datasæt bestående av høykvalitets-videoer. Vi skal dykke dyptere inn i arkitekturen og virkemåten til Stabil Video-Diffusjonsmodellen og evaluere dens ytelse på ulike metrikk og sammenligne den med nåværende statisk-av-arten-rammeverk for video-generering. La oss begynne.

Stabil Video-Diffusjonsmodell og Generative Video-Modeller: En Innføring

Takk til dens nesten ubegrensede potensial, har Generativ AI vært hovedtemaet for forskning for AI- og ML-utøvere i en stund nå, og de siste årene har sett rask fremgang både i effektivitet og ytelse av generative bilde-modeller. Læringene fra generative bilde-modeller har tillatt forskere og utviklere å fremme praktiskheten og virkelige verden-applikasjoner av generative video-modeller. Imidlertid har de fleste forsøk på å forbedre evnene til generative video-modeller fokusert primært på den eksakte arrangementet av tids- og rom-lag, med liten oppmerksomhet til å undersøke innflytelsen av å velge riktig data på resultatet av disse generative modellene.

Takk til fremgangen gjort av generative bilde-modeller, har forskere observert at innflytelsen av treningsdata-distribusjon på ytelsen til generative modeller er faktisk betydelig og ubestridt. Videre har forskere også observert at forhånds-trening av en generativ bilde-modell på et stort og variert datasæt fulgt av finjustering på et mindre datasæt med bedre kvalitet ofte resulterer i å forbedre ytelsen betydelig. Tradisjonelt implementerer generative video-modeller læringene fra vellykkede generative bilde-modeller, og forskere har ennå ikke studert effekten av data og treningsstrategier. Stabil Video-Diffusjonsmodellen er et forsøk på å forbedre evnene til generative video-modeller ved å gå inn i tidligere uutforskede områder med spesiell fokus på å velge data.

Nyere generative video-modeller avhenger av diffusjonsmodeller og tekst-betinget eller bilde-betinget tilnærminger for å syntetisere multiple konsistente video- eller bilde-rammer. Diffusjonsmodeller er kjent for deres evne til å lære hvordan man gradvis kan rense en prøve fra normal distribusjon ved å implementere en iterativ forbedringsprosess, og de har levert ønskede resultater på høyoppløselige videoer og tekst-til-bilde-syntese. Ved å bruke samme prinsipp i kjernen, trener Stabil Video-Diffusjonsmodellen en latent video-diffusjonsmodell på dens video-datasæt sammen med bruk av Generative Adversarial Networks eller GANs, og også autoregressive modeller til en viss grad.

Stabil Video-Diffusjonsmodellen følger en unik strategi som aldri er implementert av noen generativ video-modell, da den avhenger av latente video-diffusjons-baselinjer med en fast arkitektur og en fast treningsstrategi fulgt av å vurdere effekten av å kuratere data. Stabil Video-Diffusjonsmodellen har til hensikt å bidra med følgende i feltet generativ video-modellering.

1. Å presentere en systematisk og effektiv data-kuratér-arbeidsflyt i et forsøk på å omdanne en stor samling av ukuratede video-prøver til et høykvalitets-datasæt som deretter brukes av generative video-modeller.
2. Å trene statisk-av-arten bilde-til-video og tekst-til-video-modeller som overstiger eksisterende rammeverk.
3. Å utføre domene-spesifikke eksperimenter for å undersøke 3D-forståelse og sterk bevegelses-prior til modellen.

Nå implementerer Stabil Video-Diffusjonsmodellen læringene fra Latente Video-Diffusjonsmodeller og Data-Kuratér-teknikker i kjernen av sin grunnleggende struktur.

Latente Video-Diffusjonsmodeller

Latente Video-Diffusjonsmodeller eller Video-LDMs følger tilnærmingen til å trene den primære generative modellen i en latent rom med redusert beregningskompleksitet, og de fleste Video-LDMs implementerer en forhånds-trent tekst-til-bilde-modell koblet med tillegg av tids-blandings-lag i forhånds-trenings-arkitekturen. Som resultat, trener de fleste Video-Latente Diffusjonsmodeller enten bare tids-lag eller hopper over treningsprosessen helt, i motsetning til Stabil Video-Diffusjonsmodellen som finjusterer hele rammeverket.

Data-Kuratér

Data-Kuratér er en essensiell komponent ikke bare av Stabil Video-Diffusjonsmodellen, men for generative modeller som helhet, fordi det er essensielt å forhånds-trene store modeller på store datasæt for å øke ytelsen over ulike oppgaver, inkludert språk-modellering eller diskriminativ tekst-til-bilde-generering og mye mer. Data-Kuratér har blitt implementert med hell på generative bilde-modeller ved å utnytte evnene til effektive språk-bilde-representasjoner, selv om slike diskusjoner aldri har vært fokusert på for å utvikle generative video-modeller.

Data-Kuratér for Høykvalitets Video-Syntese

Som diskutert i den forrige seksjonen, implementerer Stabil Video-Diffusjonsmodellen en tre-stegs treningsstrategi, som resulterer i forbedrede resultater og en betydelig økning i ytelse. Steg I er en bilde-forhånds-trening-steg som bruker en 2D tekst-til-bilde-diffusjonsmodell. Steg II er for video-forhånds-trening hvor rammeverket trener på en stor mengde video-data. Til slutt har vi Steg III for video-finjustering hvor modellen finjusteres på en liten undergruppe av høykvalitets- og høyoppløselige videoer.

Imidlertid, før Stabil Video-Diffusjonsmodellen implementerer disse tre stegene, er det viktig å prosessere og annotere dataene, da de tjener som grunnlag for Steg II eller video-forhånds-trening-steg, og spiller en kritisk rolle i å sikre optimalt utgangspunkt.

Steg I: Bilde-Forhånds-Trening

Det første steget i den tre-stegs-pipeline implementert i Stabil Video-Diffusjonsmodellen er bilde-forhånds-trening, og for å oppnå dette, er den opprinnelige Stabil Video-Diffusjonsmodell-rammeverket grunnlagt mot en forhånds-trent bilde-diffusjonsmodell, nemlig Stable Diffusion 2.1-modellen som utstyrer den med sterkere visuelle representasjoner.

Steg II: Video-Forhånds-Trening

Det andre steget er video-forhånds-trening-steg, og det bygger på funnene som viser at bruk av data-kuratér i multimodale generative bilde-modeller ofte resulterer i bedre resultater og forbedret effektivitet sammen med kraftig diskriminativ bilde-generering.

Steg III: Høykvalitets-Finjustering

Til steget III, legger Stabil Video-Diffusjonsmodell-rammeverket vekt på å optimalisere eller ytterligere forbedre ytelsen til rammeverket etter høykvalitets video-finjustering, og hvordan overgangen fra Steg II til Steg III oppnås i rammeverket.

Resultater og Funn

Det er nå tid å se hvordan Stabil Video-Diffusjonsrammeverket ytter seg på virkelige oppgaver og hvordan det sammenlignes med nåværende statisk-av-arten-rammeverk.

Forhånds-Trent Basis-Modell

Som diskutert tidligere, er Stabil Video-Diffusjonsmodellen bygget på Stable Diffusion 2.1-rammeverket, og på grunn av nylige funn, var det kritisk for utviklere å adoptere støy-skjedulen og øke støyen for å oppnå bilder med bedre oppløsning når de trente bilde-diffusjonsmodeller.

Ramme-Interpolering og Multi-Visjon-Generering

Stabil Video-Diffusjonsrammeverket finjusterer bilde-til-video-modellen på multi-visjon-datasæt for å oppnå flere nye visninger av et objekt, og denne modellen er kjent som SVD-MV eller Stabil Video-Diffusjons-Multi-Visjon-modell.

SluttTanker

I denne artikkelen har vi snakket om Stabil Video-Diffusjon, en latent video-diffusjonsmodell som kan generere høyoppløselige, statisk-av-arten bilde-til-video og tekst-til-video-innhold.

Vi har snakket om hvordan latente diffusjonsmodeller trent for å syntetisere 2D-bilder har forbedret evnene og effektiviteten til generative video-modeller ved å legge til tids-lag og finjustere modellene på små datasæt bestående av høykvalitets-videoer.

Stabil Video-Diffusjonsrammeverket setter i gang tre distinkte video-modell-trenings-steg som analyseres uavhengig for å vurdere deres innflytelse på rammeverkets ytelse. Rammeverket produserer til slutt et video-representasjonsutgang som er kraftig nok til å finjustere modellene for optimal video-syntese, og resultater er sammenlignbare med statisk-av-arten video-genereringsmodeller som allerede er i bruk.