AI-modeller og plattformer

Forstå diffusjonsmodeller: En dyptgående introduksjon til generativ AI

mm
Publisert
Oppdatert
Legg til Unite.AI blant dine foretrukne kilder på Google

Diffusjonsmodeller har oppstått som en kraftfull tilnærming i generativ AI, og produserer statiske resultater i bilde-, lyd- og videogenerering. I denne dyptgående tekniske artikkelen, vil vi utforske hvordan diffusjonsmodeller fungerer, deres nøkkelinnovasjoner og hvorfor de har blitt så suksessfulle. Vi vil dekke de matematiske grunnlagene, treningsprosessen, stikkprøvealgoritmer og banebrytende applikasjoner for denne spennende nye teknologien.

Introduksjon til diffusjonsmodeller

Diffusjonsmodeller er en klasse av generative modeller som lærer å gradvis fjerne støy fra data ved å reversere en diffusjonsprosess. Den grunnleggende ideen er å starte med ren støy og iterativt forbedre den til en høykvalitetsprøve fra måldistribusjonen.

Dette konseptet ble inspirert av ikke-likvid termodynamikk – spesifikt, prosessen med å reversere diffusjon for å gjenopprette struktur. I sammenheng med maskinlæring, kan vi tenke på det som å lære å reversere den gradvise tilføyelsen av støy til data.

Noen nøkelfordeler med diffusjonsmodeller inkluderer:

  • Statistisk bildekvalitet, overgår GAN-er i mange tilfeller
  • Stabil trening uten adversarial dynamikk
  • Høyt parallelliserbar
  • Fleksibel arkitektur – enhver modell som kartlegger inn-data til ut-data av samme dimensjonalitet kan brukes
  • Sterk teoretisk grunnlag

La oss dykke dyptere inn i hvordan diffusjonsmodeller fungerer.

Stokastiske differensialligninger styrer den fremover- og bakoverprosessen i diffusjonsmodeller. Den fremover-SDE legger til støy til data, og forvandler det gradvis til en støydistribusjon. Den bakover-SDE, guidet av en lært score-funksjon, fjerner progressivt støy, og fører til generering av realistiske bilder fra tilfeldig støy. Dette konseptet er nøkelen til å oppnå høykvalitets generativ ytelse i kontinuerlige tilstander.

Den fremover-diffusjonsprosessen

Den fremover-diffusjonsprosessen starter med en datapunkt x₀ sampet fra den virkelige datadistribusjonen, og legger til gaussisk støy over T tidssteg for å produsere stadig mer støyelige versjoner x₁, x₂, …, xT.

Ved hver tidssteg t, legger vi til en liten mengde støy i henhold til:

x_t = √(1 - β_t) * x_{t-1} + √(β_t) * ε

Hvor:

  • β_t er en variansskedule som kontrollerer hvor mye støy som legges til ved hver steg
  • ε er tilfeldig gaussisk støy

Denne prosessen fortsetter til xT er nesten ren gaussisk støy.

Matematisk kan vi beskrive dette som en Markov-kjede:

q(x_t | x_{t-1}) = N(x_t; √(1 - β_t) * x_{t-1}, β_t * I)

Hvor N betegner en gaussisk distribusjon.

Den β_t-skedulen velges vanligvis til å være liten for tidlige tidssteg og øke over tid. Vanlige valg inkluderer lineær, cosinus eller sigmoide skeduler.

Den bakover-diffusjonsprosessen

Målet med en diffusjonsmodell er å lære den omvendte prosessen – å starte med ren støy xT og progressivt fjerne støy for å gjenopprette en ren prøve x₀.

Vi modellerer denne bakover-prosessen som:

p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), σ_θ^2(x_t, t))

Hvor μ_θ og σ_θ^2 er lært funksjoner (vanligvis neurale nettverk) parameterisert av θ.

Den nøkkelinnovasjonen er at vi ikke trenger å eksplisitt modellere den fulle bakover-distribusjonen. I stedet kan vi parameterisere den i henhold til den fremover-prosessen, som vi kjenner.

Spesifikt kan vi vise at den optimale bakover-prosess-middelverdi μ* er:

μ* = 1/√(1 - β_t) * (x_t - β_t/√(1 - α_t) * ε_θ(x_t, t))

Hvor:

  • α_t = 1 – β_t
  • ε_θ er en lært støy-prediksjonsnettverk

Dette gir oss et enkelt mål – trene et neuralt nettverk ε_θ til å prediktere støyen som ble lagt til ved hver steg.

Treningsmål

Treningsmålet for diffusjonsmodeller kan avledes fra variasjonsinferens. Etter noen forenklinger, kommer vi frem til et enkelt L2-tap:

L = E_t,x₀,ε [ ||ε - ε_θ(x_t, t)||² ]

Hvor:

  • t er sampet uniformt fra 1 til T
  • x₀ er sampet fra treningdata
  • ε er sampet gaussisk støy
  • x_t er konstruert ved å legge til støy til x₀ i henhold til den fremover-prosessen

Med andre ord, trener vi modellen til å prediktere støyen som ble lagt til ved hver tidssteg.

Modellarkitektur

U-Net-arkitekturen er sentral for den avstøyende prosessen i diffusjonsmodellen. Den har en encoder-decoder-struktur med hoppeforbindelser som hjelper til å bevare fin-grained detaljer under rekonstruksjonsprosessen. Encoderen sampler ned input-bildet mens den fanger høynivå-egenskaper, og decoderen sampler opp de kodete egenskapene for å rekonstruere bildet. Denne arkitekturen er spesielt effektiv i oppgaver som krever presise lokaliseringsmuligheter, som bilde-segmentering.

Støy-prediksjonsnettverket ε_θ kan bruke enhver arkitektur som kartlegger inn-data til ut-data av samme dimensjonalitet. U-Net-liknende arkitekturer er et populært valg, spesielt for bilde-genereringsoppgaver.

En typisk arkitektur kan se ut som:


<p>class DiffusionUNet(nn.Module):
def __init__(self):
super().__init__()</p>

<p># Downsampling
self.down1 = UNetBlock(3, 64)
self.down2 = UNetBlock(64, 128)
self.down3 = UNetBlock(128, 256)</p>

<p># Bottleneck
self.bottleneck = UNetBlock(256, 512)</p>

<p># Upsampling
self.up3 = UNetBlock(512, 256)
self.up2 = UNetBlock(256, 128)
self.up1 = UNetBlock(128, 64)</p>

# Output
self.out = nn.Conv2d(64, 3, 1)

<p>def forward(self, x, t):
# Embed timestep
t_emb = self.time_embedding(t)</p>

<p># Downsample
d1 = self.down1(x, t_emb)
d2 = self.down2(d1, t_emb)
d3 = self.down3(d2, t_emb)</p>

<p># Bottleneck
bottleneck = self.bottleneck(d3, t_emb)</p>

<p># Upsample
u3 = self.up3(torch.cat([bottleneck, d3], dim=1), t_emb)
u2 = self.up2(torch.cat([u3, d2], dim=1), t_emb)
u1 = self.up1(torch.cat([u2, d1], dim=1), t_emb)</p>

# Output
return self.out(u1)

De nøkkelkomponentene er:

  • U-Net-liknende arkitektur med hoppeforbindelser
  • Tid-embedding for å konditionere på tidssteg
  • Fleksibel dybde og bredde

Stikkprøvealgoritme

Når vi har trent vårt støy-prediksjonsnettverk ε_θ, kan vi bruke det til å generere nye prøver. Den grunnleggende stikkprøvealgoritmen er:

  1. Start med ren gaussisk støy xT
  2. For t = T til 1:
    • Prediker støy: ε_θ(x_t, t)
    • Beregn middelverdi: μ = 1/√(1-β_t) * (x_t - β_t/√(1-α_t) * ε_θ(x_t, t))
    • Samp: x_{t-1} ~ N(μ, σ_t^2 * I)
  3. Returner x₀

Denne prosessen fjerner gradvis støy fra prøven, guidet av vårt lært støy-prediksjonsnettverk.

I praksis finnes det ulike stikkprøveteknikker som kan forbedre kvalitet eller hastighet:

  • DDIM-stikkprøving: En deterministisk variant som tillater færre stikkprøvesteg
  • Ancestral stikkprøving: Inkorporerer den lært variansen σ_θ^2
  • Avkortet stikkprøving: Stopper tidlig for raskere generering

Her er en grundleggende implementering av stikkprøvealgoritmen:


<p>def sample(model, n_samples, device):
# Start med ren støy
x = torch.randn(n_samples, 3, 32, 32).to(device)</p>

<p>for t in reversed(range(1000)):
# Legg til støy for å skape x_t
t_batch = torch.full((n_samples,), t, device=device)
noise = torch.randn_like(x)
x_t = add_noise(x, noise, t)</p>

<p># Prediker og fjern støy
pred_noise = model(x_t, t_batch)
x = remove_noise(x_t, pred_noise, t)</p>

<p># Legg til støy for neste steg (unntatt ved t=0)
if t &gt; 0:
noise = torch.randn_like(x)
x = add_noise(x, noise, t-1)</p>

return x

Matematikk bak diffusjonsmodeller

For å virkelig forstå diffusjonsmodeller, er det avgjørende å dykke dyptere inn i matematikk som ligger til grunn for dem. La oss utforske noen nøkkelkonsepter i mer detalj:

Markov-kjede og stokastiske differensialligninger

Den fremover-diffusjonsprosessen i diffusjonsmodeller kan sees på som en Markov-kjede eller, i den kontinuerlige grensen, som en stokastisk differensialligning (SDE). SDE-formuleringen gir en kraftfull teoretisk ramme for å analysere og utvide diffusjonsmodeller.

Den fremover-SDE kan skrives som:

dx = f(x,t)dt + g(t)dw

Hvor:

  • f(x,t) er drift-termen
  • g(t) er diffusjonskoeffisienten
  • dw er en Wiener-prosess (Brown-bevegelse)

Forskjellige valg av f og g fører til forskjellige typer diffusjonsprosesser. For eksempel:

  • Varians-exploderende (VE) SDE: dx = √(d/dt σ²(t)) dw
  • Varians-bevarende (VP) SDE: dx = -0.5 β(t)xdt + √(β(t)) dw

Å forstå disse SDE-ene gjør det mulig å avlede optimale stikkprøvestrategier og utvide diffusjonsmodeller til nye domener.

Poeng-matching og avstøyende poeng-matching

Forbindelsen mellom diffusjonsmodeller og poeng-matching gir en annen verdifull perspektiv. Poeng-funksjonen er definert som gradienten av log-sannsynlighets-tettheten:

s(x) = ∇x log p(x)

Avstøyende poeng-matching har som mål å estimere denne poeng-funksjonen ved å trene en modell til å avstøye lett perturberte datapunkter. Dette målet viser seg å være ekvivalent med diffusjonsmodell-treningsmålet i den kontinuerlige grensen.

Denne forbindelsen gjør det mulig å utnytte teknikker fra poeng-basert generativ modellering, som for eksempel annealed Langevin-dynamikk for stikkprøving.

Avanserte trenings-teknikker

Viktig stikkprøving

Den standard diffusjonsmodell-treningen sampler tidssteg uniformt. Imidlertid er ikke alle tidssteg like viktige for å lære. Viktig stikkprøving-teknikker kan brukes til å fokusere trening på de mest informative tidssteg.

En tilnærming er å bruke en ikke-uniform distribusjon over tidssteg, vektet av den forventede L2-normen av poeng-funksjonen:

p(t) ∝ E[||s(x_t, t)||²]

Dette kan føre til raskere trening og bedre prøvekvalitet.

Progressiv destillasjon

Progressiv destillasjon er en teknikk for å skape raskere stikkprøve-modeller uten å ofre kvalitet. Prosessen fungerer som følger:

  1. Trene en basis-diffusjonsmodell med mange tidssteg (f.eks. 1000)
  2. Opprett en elev-modell med færre tidssteg (f.eks. 100)
  3. Trene elev-modellen til å matche basis-modellens avstøyende prosess
  4. Gjenta steg 2-3, progressivt reduserer tidssteg

Dette gjør det mulig å generere høykvalitets prøver med betydelig færre avstøyende steg.

Arkitektoniske innovasjoner

Transformer-baserte diffusjonsmodeller

Mens U-Net-arkitekturer har vært populære for bilde-diffusjonsmodeller, har nyere arbeid utforsket bruk av transformer-arkitekturer. Transformerer tilbyr flere potensielle fordeler:

  • Bedre håndtering av lange avhengigheter
  • Mer fleksible kondisjonsmekanismer
  • Enklere skalerbarhet til større modellstørrelser

Modeller som DiT (Diffusion Transformers) har vist lovende resultater, og kan potensielt tilby en vei til enda høyere kvalitetsgenerering.

Hierarkiske diffusjonsmodeller

Hierarkiske diffusjonsmodeller genererer data på flere skalaer, og tillater både global kohensjon og fin-grained detaljer. Prosessen typisk involverer:

  1. Generering av lav-oppløst utgang
  2. Progressivt oppsamplning og forbedring

Dette tilnærmingen kan være spesielt effektiv for høy-oppløst bilde-generering eller lang-form innholdsgenerering.

Avanserte emner

Klassifikator-frie veiledning

Klassifikator-frie veiledning er en teknikk for å forbedre prøvekvalitet og kontroll. Den nøkkelideen er å trene to diffusjonsmodeller:

  1. En ubetinget modell p(x_t)
  2. En betinget modell p(x_t | y) hvor y er noen kondisjonsinformasjon (f.eks. tekst-prompt)

Under stikkprøving, interpolerer vi mellom disse modellene:

ε_θ = (1 + w) * ε_θ(x_t | y) - w * ε_θ(x_t)

Hvor w > 0 er en veilednings-skala som kontrollerer hvor mye å betone den betingede modellen.

Dette tillater for sterkere kondisjonering uten å måtte trene modellen på nytt. Det har vært avgjørende for suksessen til tekst-til-bilde-modeller som DALL-E 2 og Stable Diffusion.

Latent diffusjon

Latent diffusjonsmodell (LDM) prosessen involverer å kode inn data i et latent rom hvor diffusjonsprosessen skjer. Modellen legger til støy til den latente representasjonen av bildet, og fører til generering av en støyelig versjon, som deretter avstøyes ved hjelp av en U-Net-arkitektur. U-Net, guidet av kryss-oppmerksomhetsmekanismer, integrerer informasjon fra ulike kondisjonskilder som semantiske kart, tekst og bilde-representasjoner, og rekonstruerer til slutt bildet i piksel-rommet. Denne prosessen er avgjørende for å generere høykvalitets bilder med kontrollert struktur og ønskede attributter.

Dette tilbyr flere fordeler:

  • Raskere trening og stikkprøving
  • Bedre håndtering av høy-oppløst bilder
  • Enklere å inkorporere kondisjonering

Prosessen fungerer som følger:

  1. Trene en auto-encoder til å komprimere bilder til et latent rom
  2. Trene en diffusjonsmodell i dette latente rommet
  3. For generering, samp i latent rom og dekod til piksler

Dette tilnærmingen har vært svært suksessfull, og driver modeller som Stable Diffusion.

Konsistensmodeller

Konsistensmodeller er en ny innovasjon som har som mål å forbedre hastigheten og kvaliteten på diffusjonsmodeller. Den nøkkelideen er å trene en enkelt modell som kan kartlegge fra enhver støynivå direkte til den endelige utgangen, uten å kreve iterativ avstøyning.

Dette oppnås gjennom en nøye designet tap-funksjon som pålegger konsistens mellom prediksjoner på ulike støynivåer. Resultatet er en modell som kan generere høykvalitets prøver i en enkelt fremover-pass, og dramatisk forbedrer inferens-hastighet.

Praktiske tips for å trene diffusjonsmodeller

Å trene høykvalitets diffusjonsmodeller kan være utfordrende. Her er noen praktiske tips for å forbedre trening-stabilitet og resultater:

  1. Gradient-kapping: Bruk gradient-kapping for å forhindre eksploderende grader, spesielt tidlig i trening.
  2. EMA av modell-vekt: Hold en eksponensiell flytende gjennomsnitt (EMA) av modell-vekt for stikkprøving, som kan føre til mer stabil og høykvalitets generering.
  3. Data-forstyrrelse: For bilde-modeller, enkle forstyrrelser som tilfeldige horisontale flipper kan forbedre generalisering.
  4. Støynivå-scheduling: Eksperiment med ulike støynivå-skeduler (lineær, cosinus, sigmoid) for å finne hva som fungerer best for dine data.
  5. Blandet presisjon-trening: Bruk blandet presisjon-trening for å redusere minne-bruk og forbedre trening-hastighet, spesielt for store modeller.
  6. Betinget generering: Selv om ditt endelige mål er ubetinget generering, kan trening med kondisjonering (f.eks. på bilde-klasser) forbedre den overordnede prøvekvaliteten.

Evaluering av diffusjonsmodeller

Riktig evaluering av generative modeller er avgjørende, men utfordrende. Her er noen vanlige metrikk og tilnærming:

Fréchet Inception-avstand (FID)

FID er en vidt brukt metrikk for å evaluere kvalitet og diversitet av genererte bilder. Den sammenligner statistikken av genererte prøver med virkelige data i egenskaps-rommet til en forhånds-trent klassifikator (vanligvis InceptionV3).

Lavere FID-poeng indikerer bedre kvalitet og mer realistiske distribusjoner. Imidlertid har FID begrensninger og bør ikke være den eneste metrikken som brukes.

Inception-poeng (IS)

Inception-poeng måler både kvalitet og diversitet av genererte bilder. Den bruker en forhånds-trent Inception-nettverk til å beregne:

IS = exp(E[KL(p(y|x) || p(y))])

Hvor p(y|x) er den betingede klasse-distribusjonen for generert bilde x.

Høyere IS indikerer bedre kvalitet og diversitet, men det har kjente begrensninger, spesielt for datasett som er svært forskjellige fra ImageNet.

Negativ log-sannsynlighet (NLL)

For diffusjonsmodeller, kan vi beregne den negative log-sannsynligheten av holdt-tilbake-data. Dette gir en direkte måling av hvor godt modellen passer den virkelige datadistribusjonen.

Imidlertid kan NLL være komputasjonelt dyrt å estimere nøyaktig for høy-dimensjonale data.

Menneskelig evaluering

For mange applikasjoner, spesielt kreative, er menneskelig evaluering avgjørende. Dette kan inkludere:

  • Side-ved-side sammenligninger med andre modeller
  • Turing-test-liknende evalueringer
  • Oppgave-spesifikke evalueringer (f.eks. bilde-underskrift for tekst-til-bilde-modeller)

Selv om subjektiv, kan menneskelig evaluering fange aspekter av kvalitet som automatiske metrikk mangler.

Diffusjonsmodeller i produksjon

Å deploye diffusjonsmodeller i produksjonsmiljøer presenterer unike utfordringer. Her er noen overveielser og beste praksis:

Optimering for inferens

  1. ONNX-eksport: Konverter modeller til ONNX-format for raskere inferens over ulike maskinvare.
  2. Kvantifisering: Bruk teknikker som INT8-kvantifisering for å redusere modell-størrelse og forbedre inferens-hastighet.
  3. Caching: For betingede modeller, cache mellomliggende resultater for den ubetingede modellen for å akselerere klassifikator-fri veiledning.
  4. Batch-behandling: Utnytt batch-behandling for å gjøre effektivt bruk av GPU-resurser.

Skalerbarhet

  1. Distribuert inferens: For høy-gjennomstrømmings-applikasjoner, implementer distribuert inferens over flere GPU-er eller maskiner.
  2. Adaptiv stikkprøving: Juster dynamisk antall stikkprøvesteg basert på ønsket kvalitet-hastighet-kompromiss.
  3. Progressiv generering: For store utgang (f.eks. høy-oppløst bilder), generer progressivt fra lav til høy oppløsning for å gi raskere innledende resultater.

Sikkerhet og filtrering

  1. Innhold-filtrering: Implementer robuste innhold-filtreringssystemer for å forhindre generering av skadelig eller upassende innhold.
  2. Vannmerking: Vurder å inkorporere usynlige vannmerker i generert innhold for sporbarhet.

Applikasjoner

Diffusjonsmodeller har funnet suksess i en rekke generative oppgaver:

Bilde-generering

Bilde-generering er der diffusjonsmodeller først fikk fremgang. Noen bemerkelsesverdige eksempler inkluderer:

  • DALL-E 3: OpenAI sin tekst-til-bilde-modell, som kombinerer en CLIP-tekst-encoder med en diffusjons-bilde-decoder
  • Stable Diffusion: En åpen kildekode latent diffusjonsmodell for tekst-til-bilde-generering
  • Imagen: Google (GOOGL ) sin tekst-til-bilde-diffusjonsmodell

Disse modellene kan generere svært realistiske og kreative bilder fra tekst-beskrivelser, og overgår tidligere GAN-baserte tilnærmingen.

Video-generering

Diffusjonsmodeller har også blitt brukt til video-generering:

  • Video-diffusjonsmodeller: Genererer video ved å behandle tid som en ekstra dimensjon i diffusjonsprosessen
  • Make-A-Video: Meta sin tekst-til-video-diffusjonsmodell
  • Imagen Video: Google sin tekst-til-video-diffusjonsmodell

Disse modellene kan generere korte video-klipp fra tekst-beskrivelser, og åpner opp nye muligheter for innholdsskapning.

3D-generering

Nyere arbeid har utvidet diffusjonsmodeller til 3D-generering:

  • DreamFusion: Tekst-til-3D-generering ved hjelp av 2D-diffusjonsmodeller
  • Point-E: OpenAI sin punkt-sky-diffusjonsmodell for 3D-objekt-generering

Disse tilnærmingene muliggjør skapning av 3D-ressurser fra tekst-beskrivelser, med applikasjoner i spill, VR/AR og produkt-design.

Utfordringer og fremtidige retninger

Selv om diffusjonsmodeller har vist bemerkelsesverdig suksess, finnes det fortsatt flere utfordringer og områder for fremtidig forskning:

Kalkulatorisk effisiens

Den iterative stikkprøve-prosessen i diffusjonsmodeller kan være treg, spesielt for høy-oppløst utgang. Tilnærminger som latent diffusjon og konsistensmodeller har som mål å adresse dette, men ytterligere forbedringer i effisiens er et aktivt forskningsområde.

Kontroll

Selv om teknikker som klassifikator-fri veiledning har forbedret kontroll, finnes det fortsatt arbeid å gjøre for å tillate mer fin-grained kontroll over genererte utgang. Dette er spesielt viktig for kreative applikasjoner.

Multi-modal generering

Gjeldende diffusjonsmodeller utmerker seg i enkelt-modal generering (f.eks. bilder eller lyd). Utvikling av sanne multi-modal diffusjonsmodeller som kan generere på tvers av modaler er en spennende retning for fremtidig arbeid.

Teoretisk forståelse

Selv om diffusjonsmodeller har sterke empiriske resultater, finnes det fortsatt mer å forstå om hvorfor de fungerer så godt. Utvikling av en dypere teoretisk forståelse kunne føre til ytterligere forbedringer og nye applikasjoner.

Konklusjon

Diffusjonsmodeller representerer et skritt fremover i generativ AI, og tilbyr høykvalitets resultater på tvers av en rekke modaler. Ved å lære å reversere en støy-tilføyingsprosess, tilbyr de en fleksibel og teoretisk grunnlagt tilnærming til generering.

Fra kreative verktøy til vitenskapelige simuleringer, har evnen til å generere komplekse, høy-dimensjonale data potensialet til å transformere mange felt. Imidlertid er det viktig å nærme seg disse kraftfulle teknologiene med omhu, og å vurdere både deres enorme potensial og de etiske utfordringene de presenterer.

mm

Jeg har brukt de siste fem årene på å dykke ned i den fasiniserende verden av Maskinlæring og Dypt Læring. Min lidenskap og ekspertise har ledet meg til å bidra til over 50 ulike programvareprosjekter, med særlig fokus på AI/ML. Min pågående nysgjørhet har også trukket meg mot Naturlig Språkbehandling, et felt jeg er ivrig etter å utforske videre.