Kontakt med oss

Kunstig intelligens

Forstå diffusjonsmodeller: Et dypdykk i generativ AI

mm
Publisert
oppdatert
Forstå diffusjonsmodeller: Et dypdykk i generativ AI

Diffusjonsmodeller har dukket opp som en kraftig tilnærming innen generativ kunstig intelligens, og produserer toppmoderne resultater innen generering av bilder, lyd og video. I denne dyptgående tekniske artikkelen skal vi utforske hvordan diffusjonsmodeller fungerer, deres viktigste innovasjoner og hvorfor de har blitt så vellykkede. Vi skal dekke de matematiske grunnlagene, treningsprosessen, samplingsalgoritmer og banebrytende anvendelser av denne spennende nye teknologien.

Introduksjon til diffusjonsmodeller

Diffusjonsmodeller er en klasse av generative modeller som lærer å gradvis forringe data ved å reversere en diffusjonsprosess. Kjerneideen er å starte med ren støy og iterativt foredle den til en prøve av høy kvalitet fra målfordelingen.

Denne tilnærmingen var inspirert av termodynamikk uten likevekt - spesifikt prosessen med å reversere diffusjon for å gjenopprette struktur. I sammenheng med maskinlæring kan vi tenke på det som å lære å reversere det gradvise tillegget av støy til data.

Noen viktige fordeler med diffusjonsmodeller inkluderer:

  • Toppmoderne bildekvalitet som overgår GAN-er i mange tilfeller
  • Stabil trening uten motstridende dynamikk
  • Svært parallelliserbar
  • Fleksibel arkitektur – enhver modell som kartlegger innganger til utganger med samme dimensjonalitet kan brukes
  • Sterk teoretisk forankring

La oss dykke dypere inn i hvordan diffusjonsmodeller fungerer.

Stokastiske differensialligninger styrer forover- og reversprosessene i diffusjonsmodeller. Den fremre SDE legger til støy til dataene, og transformerer dem gradvis til en støyfordeling. Den omvendte SDE, styrt av en innlært scorefunksjon, fjerner gradvis støy, noe som fører til generering av realistiske bilder fra tilfeldig støy. Denne tilnærmingen er nøkkelen til å oppnå generativ ytelse av høy kvalitet i kontinuerlige tilstandsrom

Fremoverspredningsprosessen

Foroverdiffusjonsprosessen starter med et datapunkt x₀ samplet fra den virkelige datadistribusjonen, og legger gradvis til Gaussisk støy over T tidstrinn for å produsere stadig mer støyende versjoner x₁, x₂, …, xT.

Ved hvert tidstrinn t legger vi til en liten mengde støy i henhold til:

x_t = √(1 - β_t) * x_{t-1} + √(β_t) * ε

Hvor:

  • β_t er en variasjonsplan som kontrollerer hvor mye støy som legges til ved hvert trinn
  • ε er tilfeldig gaussisk støy

Denne prosessen fortsetter til xT er nesten ren Gaussisk støy.

Matematisk kan vi beskrive dette som en Markov-kjede:

q(x_t | x_{t-1}) = N(x_t; √(1 - β_t) * x_{t-1}, β_t * I)

Hvor N angir en gaussisk fordeling.

β_t-planen er vanligvis valgt til å være liten for tidlige tidstrinn og øke over tid. Vanlige valg inkluderer lineære, cosinus eller sigmoid tidsplaner.

Den omvendte diffusjonsprosessen

Målet med en diffusjonsmodell er å lære det motsatte av denne prosessen – å starte med ren støy xT og gradvis redusere den for å gjenopprette en ren prøve x₀.

Vi modellerer denne omvendte prosessen som:

p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), σ_θ^2(x_t, t))

Der μ_θ og σ_θ^2 er lærte funksjoner (typisk nevrale nettverk) parametrisert av θ.

Den viktigste nyskapningen er at vi ikke trenger å modellere hele reversfordelingen eksplisitt. I stedet kan vi parameterisere den i form av den fremoverrettede prosessen, som vi kjenner.

Spesifikt kan vi vise at den optimale reverseringsprosessens gjennomsnitt μ* er:

μ* = 1/√(1 - β_t) * (x_t - β_t/√(1 - α_t) * ε_θ(x_t, t))

Hvor:

  • α_t = 1 – β_t
  • ε_θ er et lært støyprediksjonsnettverk

Dette gir oss et enkelt mål – trene et nevralt nettverk ε_θ for å forutsi støyen som ble lagt til ved hvert trinn.

Opplæringsmål

Opplæringsmålet for diffusjonsmodeller kan utledes fra variasjonsslutning. Etter litt forenkling kommer vi til et enkelt L2-tap:

L = E_t,x₀,ε [ ||ε - ε_θ(x_t, t)||² ]

Hvor:

  • t prøves jevnt fra 1 til T
  • x₀ er samplet fra treningsdataene
  • ε er samplet Gaussisk støy
  • x_t er konstruert ved å legge til støy til x0 i henhold til foroverprosessen

Med andre ord trener vi modellen til å forutsi støyen som ble lagt til ved hvert tidssteg.

Modellarkitektur

U-Net-arkitekturen er sentral i denoising-trinnet i diffusjonsmodellen. Den har en koder-dekoder-struktur med hoppkoblinger som bidrar til å bevare finkornede detaljer under rekonstruksjonsprosessen. Koderen nedsampler gradvis inndatabildet mens den fanger funksjoner på høyt nivå, og dekoderen oppsampler de kodede funksjonene for å rekonstruere bildet. Denne arkitekturen er spesielt effektiv i oppgaver som krever presis lokalisering, for eksempel bildesegmentering.

Støyprediksjonsnettverket ε_θ kan bruke hvilken som helst arkitektur som kartlegger innganger til utganger med samme dimensjonalitet. U-Net-arkitekturer er et populært valg, spesielt for bildegenereringsoppgaver.

En typisk arkitektur kan se slik ut:

class DiffusionUNet(nn.Module):
    def __init__(self):
        super().__init__()
        
        # Downsampling
        self.down1 = UNetBlock(3, 64)
        self.down2 = UNetBlock(64, 128)
        self.down3 = UNetBlock(128, 256)
        
        # Bottleneck
        self.bottleneck = UNetBlock(256, 512)
        
        # Upsampling 
        self.up3 = UNetBlock(512, 256)
        self.up2 = UNetBlock(256, 128)
        self.up1 = UNetBlock(128, 64)
        
        # Output
        self.out = nn.Conv2d(64, 3, 1)
        
    def forward(self, x, t):
        # Embed timestep
        t_emb = self.time_embedding(t)
        
        # Downsample
        d1 = self.down1(x, t_emb)
        d2 = self.down2(d1, t_emb)
        d3 = self.down3(d2, t_emb)
        
        # Bottleneck
        bottleneck = self.bottleneck(d3, t_emb)
        
        # Upsample
        u3 = self.up3(torch.cat([bottleneck, d3], dim=1), t_emb)
        u2 = self.up2(torch.cat([u3, d2], dim=1), t_emb)
        u1 = self.up1(torch.cat([u2, d1], dim=1), t_emb)
        
        # Output
        return self.out(u1)

Nøkkelkomponentene er:

  • U-Net stilarkitektur med hoppkoblinger
  • Tidsinnbygging til tilstand på tidstrinnet
  • Fleksibel dybde og bredde

Sampling Algoritme

Når vi har trent støyprediksjonsnettverket vårt ε_θ, kan vi bruke det til å generere nye prøver. Den grunnleggende samplingsalgoritmen er:

  1. Start med ren Gaussisk støy xT
  2. For t = T til 1:
    • Forutsi støy: ε_θ(x_t, t)
    • Beregn gjennomsnitt: μ = 1/√(1-β_t) * (x_t - β_t/√(1-α_t) * ε_θ(x_t, t))
    • Eksempel: x_{t-1} ~ N(μ, σ_t^2 * I)
  3. Returner x₀

Denne prosessen reduserer gradvis prøven, veiledet av vårt lærte støyprediksjonsnettverk.

I praksis er det ulike prøvetakingsteknikker som kan forbedre kvalitet eller hastighet:

  • DDIM prøvetaking: En deterministisk variant som tillater færre prøvetakingstrinn
  • Forfedres prøvetaking: Inkorporerer den lærte variansen σ_θ^2
  • Trunkert prøvetaking: Stopper tidlig for raskere generasjon

Her er en grunnleggende implementering av samplingsalgoritmen:

def sample(model, n_samples, device):
    # Start with pure noise
    x = torch.randn(n_samples, 3, 32, 32).to(device)
    
    for t in reversed(range(1000)):
        # Add noise to create x_t
        t_batch = torch.full((n_samples,), t, device=device)
        noise = torch.randn_like(x)
        x_t = add_noise(x, noise, t)
        
        # Predict and remove noise
        pred_noise = model(x_t, t_batch)
        x = remove_noise(x_t, pred_noise, t)
        
        # Add noise for next step (except at t=0)
        if t > 0:
            noise = torch.randn_like(x)
            x = add_noise(x, noise, t-1)
    
    return x

Matematikken bak diffusjonsmodeller

For å virkelig forstå diffusjonsmodeller er det avgjørende å grave dypere i matematikken som ligger til grunn for dem. La oss utforske noen nøkkelbegreper mer detaljert:

Markov-kjede og stokastiske differensialligninger

Foroverdiffusjonsprosessen i diffusjonsmodeller kan sees på som en Markov-kjede eller, i den kontinuerlige grensen, som en stokastisk differensialligning (SDE). SDE-formuleringen gir et kraftig teoretisk rammeverk for å analysere og utvide diffusjonsmodeller.

Forward SDE kan skrives som:

dx = f(x,t)dt + g(t)dw

Hvor:

  • f(x,t) er driftleddet
  • g(t) er diffusjonskoeffisienten
  • dw er en wienerprosess (brownsk bevegelse)

Ulike valg av f og g fører til ulike typer diffusjonsprosesser. For eksempel:

  • Varians eksploderende (VE) SDE: dx = √(d/dt σ²(t)) dw
  • Variansbevaring (VP) SDE: dx = -0.5 β(t)xdt + √(β(t)) dw

Å forstå disse SDE-ene lar oss utlede optimale prøvetakingsstrategier og utvide diffusjonsmodeller til nye domener.

Score-matching og Denoising Score-matching

Sammenhengen mellom diffusjonsmodeller og skårematching gir et annet verdifullt perspektiv. Poengfunksjonen er definert som gradienten av log-sannsynlighetstettheten:

s(x) = ∇x log p(x)

Denoising score matching har som mål å estimere denne poengsumfunksjonen ved å trene en modell for å forringe litt forstyrrede datapunkter. Denne målsettingen viser seg å være ekvivalent med spredningsmodellens opplæringsmål i den kontinuerlige grensen.

Denne forbindelsen lar oss utnytte teknikker fra scorebasert generativ modellering, for eksempel glødet Langevin-dynamikk for prøvetaking.

Avanserte opplæringsteknikker

Viktighetsprøvetaking

Standard diffusjonsmodell trening prøver tidstrinn jevnt. Imidlertid er ikke alle tidstrinn like viktige for læring. Teknikker for viktighetsprøvetaking kan brukes til å fokusere trening på de mest informative tidstrinnene.

En tilnærming er å bruke en uensartet fordeling over tidstrinn, vektet av den forventede L2-normen for poengsummen:

p(t) ∝ E[||s(x_t, t)||²]

Dette kan føre til raskere trening og forbedret prøvekvalitet.

Progressiv destillasjon

Progressiv destillasjon er en teknikk for å lage raskere prøvetakingsmodeller uten å ofre kvalitet. Prosessen fungerer som følger:

  1. Tren en basisdiffusjonsmodell med mange tidstrinn (f.eks. 1000)
  2. Lag en elevmodell med færre tidstrinn (f.eks. 100)
  3. Tren studenten til å matche basismodellens støyfjerningsprosess
  4. Gjenta trinn 2-3, og redusere tidstrinn gradvis

Dette muliggjør generering av høy kvalitet med betydelig færre avstøtningstrinn.

Arkitektoniske innovasjoner

Transformatorbaserte diffusjonsmodeller

Mens U-Net-arkitekturer har vært populære for bildediffusjonsmodeller, har nyere arbeid utforsket bruk av transformatorarkitekturer. Transformatorer har flere potensielle fordeler:

  • Bedre håndtering av langdistanseavhengigheter
  • Mer fleksible kondisjoneringsmekanismer
  • Enklere skalering til større modellstørrelser

Modeller liker DiT (diffusjonstransformatorer) har vist lovende resultater, som potensielt kan tilby en vei til generering av enda høyere kvalitet.

Hierarkiske diffusjonsmodeller

Hierarkiske diffusjonsmodeller genererer data i flere skalaer, noe som gir mulighet for både global sammenheng og finkornede detaljer. Prosessen involverer vanligvis:

  1. Genererer en utgang med lav oppløsning
  2. Gradvis oppsampling og foredling

Denne tilnærmingen kan være spesielt effektiv for generering av bilder med høy oppløsning eller generering av langformatinnhold.

Avanserte emner

Klassifiseringsfri veiledning

Klassifiseringsfri veiledning er en teknikk for å forbedre prøvekvaliteten og kontrollerbarheten. Nøkkelideen er å trene opp to diffusjonsmodeller:

  1. En ubetinget modell p(x_t)
  2. En betinget modell p(x_t | y) der y er noe kondisjoneringsinformasjon (f.eks. tekstmelding)

Under prøvetakingen interpolerer vi mellom disse modellene:

ε_θ = (1 + w) * ε_θ(x_t | y) - w * ε_θ(x_t)

Der w > 0 er en veiledningsskala som styrer hvor mye den betingede modellen skal vektlegges.

Dette gir sterkere kondisjonering uten å måtte trene modellen på nytt. Det har vært avgjørende for suksessen til tekst-til-bilde-modeller som DALL-E 2 og Stable Diffusion.

Latent diffusjon

Latent diffusjonsmodell (LDM) prosess involverer koding av inngangsdata til et latent rom der diffusjonsprosessen finner sted. Modellen legger gradvis til støy til den latente representasjonen av bildet, noe som fører til generering av en støyende versjon, som deretter avbøyes ved hjelp av en U-Net-arkitektur. U-nettet, ledet av kryssoppmerksomhetsmekanismer, integrerer informasjon fra ulike kondisjoneringskilder som semantiske kart, tekst og bilderepresentasjoner, og rekonstruerer til slutt bildet i pikselrom. Denne prosessen er sentral for å generere bilder av høy kvalitet med en kontrollert struktur og ønskede attributter.

Dette gir flere fordeler:

  • Raskere trening og prøvetaking
  • Bedre håndtering av høyoppløselige bilder
  • Lettere å innlemme kondisjonering

Prosessen fungerer som følger:

  1. Tren en autokoder til å komprimere bilder til et latent rom
  2. Tren en diffusjonsmodell i dette latente rommet
  3. For generering, sample i latent rom og dekode til piksler

Denne tilnærmingen har vært svært vellykket, og drevet modeller som Stable Diffusion.

Konsistensmodeller

Konsistensmodeller er en ny innovasjon som tar sikte på å forbedre hastigheten og kvaliteten på diffusjonsmodeller. Nøkkelideen er å trene opp en enkelt modell som kan kartlegge fra ethvert støynivå direkte til den endelige utgangen, i stedet for å kreve iterativ denoising.

Dette oppnås gjennom en nøye utformet tapsfunksjon som fremtvinger konsistens mellom spådommer ved forskjellige støynivåer. Resultatet er en modell som kan generere høykvalitetsprøver i et enkelt foroverpass, noe som dramatisk øker slutningen.

Praktiske tips for opplæring av diffusjonsmodeller

Trening av høykvalitets diffusjonsmodeller kan være utfordrende. Her er noen praktiske tips for å forbedre treningens stabilitet og resultater:

  1. Gradientklipping: Bruk gradientklipp for å forhindre eksploderende gradienter, spesielt tidlig i treningen.
  2. EMA av modellvekter: Hold et eksponentielt glidende gjennomsnitt (EMA) av modellvekter for prøvetaking, noe som kan føre til mer stabil generasjon av høyere kvalitet.
  3. Dataforstørrelse: For bildemodeller kan enkle utvidelser som tilfeldige horisontale vendinger forbedre generaliseringen.
  4. Støyplanlegging: Eksperimenter med forskjellige støyplaner (lineær, cosinus, sigmoid) for å finne hva som fungerer best for dataene dine.
  5. Blandet presisjonstrening: Bruk blandet presisjonstrening for å redusere minnebruken og få fart på treningen, spesielt for store modeller.
  6. Betinget generasjon: Selv om sluttmålet ditt er ubetinget generering, kan trening med kondisjonering (f.eks. på bildeklasser) forbedre den generelle prøvekvaliteten.

Evaluering av diffusjonsmodeller

Riktig evaluering av generative modeller er avgjørende, men utfordrende. Her er noen vanlige beregninger og tilnærminger:

Fréchet Inception Distance (FID)

FID er en mye brukt beregning for å evaluere kvaliteten og mangfoldet til genererte bilder. Den sammenligner statistikken for genererte prøver med ekte data i funksjonsrommet til en forhåndstrent klassifiserer (typisk InceptionV3).

Lavere FID-poengsummer indikerer bedre kvalitet og mer realistiske fordelinger. FID har imidlertid begrensninger og bør ikke være den eneste målingen som brukes.

Startresultat (IS)

Startpoengsum måler både kvaliteten og mangfoldet til genererte bilder. Den bruker et forhåndsopplært Inception-nettverk for å beregne:

IS = exp(E[KL(p(y|x) || p(y))])

Hvor p(y|x) er den betingede klassefordelingen for generert bilde x.

Høyere IS indikerer bedre kvalitet og mangfold, men det har kjente begrensninger, spesielt for datasett som er svært forskjellige fra ImageNet.

Negativ logg-sannsynlighet (NLL)

For diffusjonsmodeller kan vi beregne den negative log-sannsynligheten for holdte data. Dette gir et direkte mål på hvor godt modellen passer til den sanne datadistribusjonen.

Imidlertid kan NLL være beregningsmessig kostbart å estimere nøyaktig for høydimensjonale data.

Menneskelig evaluering

For mange applikasjoner, spesielt kreative, er menneskelig evaluering fortsatt avgjørende. Dette kan innebære:

  • Side-by-side sammenligninger med andre modeller
  • Turing test-evalueringer
  • Oppgavespesifikke evalueringer (f.eks. bildeteksting for tekst-til-bilde-modeller)

Mens den er subjektiv, kan menneskelig evaluering fange opp kvalitetsaspekter som automatiserte beregninger går glipp av.

Diffusjonsmodeller i produksjon

Utplassering av diffusjonsmodeller i produksjonsmiljøer byr på unike utfordringer. Her er noen vurderinger og beste fremgangsmåter:

Optimalisering for inferens

  1. ONNX eksport: Konverter modeller til ONNX-format for raskere konklusjon på tvers av forskjellig maskinvare.
  2. kvantisering: Bruk teknikker som INT8-kvantisering for å redusere modellstørrelsen og forbedre inferenshastigheten.
  3. caching: For betingede modeller, hurtigbufrer mellomresultater for den ubetingede modellen for å fremskynde klassifiseringsfri veiledning.
  4. Batchbehandling: Utnytt batching for å gjøre effektiv bruk av GPU-ressurser.

Skalering

  1. Distribuert slutning: For applikasjoner med høy ytelse implementerer du distribuert slutning på tvers av flere GPUer eller maskiner.
  2. Adaptiv prøvetaking: Juster dynamisk antall samplingstrinn basert på ønsket avveining mellom kvalitet og hastighet.
  3. Progressiv generasjon: For store utganger (f.eks. høyoppløselige bilder), generer progressivt fra lav til høy oppløsning for å gi raskere første resultater.

Sikkerhet og filtrering

  1. Innholdsfiltrering: Implementer robuste innholdsfiltreringssystemer for å forhindre generering av skadelig eller upassende innhold.
  2. vannmerking: Vurder å inkludere usynlige vannmerker i generert innhold for sporbarhet.

Applikasjoner

Diffusjonsmodeller har funnet suksess i et bredt spekter av generative oppgaver:

Bildegenerering

Bildegenerering er der diffusjonsmodeller først ble fremtredende. Noen bemerkelsesverdige eksempler inkluderer:

  • DALL-E3OpenAIs tekst-til-bilde-modell, som kombinerer en CLIP-tekstkoder med en diffusjonsbildedekoder
  • Stabil diffusjon: En åpen kildekode latent diffusjonsmodell for tekst-til-bilde generering
  • BildeGoogles tekst-til-bilde-diffusjonsmodell

Disse modellene kan generere svært realistiske og kreative bilder fra tekstbeskrivelser, og overgå tidligere GAN-baserte tilnærminger.

Videogenerering

Diffusjonsmodeller har også blitt brukt på videogenerering:

  • Videodiffusjonsmodeller: Generer video ved å behandle tid som en ekstra dimensjon i diffusjonsprosessen
  • Lag en videoMetas tekst-til-video-diffusjonsmodell
  • BildevideoGoogles tekst-til-video-diffusjonsmodell

Disse modellene kan generere korte videoklipp fra tekstbeskrivelser, noe som åpner for nye muligheter for innholdsskaping.

3D generasjon

Nylig arbeid har utvidet diffusjonsmodeller til 3D-generasjon:

  • DreamFusion: Tekst-til-3D-generering ved bruk av 2D-diffusjonsmodeller
  • PunktOpenAIs punktsky-diffusjonsmodell for generering av 3D-objekter

Disse tilnærmingene gjør det mulig å lage 3D-ressurser fra tekstbeskrivelser, med applikasjoner innen spill, VR/AR og produktdesign.

Utfordringer og fremtidige retninger

Mens diffusjonsmodeller har vist bemerkelsesverdig suksess, er det fortsatt flere utfordringer og områder for fremtidig forskning:

Beregningseffektivitet

Den iterative prøvetakingsprosessen til diffusjonsmodeller kan være treg, spesielt for utdata med høy oppløsning. Tilnærminger som latent diffusjon og konsistensmodeller tar sikte på å løse dette, men ytterligere forbedringer i effektivitet er et aktivt forskningsområde.

Kontrollerbarhet

Selv om teknikker som klassifikatorfri veiledning har forbedret kontrollerbarheten, er det fortsatt arbeid som gjenstår for å muliggjøre mer finjustert kontroll over genererte resultater. Dette er spesielt viktig for kreative applikasjoner.

Multi-Modal Generasjon

Nåværende diffusjonsmodeller utmerker seg ved generering av enkeltmodalitet (f.eks. bilder eller lyd). Å utvikle virkelig multimodale diffusjonsmodeller som sømløst kan generere på tvers av modaliteter er en spennende retning for fremtidig arbeid.

Teoretisk forståelse

Selv om diffusjonsmodeller har sterke empiriske resultater, er det fortsatt mer å forstå om hvorfor de fungerer så bra. Å utvikle en dypere teoretisk forståelse kan føre til ytterligere forbedringer og nye anvendelser.

Konklusjon

Diffusjonsmodeller representerer et skritt fremover innen generativ AI, og tilbyr resultater av høy kvalitet på tvers av en rekke modaliteter. Ved å lære å reversere en støyøkende prosess, gir de en fleksibel og teoretisk fundert tilnærming til generering.

Fra kreative verktøy til vitenskapelige simuleringer har evnen til å generere komplekse, høydimensjonale data potensial til å forvandle mange felt. Det er imidlertid viktig å nærme seg disse kraftige teknologiene med omtanke, med tanke på både deres enorme potensial og de etiske utfordringene de presenterer.

Relaterte temaer:
mm

Jeg har brukt de siste fem årene på å fordype meg i den fascinerende verdenen av maskinlæring og dyplæring. Min lidenskap og ekspertise har ført til at jeg har bidratt til over 50 ulike programvareprosjekter, med spesielt fokus på AI/ML. Min pågående nysgjerrighet har også trukket meg mot naturlig språkbehandling, et felt jeg er ivrig etter å utforske videre.