AI-modellen en platforms
Diffusiemodellen begrijpen: een diepe duik in generatieve AI
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Diffusiemodellen zijn een krachtige aanpak in generatieve AI gebleken, met state-of-the-art resultaten in beeld-, audio- en videogeneratie. In dit diepgaande technische artikel zullen we onderzoeken hoe diffusiemodellen werken, hun sleutelinnovaties en waarom ze zo succesvol zijn geworden. We zullen de wiskundige grondslagen, trainingsproces, steekproefalgoritmes en baanbrekende toepassingen van deze spannende nieuwe technologie behandelen.
Inleiding tot diffusiemodellen
Diffusiemodellen zijn een klasse van generatieve modellen die leren om geleidelijk ruis uit gegevens te verwijderen door een diffusieproces om te keren. Het centrale idee is om te beginnen met pure ruis en deze geleidelijk te verfijnen tot een hoge kwaliteit monster uit de doelverdeling.
Deze aanpak is geïnspireerd op niet-evenwichtsthermodynamica – specifiek, het proces van diffusie omkeren om structuur te herstellen. In de context van machine learning kunnen we hieraan denken als het leren om de geleidelijke toevoeging van ruis aan gegevens om te keren.
Enkele sleutelvoordelen van diffusiemodellen zijn:
- State-of-the-art beeldkwaliteit, waarbij GAN’s in veel gevallen worden overtroffen
- Stabiele training zonder adversarische dynamiek
- Hoog paralleliseerbaar
- Flexibele architectuur – elke model dat invoer kaart naar uitvoer van dezelfde dimensionaliteit kan worden gebruikt
- Sterke theoretische grondslag
Laten we dieper ingaan op hoe diffusiemodellen werken.
Bron: Song et al.
Stochastische differentiaalvergelijkingen beheersen het voorwaartse en omgekeerde proces in diffusiemodellen. De voorwaartse SDE voegt ruis toe aan de gegevens, waardoor deze geleidelijk wordt getransformeerd in een ruissverdeling. De omgekeerde SDE, geleid door een geleerd scorefunctie, verwijdert geleidelijk ruis, wat leidt tot de generatie van realistische beelden uit willekeurige ruis. Deze aanpak is cruciaal voor het behalen van hoge generatieve prestaties in continue toestandsruimten.
Het voorwaartse diffusieproces
Het voorwaartse diffusieproces begint met een datapunt x₀ dat is bemonsterd uit de werkelijke gegevensverdeling en voegt geleidelijk aan Gaussian ruis toe over T tijdstappen om steeds meer lawaaierige versies x₁, x₂, …, xT te produceren.
Op elke tijdstap t, voegen we een kleine hoeveelheid ruis toe volgens:
x_t = √(1 - β_t) * x_{t-1} + √(β_t) * ε
Waar:
- β_t is een variantieschema dat bepaalt hoeveel ruis wordt toegevoegd op elke stap
- ε is willekeurige Gaussian ruis
Dit proces gaat door totdat xT bijna zuivere Gaussian ruis is.
Wiskundig kunnen we dit beschrijven als een Markov-keten:
q(x_t | x_{t-1}) = N(x_t; √(1 - β_t) * x_{t-1}, β_t * I)
Waar N een Gaussian verdeling aanduidt.
Het β_t-schema wordt meestal gekozen om klein te zijn voor vroege tijdstappen en toeneemt over tijd. Veelvoorkomende keuzes zijn lineair, cosinus of sigmoid-schema’s.
Het omgekeerde diffusieproces
Het doel van een diffusiemodel is om het omgekeerde van dit proces te leren – om te beginnen met pure ruis xT en deze geleidelijk te ontzuiveren om een schoon monster x₀ te herstellen.
We modelleren dit omgekeerde proces als:
p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), σ_θ^2(x_t, t))
Waar μ_θ en σ_θ^2 geleerde functies zijn (meestal neurale netwerken) die zijn geparametriseerd door θ.
De sleutelinnovatie is dat we niet expliciet het volledige omgekeerde model hoeven te modelleren. In plaats daarvan kunnen we het parameteriseren in termen van het voorwaartse proces, dat we kennen.
Specifiek kunnen we laten zien dat de optimale omgekeerde procesgemiddelde μ* is:
μ* = 1/√(1 - β_t) * (x_t - β_t/√(1 - α_t) * ε_θ(x_t, t))
Waar:
- α_t = 1 – β_t
- ε_θ is een geleerd ruispredictienetwerk
Dit geeft ons een eenvoudig doel – train een neuronaal netwerk ε_θ om de ruis te voorspellen die op elke stap is toegevoegd.
Trainingsdoel
Het trainingsdoel voor diffusiemodellen kan worden afgeleid van variatie-inferentie. Na enige vereenvoudiging komen we uit op een eenvoudige L2-verlies:
L = E_t,x₀,ε [ ||ε - ε_θ(x_t, t)||² ]
Waar:
- t wordt uniform bemonsterd uit 1 tot T
- x₀ wordt bemonsterd uit de trainingsgegevens
- ε wordt bemonsterd uit Gaussian ruis
- x_t wordt geconstrueerd door ruis toe te voegen aan x₀ volgens het voorwaartse proces
Met andere woorden, we trainen het model om de ruis te voorspellen die op elke tijdstap is toegevoegd.
Modelarchitectuur
Bron: Ronneberger et al.
De U-Net-architectuur is centraal in de denoising-stap in het diffusiemodel. Het heeft een encoder-decoderstructuur met skip-verbindingen die helpen om fijne details te behouden tijdens het reconstructieproces. De encoder sampleert de invoerbeeld progressief naar beneden terwijl het hoge-niveaukenmerken vastlegt, en de decoder samplet de gecodeerde kenmerken opnieuw om het beeld te reconstrueren. Deze architectuur is bijzonder effectief in taken die nauwkeurige localisatie vereisen, zoals beeldsegmentatie.
Het ruispredictienetwerk ε_θ kan elke architectuur gebruiken die invoer kaart naar uitvoer van dezelfde dimensionaliteit. U-Net-achtige architectuur is een populaire keuze, vooral voor beeldgeneratietaken.
Een typische architectuur kan er als volgt uitzien:
<p>class DiffusionUNet(nn.Module): def __init__(self): super().__init__()</p> <p># Downsampling self.down1 = UNetBlock(3, 64) self.down2 = UNetBlock(64, 128) self.down3 = UNetBlock(128, 256)</p> <p># Bottleneck self.bottleneck = UNetBlock(256, 512)</p> <p># Upsampling self.up3 = UNetBlock(512, 256) self.up2 = UNetBlock(256, 128) self.up1 = UNetBlock(128, 64)</p> # Output self.out = nn.Conv2d(64, 3, 1) <p>def forward(self, x, t): # Embed timestep t_emb = self.time_embedding(t)</p> <p># Downsample d1 = self.down1(x, t_emb) d2 = self.down2(d1, t_emb) d3 = self.down3(d2, t_emb)</p> <p># Bottleneck bottleneck = self.bottleneck(d3, t_emb)</p> <p># Upsample u3 = self.up3(torch.cat([bottleneck, d3], dim=1), t_emb) u2 = self.up2(torch.cat([u3, d2], dim=1), t_emb) u1 = self.up1(torch.cat([u2, d1], dim=1), t_emb)</p> # Output return self.out(u1)
De sleutelcomponenten zijn:
- U-Net-architectuur met skip-verbindingen
- Tijd-embedding om te conditioneren op de tijdstap
- Flexibele diepte en breedte
Steekproefalgoritme
Zodra we ons ruispredictienetwerk ε_θ hebben getraind, kunnen we het gebruiken om nieuwe monsters te genereren. Het basissteekproefalgoritme is:
- Begin met pure Gaussian ruis xT
- Voor t = T tot 1:
- Voorspel ruis:
ε_θ(x_t, t) - Bereken gemiddelde:
μ = 1/√(1-β_t) * (x_t - β_t/√(1-α_t) * ε_θ(x_t, t)) - Steekproef:
x_{t-1} ~ N(μ, σ_t^2 * I)
- Voorspel ruis:
- Retourneer x₀
Dit proces zuivert het monster geleidelijk, geleid door ons geleerd ruispredictienetwerk.
In de praktijk zijn er verschillende steekproeftechnieken die de kwaliteit of snelheid kunnen verbeteren:
- DDIM-steekproef: Een deterministische variant die minder steekproefstappen toelaat
- Voorgaande steekproef: Neemt de geleerde variantie σ_θ^2 op
- Afgekorte steekproef: Stopt eerder voor snellere generatie
Hier is een basisimplementatie van het steekproefalgoritme:
<p>def sample(model, n_samples, device): # Start met pure ruis x = torch.randn(n_samples, 3, 32, 32).to(device)</p> <p>for t in reversed(range(1000)): # Voeg ruis toe om x_t te maken t_batch = torch.full((n_samples,), t, device=device) noise = torch.randn_like(x) x_t = add_noise(x, noise, t)</p> <p># Voorspel en verwijder ruis pred_noise = model(x_t, t_batch) x = remove_noise(x_t, pred_noise, t)</p> <p># Voeg ruis toe voor de volgende stap (behalve bij t=0) if t > 0: noise = torch.randn_like(x) x = add_noise(x, noise, t-1)</p> return x
De wiskunde achter diffusiemodellen
Om diffusiemodellen echt te begrijpen, is het cruciaal om dieper in de wiskunde te duiken die eraan ten grondslag ligt. Laten we enkele sleutelbegrippen in meer detail onderzoeken:
Markov-keten en stochastische differentiaalvergelijkingen
Het voorwaartse diffusieproces in diffusiemodellen kan worden beschouwd als een Markov-keten of, in de continue limiet, als een stochastische differentiaalvergelijking (SDE). De SDE-notatie biedt een krachtig theoretisch kader voor het analyseren en uitbreiden van diffusiemodellen.
De voorwaartse SDE kan als volgt worden geschreven:
dx = f(x,t)dt + g(t)dw
Waar:
- f(x,t) is de driftterm
- g(t) is de diffusiecoëfficiënt
- dw is een Wiener-proces (Brownse beweging)
Verschillende keuzes voor f en g leiden tot verschillende soorten diffusieprocessen. Bijvoorbeeld:
- Variatiespringend (VE)
SDE: dx = √(d/dt σ²(t)) dw - Variatiesbehoudend (VP)
SDE: dx = -0.5 β(t)xdt + √(β(t)) dw
Het begrijpen van deze SDE’s stelt ons in staat om optimale steekproefstrategieën te ontwikkelen en diffusiemodellen uit te breiden naar nieuwe domeinen.
Scorematching en denoising scorematching
De verbinding tussen diffusiemodellen en scorematching biedt een andere waardevolle perspectief. De scorefunctie wordt gedefinieerd als de gradiënt van de log-waarschijnlijkheidsdichtheid:
s(x) = ∇x log p(x)
Denoising scorematching richt zich op het schatten van deze scorefunctie door een model te trainen om licht verstoord gegevenspunten te denoiseren. Dit doel blijkt equivalent te zijn aan het trainingsdoel van het diffusiemodel in de continue limiet.
Deze verbinding stelt ons in staat om technieken uit score-gebaseerde generatieve modellering te benutten, zoals geanneerde Langevin-dynamica voor steekproeven.
Geavanceerde trainingsmethoden
Importancesampling
Het standaarddiffusiemodel trainingsmonstert tijdstappen uniform. Echter, niet alle tijdstappen zijn even belangrijk voor het leren. Importancesampling-technieken kunnen worden gebruikt om de training te focussen op de meest informatieve tijdstappen.
Een benadering is om een niet-uniforme verdeling over tijdstappen te gebruiken, gewogen door de verwachte L2-norm van de score:
p(t) ∝ E[||s(x_t, t)||²]
Dit kan leiden tot snellere training en verbeterde monsterkwaliteit.
Progressieve distillatie
Progressieve distillatie is een techniek om snellere steekproefmodellen te creëren zonder kwaliteit te offeren. Het proces werkt als volgt:
- Train een basisdiffusiemodel met veel tijdstappen (bijv. 1000)
- Maak een studentmodel met minder tijdstappen (bijv. 100)
- Train de student om het denoisingproces van het basismodel te matchen
- Herhaal stappen 2-3, waarbij het aantal tijdstappen progressief wordt verlaagd
Dit stelt ons in staat om hoge kwaliteit generatie te bereiken met aanzienlijk minder denoisingstappen.
Architectonische innovaties
Transformatie-gebaseerde diffusiemodellen
Terwijl U-Net-architecturen populair zijn geweest voor beelddiffusiemodellen, heeft recent onderzoek het gebruik van transformatie-architecturen onderzocht. Transformatoren bieden verschillende potentiële voordelen:
- Beter omgaan met lange-afstandsafhankelijkheden
- Meer flexibele conditioneringmechanismen
- Makkelijker schalen naar grotere modelgroottes
Modellen zoals DiT (DiffusieTransformatoren) hebben veelbelovende resultaten getoond, wat mogelijk een pad naar nog hogere kwaliteit generatie biedt.
Hiërarchische diffusiemodellen
Hiërarchische diffusiemodellen genereren gegevens op meerdere schalen, waardoor zowel globale coherentie als fijne details mogelijk zijn. Het proces omvat typisch:
- Genereren van een laagresolutie-uitvoer
- Progressief opschalen en verfijnen
Deze aanpak kan bijzonder effectief zijn voor hoge resolutie beeldgeneratie of lange-vorm inhoudsgeneratie.
Geavanceerde onderwerpen
Classificator-vrije leiding
Classificator-vrije leiding is een techniek om de kwaliteit en beheersbaarheid van monsters te verbeteren. Het centrale idee is om twee diffusiemodellen te trainen:
- Een ongeconditioneerd model p(x_t)
- Een conditioneel model p(x_t | y) waar y enige conditionele informatie is (bijv. tekstprompt)
Tijdens steekproeven interpoleren we tussen deze modellen:
ε_θ = (1 + w) * ε_θ(x_t | y) - w * ε_θ(x_t)
Waar w > 0 een leidingschaal is die bepaalt hoeveel het conditionele model moet worden benadrukt.
Dit stelt ons in staat om sterker te conditioneren zonder het model opnieuw te moeten trainen. Het is cruciaal geweest voor het succes van tekst-naar-beeldmodellen zoals DALL-E 2 en Stable Diffusion.
Latente diffusie
Bron: Rombach et al.
Latente diffusiemodel (LDM) proces omvat het coderen van invoergegevens in een latente ruimte waar het diffusieproces plaatsvindt. Het model voegt geleidelijk ruis toe aan de latente representatie van het beeld, wat leidt tot de generatie van een lawaaierige versie, die vervolgens wordt gedenoised met een U-Net-architectuur. De U-Net, geleid door cross-attention-mechanismen, integreert informatie van verschillende conditionele bronnen zoals semantische kaarten, tekst en beeldrepresentaties, en reconstrueert uiteindelijk het beeld in pixelruimte. Dit proces is van cruciaal belang voor het genereren van hoge kwaliteit beelden met een gecontroleerde structuur en gewenste kenmerken.
Dit biedt verschillende voordelen:
- Snellere training en steekproeven
- Beter omgaan met hoge resolutie beelden
- Makkelijker om conditionering toe te passen
Het proces werkt als volgt:
- Train een auto-encoder om beelden samen te vatten in een latente ruimte
- Train een diffusiemodel in deze latente ruimte
- Voor generatie, steekproef in latente ruimte en decodeer naar pixels
Deze aanpak is zeer succesvol gebleken, aangedreven door modellen zoals Stable Diffusion.
Consistentiemodellen
Consistentiemodellen zijn een recente innovatie die ertop gericht is de snelheid en kwaliteit van diffusiemodellen te verbeteren. Het centrale idee is om één model te trainen dat rechtstreeks van elke ruissniveau naar de einduitvoer kan kaarten, in plaats van iteratieve denoising te vereisen.
Dit wordt bereikt door een zorgvuldig ontworpen verliesfunctie die consistentie tussen voorspellingen op verschillende ruissniveaus afdwingt. Het resultaat is een model dat hoge kwaliteit monsters kan genereren in één voorwaartse pas, waardoor de inferentie aanzienlijk wordt versneld.
Praktische tips voor het trainen van diffusiemodellen
Het trainen van hoge kwaliteit diffusiemodellen kan uitdagend zijn. Hier zijn enkele praktische tips om de trainingsstabiliteit en resultaten te verbeteren:
- Gradiëntclipping: Gebruik gradiëntclipping om exploderende gradiënten te voorkomen, vooral in het begin van de training.
- EMA van modelgewichten: Bewaar een exponentieel bewegend gemiddelde (EMA) van modelgewichten voor steekproeven, wat kan leiden tot stabielere en hogere kwaliteit generatie.
- Gegevensaugmentatie: Voor beeldmodellen, eenvoudige augmentaties zoals willekeurige horizontale flips kunnen de generalisatie verbeteren.
- Ruisschema: Experimenteer met verschillende ruisschema’s (lineair, cosinus, sigmoid) om te zien wat het beste werkt voor uw gegevens.
- Gemengde precisietraining: Gebruik gemengde precisietraining om het geheugenverbruik te verlagen en de trainingssnelheid te verhogen, vooral voor grote modellen.
- Conditionele generatie: Zelfs als uw einddoel ongeconditioneerde generatie is, kan training met conditionering (bijv. op beeldklassen) de algehele kwaliteit van de monsters verbeteren.
Evaluatie van diffusiemodellen
Het juist evalueren van generatieve modellen is cruciaal maar uitdagend. Hier zijn enkele veelvoorkomende metrics en benaderingen:
Fréchet Inception Distance (FID)
FID is een veelgebruikte metric voor het evalueren van de kwaliteit en diversiteit van gegenereerde beelden. Het vergelijkt de statistieken van gegenereerde monsters met echte gegevens in de kenmerkenruimte van een voorgetrainde classificator (meestal InceptionV3).
Lagere FID-scores geven aan betere kwaliteit en realistischere verdelingen. Echter, FID heeft beperkingen en moet niet de enige metric zijn die wordt gebruikt.
Inception Score (IS)
Inception Score meet zowel de kwaliteit als de diversiteit van gegenereerde beelden. Het gebruikt een voorgetrainde Inception-netwerk om te berekenen:
IS = exp(E[KL(p(y|x) || p(y))])
Waar p(y|x) de conditionele klasseverdeling is voor gegenereerd beeld x.
Hogere IS geeft aan betere kwaliteit en diversiteit, maar het heeft bekende beperkingen, vooral voor datasets die sterk afwijken van ImageNet.
Negatieve log-waarschijnlijkheidsdichtheid (NLL)
Voor diffusiemodellen kunnen we de negatieve log-waarschijnlijkheidsdichtheid van gehouden gegevens berekenen. Dit biedt een directe maat voor hoe goed het model de werkelijke gegevensverdeling past.
Echter, NLL kan computationeel duur zijn om nauwkeurig te schatten voor hoge-dimensionale gegevens.
Menselijke evaluatie
Voor veel toepassingen, vooral creatieve, blijft menselijke evaluatie cruciaal. Dit kan omvatten:
- Naast-elkaar vergelijkingen met andere modellen
- Turing-test-achtige evaluaties
- Taak-specifieke evaluaties (bijv. beeldonderschrift voor tekst-naar-beeldmodellen)
Hoewel subjectief, kan menselijke evaluatie aspecten van kwaliteit vangen die geautomatiseerde metrics missen.
Diffusiemodellen in productie
Het inzetten van diffusiemodellen in productieomgevingen stelt unieke uitdagingen. Hier zijn enkele overwegingen en best practices:
Optimalisatie voor inferentie
- ONNX-export: Converteer modellen naar ONNX-formaat voor snellere inferentie over verschillende hardware.
- Quantificatie: Gebruik technieken zoals INT8-quantificatie om modelgrootte te verkleinen en inferentiesnelheid te verbeteren.
- Caching: Voor conditionele modellen, cache tussenresultaten voor het ongeconditioneerde model om classificator-vrije leiding te versnellen.
- Batchverwerking: Maak gebruik van batchen om efficiënt gebruik te maken van GPU-bronnen.
Schalen
- Verdeelde inferentie: Voor hoge-doorvoer toepassingen, implementeer verdeelde inferentie over meerdere GPU’s of machines.
- Adaptieve steekproef: Pas dynamisch het aantal steekproefstappen aan op basis van de gewenste kwaliteit-snelheidsverdeling.
- Progressieve generatie: Voor grote uitvoer (bijv. hoge resolutie beelden), genereer progressief van laag naar hoog om snellere initiële resultaten te bieden.
Veiligheid en filtering
- Inhoudsfiltering: Implementeer robuuste inhoudsfilteringssystemen om de generatie van schadelijke of ongepaste inhoud te voorkomen.
- Watermerken: Overweeg om onzichtbare watermerken toe te voegen aan gegenereerde inhoud voor traceerbaarheid.
Toepassingen
Diffusiemodellen hebben succes geboekt in een breed scala van generatieve taken:
Beeldgeneratie
Beeldgeneratie is waar diffusiemodellen eerst aandacht kregen. Enkele opvallende voorbeelden zijn:
- DALL-E 3: OpenAI’s tekst-naar-beeldmodel, dat een CLIP-tekstencoder combineert met een diffusiebeelddecoder
- Stable Diffusion: Een open-source latent diffusiemodel voor tekst-naar-beeldgeneratie
- Imagen: Google’s tekst-naar-beeld diffusiemodel
Deze modellen kunnen realistische en creatieve beelden genereren vanuit tekstbeschrijvingen, waarbij ze voorgaande GAN-gebaseerde benaderingen overtreffen.
Videogeneratie
Diffusiemodellen zijn ook toegepast op videogeneratie:
- Video Diffusiemodellen: Genereren van video door tijd te behandelen als een extra dimensie in het diffusieproces
- Make-A-Video: Meta’s tekst-naar-video diffusiemodel
- Imagen Video: Google’s tekst-naar-video diffusiemodel
Deze modellen kunnen korte videoclips genereren vanuit tekstbeschrijvingen, waardoor nieuwe mogelijkheden voor inhoudscreatie ontstaan.
3D-generatie
Recent onderzoek heeft diffusiemodellen uitgebreid naar 3D-generatie:
- DreamFusion: Tekst-naar-3D generatie met behulp van 2D diffusiemodellen
- Point-E: OpenAI’s puntwolk diffusiemodel voor 3D-objectgeneratie
Deze benaderingen maken het mogelijk om 3D-activa te creëren vanuit tekstbeschrijvingen, met toepassingen in gaming, VR/AR en productontwerp.
Uitdagingen en toekomstige richtingen
Terwijl diffusiemodellen opmerkelijk succes hebben geboekt, zijn er nog verschillende uitdagingen en gebieden voor toekomstig onderzoek:
Rekenkundige efficiëntie
Het iteratieve steekproefproces van diffusiemodellen kan langzaam zijn, vooral voor hoge resolutie uitvoer. Benaderingen zoals latente diffusie en consistentiemodellen zijn ontwikkeld om dit aan te pakken, maar verdere verbeteringen in efficiëntie zijn een actief onderzoeksgebied.
Beheersbaarheid
Terwijl technieken zoals classificator-vrije leiding de beheersbaarheid hebben verbeterd, is er nog werk te doen om fijnere controle over gegenereerde uitvoer mogelijk te maken. Dit is vooral belangrijk voor creatieve toepassingen.
Multimodale generatie
Huidige diffusiemodellen excelleren in enkelmodale generatie (bijv. beelden of audio). Het ontwikkelen van echt multimodale diffusiemodellen die naadloos kunnen genereren over modaliteiten heen is een spannende richting voor toekomstig werk.
Theoretische begrip
Terwijl diffusiemodellen sterk empirisch bewijs hebben, is er nog meer te begrijpen over waarom ze zo goed werken. Het ontwikkelen van een dieper theoretisch begrip kan leiden tot verdere verbeteringen en nieuwe toepassingen.
Conclusie
Diffusiemodellen vertegenwoordigen een stap voorwaarts in generatieve AI, met hoge kwaliteit resultaten over een breed scala van modaliteiten. Door te leren om een ruis toevoegingsproces om te keren, bieden ze een flexibele en theoretisch gefundeerde aanpak voor generatie.
Van creatieve tools tot wetenschappelijke simulaties, de mogelijkheid om complexe, hoge-dimensionale gegevens te genereren heeft het potentieel om veel gebieden te transformeren. Echter, het is belangrijk om deze krachtige technologieën met zorg te benaderen, waarbij zowel hun enorm potentieel als de ethische uitdagingen die ze stellen in overweging worden genomen.
