Reningsdiffusionsmodeller er generative AI-rammer, der syntetiserer billeder fra støj gennem en iterativ reningsproces. De fejres for deres exceptionelle billedgenereringsmuligheder og diversitet, som i stor udstrækning tilskrives tekst- eller klassifikationsbetingede vejledningsmetoder, herunder klassifikatorvejledning og klassifikatorfri vejledning. Disse modeller har været bemærkelsesværdigt succesfulde i at skabe diverse, højkvalitetsbilleder. Recente studier har vist, at vejledningsteknikker som klassifikationsbeskrivelser og mærker spiller en afgørende rolle i at forbedre kvaliteten af de billeder, disse modeller genererer.

Men diffusionmodeller og vejledningsmetoder står over for begrænsninger under visse eksterne betingelser. Klassifikatorfri vejledningsmetoden (CFG), der bruger mærkeafkast, tilføjer kompleksitet til træningsprocessen, mens klassifikatorvejledningsmetoden (CG) kræver yderligere klassifikatortræning. Begge metoder er noget begrænsede af deres afhængighed af hårdt tilkæmpede eksterne betingelser, hvilket begrænser deres potentiale og indskrænker dem til betingede indstillinger.

For at løse disse begrænsninger har udviklere formuleret en mere generel tilgang til diffusionvejledning, kendt som Selvopmærksomhedsvejledning (SAG). Denne metode udnytter information fra intermediateprøver af diffusionmodeller til at generere billeder. Vi vil udforske SAG i denne artikel, hvor vi diskuterer dens virkemåde, metode og resultater i forhold til nuværende tilstandsmæssige rammer og rørledninger.

Selvopmærksomhedsvejledning: Forbedring af prøvekvaliteten af diffusionmodeller

Reningsdiffusionsmodeller (DDM) har vundet popularitet for deres evne til at skabe billeder fra støj via en iterativ reningsproces. Billedsyntese-evnen hos disse modeller skyldes i stor udstrækning de anvendte diffusionvejledningsmetoder. Trods deres styrker står diffusionmodeller og vejledningsbaserede metoder over for udfordringer som tilføjet kompleksitet og øgede beregningsomkostninger.

For at overvinde de nuværende begrænsninger har udviklere introduceret Selvopmærksomhedsvejledningsmetoden, en mere generel formulering af diffusionvejledning, der ikke afhænger af eksterne oplysninger fra diffusionvejledning, og dermed faciliterer en betingelsesfri og fleksibel tilgang til at vejlede diffusionsrammer. Tilgangen valgt af Selvopmærksomhedsvejledning hjælper i sidste ende med at forbedre anvendeligheden af traditionelle diffusionvejledningsmetoder i tilfælde med eller uden eksterne krav.

Selvopmærksomhedsvejledning er baseret på den simple princip om en generel formulering, og antagelsen om, at interne oplysninger indeholdt i intermediateprøver kan fungere som vejledning. På baggrund af denne princip introducerer SAG-metoden først Blur-vejledning, en simpel og direkte løsning til at forbedre prøvekvaliteten. Blur-vejledning sigter mod at udnytte de positive egenskaber ved Gaussisk blur til at fjerne fine-skala detaljer naturligt ved at vejlede intermediateprøver ved hjælp af den eliminerede information som resultat af Gaussisk blur.

Med antagelsen om, at selvopmærksomhed er essentiel for at fange væsentlig information i dens kerne, bruger Selvopmærksomhedsvejledningsmetoden selvopmærksomheds-kort af diffusionmodellerne til at fjernsynligt blurre dele, der indeholder væsentlig information, og i processen vejlede diffusionsmodellerne med det nødvendige residuelle information. Metoden udnytter derefter opmærksomheds-kortene under diffusionmodellernes reverse-proces for at forbedre billedkvaliteten og bruger selv-betingelse til at reducere artefakterne uden at kræve yderligere træning eller eksterne oplysninger.

For at sammenfatte det, Selvopmærksomhedsvejledningsmetoden

1. Er en ny tilgang, der bruger interne selvopmærksomheds-kort af diffusionrammer til at forbedre den genererede prøvekvalitet uden at kræve yderligere træning eller afhængighed af eksterne betingelser.
2. SAG-metoden forsøger at generalisere betingede vejledningsmetoder til en betingelsesfri metode, der kan integreres med enhver diffusionmodel uden at kræve yderligere ressourcer eller eksterne betingelser, og dermed forbedrer anvendeligheden af vejledningsbaserede rammer.
3. SAG-metoden forsøger også at demonstrere sin ortogonale evne i forhold til eksisterende betingede metoder og rammer, og dermed faciliterer en forbedring af ydelsen ved at muliggøre en fleksibel integration med andre metoder og modeller.

Ved at fortsætte, lærer Selvopmærksomhedsvejledningsmetoden af erfaringerne fra relaterede rammer, herunder Reningsdiffusionsmodeller, Sampling-vejledning, Generativ AI Selvopmærksomheds-metoder og Diffusionmodellers interne repræsentationer. Men i dens kerne implementerer Selvopmærksomhedsvejledningsmetoden lærdommene fra DDPM eller Reningsdiffusionsprobabilistiske modeller, Klassifikator-vejledning, Klassifikatorfri vejledning og Selvopmærksomhed i Diffusionsrammer. Vi vil diskutere disse i dybden i den kommende sektion.

Selvopmærksomhedsvejledning: Preliminærer, metode og arkitektur

Reningsdiffusionsprobabilistisk model eller DDPM

DDPM eller Reningsdiffusionsprobabilistisk model er en model, der bruger en iterativ reningsproces til at genskabe et billede fra hvid støj. Traditionelt modtager en DDPM-model en input-billede og en variationsplan på et tidspunkt til at få billedet ved hjælp af en fremadgående proces kendt som Markov-processen.

Klassifikator og Klassifikatorfri vejledning med GAN-implementering

GAN eller Generative Adversarial Networks besidder en unik handel mellem diversitet og troværdighed, og for at bringe denne evne af GAN-rammer til diffusionmodeller, foreslår Selvopmærksomhedsvejledningsrammen at bruge en klassifikator-vejledningsmetode, der bruger en ekstra klassifikator. Omvendt kan en klassifikatorfri vejledningsmetode også implementeres uden brug af en ekstra klassifikator for at opnå de samme resultater. Selvom metoden leverer de ønskede resultater, er den ikke beregningsmæssigt viable, da den kræver ekstra mærker og også begrænser rammen til betingede diffusionmodeller, der kræver ekstra betingelser som tekst eller en klasse samt ekstra træningsdetaljer, der tilføjer kompleksitet til modellen.

Generalisering af diffusionvejledning

Selvom Klassifikator og Klassifikatorfri vejledningsmetoder leverer de ønskede resultater og hjælper med betinget generation i diffusionmodeller, er de afhængige af ekstra input. For enhver given tid, består input til en diffusionmodel af en generaliseret betingelse og en forstyrret prøve uden den generaliserede betingelse. Derudover omfatter den generaliserede betingelse interne oplysninger inden for den forstyrrede prøve eller en ekstern betingelse, eller begge. Den resulterende vejledning formuleres ved hjælp af en imaginær regressor med antagelsen om, at den kan forudsige den generaliserede betingelse.

Forbedring af billedkvalitet ved hjælp af selvopmærksomheds-kort

Den generaliserede diffusionvejledning antyder, at det er muligt at give vejledning til den omvendte proces af diffusionmodeller ved at trække salient information fra den generaliserede betingelse indeholdt i den forstyrrede prøve. Bygget på dette, fanger Selvopmærksomhedsvejledningsmetoden den saliente information for omvendte processer effektivt, mens den begrænser risikoen for, at der opstår problemer med distribution uden for træningsdata i forudtrænede diffusionmodeller.

Blur-vejledning

Blur-vejledning i Selvopmærksomhedsvejledning er baseret på Gaussisk blur, en lineær filtreringsmetode, hvor input-signalet konvolveres med en Gaussisk filter for at generere en output. Med en øgning af standardafvigelsen reducerer Gaussisk blur de fine-skala detaljer inden for input-signalet og resulterer i lokal uadskillelige input-signaler ved at glatte dem mod konstanten.

På baggrund af denne lærdom introducerer Selvopmærksomhedsvejledningsrammen Blur-vejledning, en teknik, der bevidst udelader information fra intermediate rekonstruktioner under diffusionprocessen, og i stedet bruger denne information til at vejlede dens forudsigelser mod at øge billedernes relevans til input-oplysningerne. Blur-vejledning forårsager i virkeligheden, at den oprindelige forudsigelse afviger mere fra den blurrede input-forudsigelse.

I Selvopmærksomhedsvejledningspipeline blures input-signalet først ved hjælp af en Gaussisk filter, og derefter diffuseres det med ekstra støj for at producere output-signalet. Ved at gøre dette, reducerer SAG-pipeline den sidevirkning af den resulterende blur, der reducerer Gaussisk støj, og gør vejledningen afhængig af indhold i stedet for at være afhængig af tilfældig støj.

Disse resultater kan være et resultat af den strukturelle tvetydighed, der introduceres i rammen af global blur, hvilket gør det svært for SAG-pipeline at alignere forudsigelserne af den oprindelige input med den degraderede input, og resulterer i støjende outputs.

Selvopmærksomheds-mekanisme

Som nævnt tidligere, har diffusionmodeller normalt en indbygget selvopmærksomheds-komponent, og det er en af de mere essentielle komponenter i en diffusionmodel-ramme. Selvopmærksomheds-mekanismen implementeres i kernen af diffusionmodellerne, og det tillader modellen at fokusere på de saliente dele af input under genereringsprocessen, som demonstreret i følgende billede med højfrekvensmasker i top-rækken og selvopmærksomheds-masker i bund-rækken af de endeligt genererede billeder.

Den foreslåede Selvopmærksomhedsvejledningsmetode bygger på samme princip, og udnytter selvopmærksomheds-kortenes muligheder i diffusionmodeller. I alt, blurer Selvopmærksomhedsvejledningsmetoden selvopmærksomheds-patches i input-signalet, eller med andre ord, skjuler informationen om patches, der opmærksommes af diffusionmodellerne.

Selvopmærksomhedsvejledning: Eksperimenter og resultater

For at evaluere dens ydelse, er Selvopmærksomhedsvejledningspipeline udvalgt ved hjælp af 8 Nvidia GeForce RTX 3090 GPU’er, og er bygget på forudtrænede IDDPM, ADM og Stable Diffusion-rammer.

Ubetinget generation med Selvopmærksomhedsvejledning

For at måle effekten af SAG-pipeline på ubetingede modeller og demonstrere den betingelsesfrie egenskab, der ikke besidder Klassifikator-vejledning og Klassifikatorfri vejledningsmetode, er SAG-pipeline kørt på ubetinget forudtrænede rammer på 50.000 prøver.

Som det kan observeres, forbedrer implementeringen af SAG-pipeline FID-, sFID- og IS-målene for ubetinget input, mens den samtidig reducerer recall-værdien. Derudover er de kvalitative forbedringer som resultat af implementeringen af SAG-pipeline tydelige i følgende billeder, hvor billederne øverst er resultater fra ADM og Stable Diffusion-rammer, mens billederne nederst er resultater fra ADM og Stable Diffusion-rammer med SAG-pipeline.

Betinget generation med SAG

Integrationen af SAG-pipeline i eksisterende rammer leverer exceptionelle resultater i ubetinget generation, og SAG-pipeline er i stand til at være betingelsesagnostisk, hvilket tillader SAG-pipeline at implementeres for betinget generation.

Stable Diffusion med Selvopmærksomhedsvejledning

Selvom den oprindelige Stable Diffusion-ramme genererer højkvalitetsbilleder, kan integrationen af Stable Diffusion-rammen med Selvopmærksomhedsvejledningspipeline forbedre resultaterne dramatisk. For at evaluere dens effekt, bruger udviklere tomme prompts for Stable Diffusion med tilfældig seed for hver billedpar, og bruger menneskelig evaluering på 500 par billeder med og uden Selvopmærksomhedsvejledning.

Derudover kan implementeringen af SAG forbedre Stable Diffusion-rammens evner, da fletning af Klassifikatorfri vejledning med Selvopmærksomhedsvejledning kan udvide Stable Diffusion-modellernes rækkevidde til tekst-til-billede-syntese. Derudover er de genererede billeder fra Stable Diffusion-modellen med Selvopmærksomhedsvejledning af højere kvalitet med færre artefakter takket være selv-betingelses-effekten af SAG-pipeline.

Nuværende begrænsninger

Selvom implementeringen af Selvopmærksomhedsvejledningspipeline kan forbedre kvaliteten af de genererede billeder væsentligt, har den nogle begrænsninger.

En af de største begrænsninger er ortogonaliteten med Klassifikator-vejledning og Klassifikatorfri vejledning. Som det kan observeres, forbedrer implementeringen af SAG FID-scoren og forudsigelsesscoret, hvilket betyder, at SAG-pipeline indeholder en ortogonal komponent, der kan bruges med traditionelle vejledningsmetoder samtidig.

Men det kræver stadig, at diffusionmodellerne trænes på en bestemt måde, hvilket tilføjer kompleksitet såvel som beregningsomkostninger.

Derudover reducerer implementeringen af Selvopmærksomhedsvejledning ikke hukommelsen eller tidsforbruget, hvilket er et tegn på, at overhead’en fra operationer som masking og blurring i SAG er negligerbar. Men det tilføjer stadig beregningsomkostninger, da det indeholder et ekstra trin i forhold til ingen vejledningsmetoder.

Endelige tanker

I denne artikel har vi talt om Selvopmærksomhedsvejledning, en ny og generel formulering af vejledningsmetode, der udnytter interne oplysninger tilgængelige i diffusionmodellerne til at generere højkvalitetsbilleder. Selvopmærksomhedsvejledning er baseret på den simple princip om en generel formulering, og antagelsen om, at interne oplysninger indeholdt i intermediateprøver kan fungere som vejledning. Selvopmærksomhedsvejledningspipeline er en betingelsesfri og træningsfri tilgang, der kan implementeres på tværs af forskellige diffusionmodeller, og bruger selv-betingelse til at reducere artefakterne i de genererede billeder og forbedre den samlede kvalitet.