Modelele de difuzie de denoising sunt cadre generative de inteligență artificială care sintetizează imagini din zgomot prin intermediul unui proces de denoising iterativ. Ele sunt celebrate pentru capacitățile lor excepționale de generare de imagini și diversitate, atribuite în mare măsură metodelor de îndrumare condițională, incluzând îndrumarea clasificatorului și îndrumarea fără clasificator. Aceste modele au fost deosebit de succes în crearea unor imagini diverse și de înaltă calitate. Studiile recente au arătat că tehniciile de îndrumare, cum ar fi subtitrările și etichetele de clasă, joacă un rol crucial în îmbunătățirea calității imaginilor generate de aceste modele.

În ciuda capacităților lor, modelele de difuzie și metodele de îndrumare se confruntă cu limitări în anumite condiții externe. Metoda de îndrumare a clasificatorului gratuit (CFG), care utilizează abandonarea etichetelor, adaugă complexitate procesului de antrenare, în timp ce metoda de îndrumare a clasificatorului (CG) necesită antrenarea suplimentară a clasificatorului. Ambele metode sunt limitate de dependența lor de condiții externe, ceea ce limitează potențialul lor și le restricționează la setări condiționale.

Pentru a aborda aceste limitări, dezvoltatorii au formulat o abordare mai generală pentru îndrumarea difuziei, cunoscută sub numele de Îndrumarea Atenției (SAG). Această metodă utilizează informații din eșantioanele intermediare ale modelelor de difuzie pentru a genera imagini. Vom explora SAG în acest articol, discutând modul său de funcționare, metodologia și rezultatele în comparație cu cadrele și pipeline-urile actuale de ultimă generație.

Îndrumarea Atenției: Îmbunătățirea Calității Eșantioanelor Modelelor de Difuzie

Modelele de difuzie de denoising (DDM) au câștigat popularitate datorită capacității lor de a crea imagini din zgomot prin intermediul unui proces de denoizing iterativ. Capacitatea de sinteză a imaginilor a acestor modele se datorează în mare măsură metodelor de îndrumare a difuziei utilizate. În ciuda punctelor lor forte, modelele de difuzie și metodele bazate pe îndrumare se confruntă cu provocări, cum ar fi complexitatea adăugată și creșterea costurilor computaționale.

Pentru a depăși limitările actuale, dezvoltatorii au introdus metoda de îndrumare a atenției, o formulare mai generală a îndrumării difuziei care nu se bazează pe informații externe de la îndrumarea difuziei, facilitând astfel o abordare condiționată și flexibilă pentru a ghida cadrele de difuzie.

Îndrumarea Atenției se bazează pe principiul simplu al formulării generalizate și pe ipoteza că informația internă conținută în eșantioanele intermediare poate servi și ca îndrumare. Pe baza acestui principiu, metoda SAG introduce mai întâi îndrumarea blur, o soluție simplă și directă pentru a îmbunătăți calitatea eșantioanelor. Îndrumarea blur are ca scop să exploateze proprietățile blânde ale blurului Gaussian pentru a elimina detaliile de scară fină din semnalele de intrare, ghidând eșantioanele intermediare utilizând informația eliminată ca urmare a blurului Gaussian.

Cu ipoteza că atenția este esențială pentru a capta informații semnificative, metoda de îndrumare a atenției utilizează hărțile de atenție ale modelelor de difuzie pentru a estompa regiunile care conțin informații semnificative și, în acest proces, ghidează modelele de difuzie cu informația reziduală necesară. Metoda utilizează apoi hărțile de atenție în timpul procesului invers al modelelor de difuzie pentru a îmbunătăți calitatea imaginilor și utilizează autocondiționarea pentru a reduce artefactele fără a necesita antrenarea suplimentară sau informații externe.

Pentru a rezuma, metoda de îndrumare a atenției

1. Este o abordare nouă care utilizează hărțile de atenție interne ale cadrului de difuzie pentru a îmbunătăți calitatea imaginilor generate fără a necesita antrenarea suplimentară sau condiții externe.
2. Metoda SAG încearcă să generalizeze metodele de îndrumare condițională într-o metodă condiționată care poate fi integrată cu orice model de difuzie fără a necesita resurse sau condiții externe suplimentare, îmbunătățind astfel aplicabilitatea cadrului de îndrumare.
3. Metoda SAG încearcă, de asemenea, să demonstreze capacitățile sale ortogonale față de metodele și cadrele condiționale existente, facilitând astfel o îmbunătățire a performanței prin integrarea flexibilă cu alte metode și modele.

Îndrumarea Atenției: Preliminarii, Metodologie și Arhitectură

Modelul de Difuzie Probabilistic de Denoising sau DDPM

DDPM sau Modelul de Difuzie Probabilistic de Denoizing este un model care utilizează un proces de denoizing iterativ pentru a recupera o imagine din zgomot alb. În mod tradițional, un model DDPM primește o imagine de intrare și un program de varianță la un anumit pas de timp pentru a obține imaginea utilizând un proces direct cunoscut sub numele de procesul Markovian.

Clasificator și Îndrumare fără Clasificator cu Implementare GAN

GAN sau Rețelele Adversative Generative posedă un schimb unic de diversitate pentru fidelitate, și pentru a aduce această capacitate a cadrului GAN la modelele de difuzie, cadrul de îndrumare a atenției propune utilizarea unei metode de îndrumare a clasificatorului care utilizează un clasificator suplimentar. În mod invers, o metodă de îndrumare fără clasificator poate fi implementată fără utilizarea unui clasificator suplimentar pentru a obține aceleași rezultate.

Generalizarea Îndrumării Difuziei

Deși metodele de îndrumare a clasificatorului și îndrumare fără clasificator livrează rezultatele dorite și ajută la generarea condițională în modelele de difuzie, ele sunt dependente de intrări suplimentare. Pentru orice pas de timp dat, intrarea pentru un model de difuzie cuprinde o condiție generalizată și un eșantion perturbat fără condiția generalizată.

Îmbunătățirea Calității Imaginilor utilizând Hărțile de Atenție

Îndrumarea difuziei generalizată implică faptul că este fezabil să se furnizeze îndrumare procesului invers al modelelor de difuzie prin extragerea informațiilor semnificative din condiția generalizată conținută în eșantionul perturbat.

Îndrumarea Blur

Îndrumarea blur în cadrul de îndrumare a atenției se bazează pe blurul Gaussian, o metodă de filtrare liniară în care semnalul de intrare este convolut cu un filtru Gaussian pentru a genera un semnal de ieșire.

Pe baza acestei învățări, cadrul de îndrumare a atenției introduce îndrumarea blur, o tehnică care intenționează să excludă informația din reconstrucțiile intermediare în timpul procesului de difuzie și, în schimb, utilizează această informație pentru a ghida predicțiile sale către creșterea relevanței imaginilor pentru informația de intrare.

Mecanismul de Atenție

Așa cum s-a menționat anterior, modelele de difuzie de obicei au o componentă de atenție încorporată, și aceasta este una dintre componentele mai esențiale într-un cadru de difuzie.

Îndrumarea Atenției: Experimente și Rezultate

Pentru a evalua performanța sa, pipeline-ul de îndrumare a atenției este eșantionat utilizând 8 GPU-uri Nvidia GeForce RTX 3090 și este construit pe cadre preantrenate IDDPM, ADM și Stable Diffusion.

Generarea Necondiționată cu Îndrumarea Atenției

Pentru a măsura eficacitatea pipeline-ului SAG pe modele necondiționate și pentru a demonstra proprietatea condiționată pe care nu o posedă îndrumarea clasificatorului și îndrumarea fără clasificator, pipeline-ul SAG este rulat pe cadre preantrenate necondiționat pe 50.000 de eșantioane.

Așa cum se poate observa, implementarea pipeline-ului SAG îmbunătățește metricile FID, sFID și IS ale intrării necondiționate, reducând în același timp valoarea de rechemare.

Generarea Condiționată cu SAG

Integrarea pipeline-ului SAG în cadrele existente livrează rezultate excepționale în generarea necondiționată, și pipeline-ul SAG este capabil de agnostică condiționată, ceea ce permite implementarea pipeline-ului SAG pentru generarea condițională.

Difuzia Stabilă cu Îndrumarea Atenției

Chiar dacă cadrul original de difuzie stabilă generează imagini de înaltă calitate, integrarea cadrului de difuzie stabilă cu pipeline-ul de îndrumare a atenției poate îmbunătăți rezultatele drastic.

Limitări Actuale

Deși implementarea pipeline-ului de îndrumare a atenției poate îmbunătăți substanțial calitatea imaginilor generate, aceasta are și anumite limitări.

Una dintre limitările majore este ortogonalitatea cu îndrumarea clasificatorului și îndrumarea fără clasificator.

Gânduri Finale

În acest articol, am discutat despre îndrumarea atenției, o formulare nouă și generală a metodei de îndrumare care utilizează informații interne disponibile în modelele de difuzie pentru generarea de imagini de înaltă calitate.