I modelli di diffusione di denoising sono framework di intelligenza artificiale generativa che sintetizzano immagini dal rumore attraverso un processo di denoising iterativo. Sono celebrati per le loro eccezionali capacità di generazione di immagini e diversità, in larga misura attribuite a metodi di guida condizionali basati su testo o classe, tra cui la guida del classificatore e la guida senza classificatore. Questi modelli hanno avuto un notevole successo nella creazione di immagini diverse e di alta qualità. Studi recenti hanno dimostrato che le tecniche di guida come le didascalie e le etichette di classe svolgono un ruolo cruciale nel migliorare la qualità delle immagini generate da questi modelli.

Tuttavia, i modelli di diffusione e i metodi di guida affrontano limitazioni in determinate condizioni esterne. Il metodo di guida senza classificatore (CFG), che utilizza il rilascio dell’etichetta, aggiunge complessità al processo di formazione, mentre il metodo di guida del classificatore (CG) richiede un’ulteriore formazione del classificatore. Entrambi i metodi sono in qualche modo limitati dalla loro dipendenza da condizioni esterne difficili da ottenere, limitando il loro potenziale e confinandoli a impostazioni condizionali.

Per affrontare queste limitazioni, gli sviluppatori hanno formulato un approccio più generale alla guida della diffusione, noto come Guida dell’Attenzione Autonoma (SAG). Questo metodo sfrutta le informazioni provenienti da campioni intermedi dei modelli di diffusione per generare immagini. Esploreremo la SAG in questo articolo, discutendo il suo funzionamento, la sua metodologia e i risultati rispetto ai framework e pipeline attuali di stato dell’arte.

Guida dell’Attenzione Autonoma: Miglioramento della Qualità dei Campioni dei Modelli di Diffusione

I modelli di diffusione di denoising (DDM) hanno guadagnato popolarità per la loro capacità di creare immagini dal rumore attraverso un processo di denoising iterativo. La sintesi di immagini di questi modelli è in larga misura dovuta ai metodi di guida della diffusione impiegati. Nonostante le loro forze, i modelli di diffusione e i metodi di guida basati sulla guida affrontano sfide come l’aumento della complessità e dei costi computazionali.

Per superare le limitazioni attuali, gli sviluppatori hanno introdotto il metodo di guida dell’attenzione autonoma, una formulazione più generale della guida della diffusione che non si basa sulle informazioni esterne della guida della diffusione, facilitando così un approccio condizione-free e flessibile per guidare i framework di diffusione. L’approccio scelto dalla Guida dell’Attenzione Autonoma aiuta a migliorare l’applicabilità dei metodi di guida della diffusione tradizionale ai casi con o senza requisiti esterni.

La Guida dell’Attenzione Autonoma si basa sul principio semplice di formulazione generalizzata e sull’ipotesi che le informazioni interne contenute all’interno dei campioni intermedi possano servire come guida. Sulla base di questo principio, il metodo SAG introduce prima la Guida del Blur, una soluzione semplice e diretta per migliorare la qualità del campione. La guida del blur mira a sfruttare le proprietà benigni del blur gaussiano per rimuovere i dettagli a scala fine in modo naturale, guidando i campioni intermedi utilizzando le informazioni eliminate come risultato del blur gaussiano. Sebbene il metodo di guida del blur aumenti la qualità del campione con una scala di guida moderata, non riesce a replicare i risultati su una grande scala di guida, poiché spesso introduce ambiguità strutturale in intere aree.

Per migliorare la stabilità e l’efficacia del metodo di guida del blur su una scala di guida più grande, la Guida dell’Attenzione Autonoma tenta di sfruttare il meccanismo di auto-attenzione dei modelli di diffusione, poiché i modelli di diffusione moderni contengono già un meccanismo di auto-atenzione all’interno della loro architettura.

Con l’ipotesi che l’auto-attenzione sia essenziale per catturare le informazioni salienti al suo nucleo, il metodo di Guida dell’Attenzione Autonoma utilizza le mappe di auto-attenzione dei modelli di diffusione per oscurare le regioni che contengono informazioni salienti e, nel processo, guida i modelli di diffusione con le informazioni residue richieste. Il metodo sfrutta poi le mappe di attenzione durante il processo inverso dei modelli di diffusione per aumentare la qualità delle immagini e utilizza l’auto-condizionamento per ridurre gli artefatti senza richiedere ulteriore formazione o informazioni esterne.

In sintesi, il metodo di Guida dell’Attenzione Autonoma

1. È un approccio nuovo che utilizza le mappe di auto-attenzione interne dei framework di diffusione per migliorare la qualità del campione generato senza richiedere ulteriore formazione o condizioni esterne.
2. Il metodo SAG tenta di generalizzare i metodi di guida condizionali in un metodo condizione-free che può essere integrato con qualsiasi modello di diffusione senza richiedere risorse aggiuntive o condizioni esterne, migliorando così l’applicabilità dei framework di guida.
3. Il metodo SAG tenta anche di dimostrare le sue capacità ortogonali rispetto ai metodi e ai framework condizionali esistenti, facilitando così un aumento delle prestazioni attraverso un’integrazione flessibile con altri metodi e modelli.

Proseguendo, il metodo di Guida dell’Attenzione Autonoma apprende dalle scoperte dei framework correlati, tra cui Modelli di Diffusione di Denoising, Guida di Campionamento, Metodi di Auto-Attenzione dell’Intelligenza Artificiale Generativa e Rappresentazioni Interne dei Modelli di Diffusione. Tuttavia, alla base, il metodo di Guida dell’Attenzione Autonoma implementa le conoscenze acquisite dai modelli DDPM o Denoising Diffusion Probabilistic Models, Guida del Classificatore, Guida senza Classificatore e Auto-Attenzione nei framework di diffusione. Ne parleremo in dettaglio nella sezione successiva.

Guida dell’Attenzione Autonoma: Preliminari, Metodologia e Architettura

Modello di Diffusione di Denoising Probabilistico o DDPM

Il modello DDPM o Denoising Diffusion Probabilistic Model è un modello che utilizza un processo di denoising iterativo per recuperare un’immagine dal rumore bianco. Tradizionalmente, un modello DDPM riceve un’immagine di input e una tabella di varianza in un momento per ottenere l’immagine utilizzando un processo diretto noto come processo markoviano.

Guida del Classificatore e Guida senza Classificatore con Implementazione GAN

I GAN o Reti Adversarie Generative possiedono una diversità unica per la fedeltà e, per portare questa capacità dei framework GAN ai modelli di diffusione, il framework di Guida dell’Attenzione Autonoma propone di utilizzare un metodo di guida del classificatore che utilizza un classificatore aggiuntivo. Al contrario, un metodo di guida senza classificatore può anche essere implementato senza l’uso di un classificatore aggiuntivo per ottenere gli stessi risultati. Sebbene il metodo produca i risultati desiderati, non è ancora computazionalmente fattibile poiché richiede etichette aggiuntive e confina il framework ai modelli di diffusione condizionali che richiedono condizioni aggiuntive come un testo o una classe, insieme a dettagli di formazione aggiuntivi che aumentano la complessità del modello.

Generalizzazione della Guida della Diffusione

Sebbene i metodi di guida del classificatore e della guida senza classificatore producano i risultati desiderati e aiutino nella generazione condizionale dei modelli di diffusione, dipendono da input aggiuntivi. Per qualsiasi momento di tempo, l’input per un modello di diffusione comprende una condizione generalizzata e un campione alterato senza la condizione generalizzata. Inoltre, la condizione generalizzata comprende informazioni interne all’interno del campione alterato o una condizione esterna, o entrambe. La guida risultante è formulata utilizzando un regressore immaginario con l’ipotesi che possa prevedere la condizione generalizzata.

Miglioramento della Qualità dell’Immagine utilizzando Mappe di Auto-Attenzione

La Guida della Diffusione Generalizzata implica che sia possibile fornire guida al processo inverso dei modelli di diffusione estraendo informazioni salienti nella condizione generalizzata contenuta nel campione alterato. Sulla base di ciò, il metodo di Guida dell’Attenzione Autonoma cattura le informazioni salienti per i processi inversi in modo efficace, limitando i rischi che derivano dalle questioni fuori dalla distribuzione nei modelli di diffusione pre-addestrati.

Guida del Blur

La guida del blur nella Guida dell’Attenzione Autonoma si basa sul blur gaussiano, un metodo di filtraggio lineare in cui il segnale di input è convoluto con un filtro gaussiano per generare un output. Con l’aumento della deviazione standard, il blur gaussiano riduce i dettagli a scala fine all’interno dei segnali di input e produce segnali di input localmente indistinguibili, liscianti verso una costante.

Sulla base di questa conoscenza, il framework di Guida dell’Attenzione Autonoma introduce la Guida del Blur, una tecnica che intenzionalmente esclude le informazioni dai campioni intermedi durante il processo di diffusione e, invece, utilizza queste informazioni per guidare le sue previsioni verso l’aumento della rilevanza delle immagini rispetto alle informazioni di input. La guida del blur essenzialmente causa la previsione originale di deviare maggiormente dalla previsione del blur di input. Inoltre, la proprietà benigna del blur gaussiano impedisce ai segnali di output di deviare significativamente dal segnale originale con una deviazione moderata. In parole semplici, il blur si verifica naturalmente nelle immagini, rendendo il blur gaussiano un metodo più adatto per essere applicato ai modelli di diffusione pre-addestrati.

Nella pipeline di Guida dell’Attenzione Autonoma, il segnale di input viene prima sfocato utilizzando un filtro gaussiano e, successivamente, diffuso con rumore aggiuntivo per produrre il segnale di output. Facendo ciò, la pipeline SAG mitiga l’effetto collaterale del blur risultante che riduce il rumore gaussiano e fa sì che la guida dipenda dal contenuto piuttosto che essere dipendente dal rumore casuale. Sebbene la guida del blur produca risultati soddisfacenti sui framework con una scala di guida moderata, non riesce a replicare i risultati sui modelli esistenti con una grande scala di guida, poiché è propenso a produrre risultati rumorosi come dimostrato nell’immagine seguente.

Questi risultati potrebbero essere il risultato dell’ambiguità strutturale introdotta nel framework dal blur globale, che rende difficile per la pipeline SAG allineare le previsioni dell’input originale con l’input degradato, risultando in output rumorosi.

Meccanismo di Auto-Attenzione

Come menzionato in precedenza, i modelli di diffusione di solito hanno un componente di auto-atenzione incorporato e rappresenta uno dei componenti più essenziali in un framework di modello di diffusione. Il meccanismo di auto-attenzione è implementato al nucleo dei modelli di diffusione e consente al modello di prestare attenzione alle parti salienti dell’input durante il processo generativo, come dimostrato nell’immagine seguente con maschere ad alta frequenza nella riga superiore e maschere di auto-attenzione nella riga inferiore delle immagini generate.

Il metodo di Guida dell’Attenzione Autonoma si basa sullo stesso principio e sfrutta le capacità delle mappe di auto-attenzione nei modelli di diffusione. Nel complesso, il metodo di Guida dell’Attenzione Autonoma sfoca i patch auto-attenuti nel segnale di input o, in parole semplici, nasconde le informazioni dei patch a cui il modello di diffusione presta attenzione. Inoltre, i segnali di output nella Guida dell’Attenzione Autonoma contengono regioni intatte dei segnali di input, il che significa che non produce ambiguità strutturale degli input e risolve il problema del blur globale. La pipeline ottiene poi le mappe di auto-atenzione aggregate conducendo un’operazione di pooling medio globale per aggregare le mappe di auto-atenzione alla dimensione e campionando il più vicino per adattare la risoluzione del segnale di input.

Guida dell’Attenzione Autonoma: Esperimenti e Risultati

Per valutare le sue prestazioni, la pipeline di Guida dell’Attenzione Autonoma è campionata utilizzando 8 GPU Nvidia GeForce RTX 3090 e si basa sui framework pre-addestrati IDDPM, ADM e Stable Diffusion.

Generazione Incondizionata con Guida dell’Attenzione Autonoma

Per misurare l’efficacia della pipeline SAG sui modelli incondizionati e dimostrare la proprietà condizione-free non posseduta dalla Guida del Classificatore e dalla Guida senza Classificatore, la pipeline SAG è eseguita su framework pre-addestrati incondizionatamente su 50.000 campioni.

Come si può osservare, l’implementazione della pipeline SAG migliora i metriche FID, sFID e IS dei campioni incondizionati, riducendo allo stesso tempo il valore di richiamo. Inoltre, i miglioramenti qualitativi derivanti dall’implementazione della pipeline SAG sono evidenti nelle immagini seguenti, dove le immagini in alto sono i risultati dei framework ADM e Stable Diffusion, mentre le immagini in basso sono i risultati dei framework ADM e Stable Diffusion con la pipeline SAG.

Generazione Condizionata con SAG

L’integrazione della pipeline SAG nei framework esistenti produce risultati eccezionali nella generazione incondizionata e la pipeline SAG è in grado di condizionamento-agnosticità, che consente di implementarla per la generazione condizionata.

Stable Diffusion con Guida dell’Attenzione Autonoma

Anche se il framework originale di Stable Diffusion produce immagini di alta qualità, l’integrazione del framework di Stable Diffusion con la pipeline di Guida dell’Attenzione Autonoma può migliorare drasticamente i risultati. Per valutare il suo effetto, gli sviluppatori utilizzano prompt vuoti per Stable Diffusion con un seme casuale per ogni coppia di immagini e utilizzano una valutazione umana su 500 coppie di immagini con e senza Guida dell’Attenzione Autonoma. I risultati sono dimostrati nell’immagine seguente.

Inoltre, l’implementazione della SAG può migliorare le capacità del framework di Stable Diffusion, poiché la fusione della Guida senza Classificatore con la Guida dell’Attenzione Autonoma può estendere la gamma dei modelli di Stable Diffusion alla sintesi di immagini da testo. Inoltre, le immagini generate dal modello di Stable Diffusion con la Guida dell’Attenzione Autonoma sono di qualità superiore con meno artefatti, grazie all’effetto di auto-condizionamento della pipeline SAG, come dimostrato nell’immagine seguente.

Limitazioni Attuali

Sebbene l’implementazione della pipeline di Guida dell’Attenzione Autonoma possa migliorare sostanzialmente la qualità delle immagini generate, presenta alcune limitazioni.

Una delle principali limitazioni è l’ortogonalità con la Guida del Classificatore e la Guida senza Classificatore. Come si può osservare nell’immagine seguente, l’implementazione della SAG migliora il punteggio FID e il punteggio di previsione, il che significa che la pipeline SAG contiene un componente ortogonale che può essere utilizzato con i metodi di guida tradizionali contemporaneamente.

Tuttavia, richiede ancora che i modelli di diffusione siano addestrati in un modo specifico, il che aggiunge complessità e costi computazionali.

Inoltre, l’implementazione della Guida dell’Attenzione Autonoma non aumenta il consumo di memoria o di tempo, un indicatore che l’onere derivante dalle operazioni come maschera e sfocatura nella SAG è trascurabile. Tuttavia, aggiunge ancora ai costi computazionali poiché include un passaggio aggiuntivo rispetto agli approcci senza guida.

Pensieri Finali

In questo articolo, abbiamo parlato della Guida dell’Attenzione Autonoma, una nuova e generale formulazione del metodo di guida che utilizza le informazioni interne disponibili all’interno dei modelli di diffusione per generare immagini di alta qualità. La Guida dell’Attenzione Autonoma si basa sul principio semplice di formulazione generalizzata e sull’ipotesi che le informazioni interne contenute all’interno dei campioni intermedi possano servire come guida. La pipeline di Guida dell’Attenzione Autonoma è un approccio condizione-free e training-free che può essere implementato in vari modelli di diffusione e utilizza l’auto-condizionamento per ridurre gli artefatti e aumentare la qualità complessiva.