Negli ultimi anni, i modelli di diffusione basati sulla sintonizzazione hanno dimostrato notevoli progressi in una vasta gamma di attività di personalizzazione e customizzazione delle immagini. Tuttavia, nonostante il loro potenziale, i modelli di diffusione basati sulla sintonizzazione attuali continuano ad affrontare una serie di sfide complesse nella produzione e generazione di immagini coerenti con lo stile, e ci possono essere tre motivi alla base di questo. In primo luogo, il concetto di stile rimane ampiamente indefinito e indeterminato, e comprende una combinazione di elementi tra cui atmosfera, struttura, design, materiale, colore e molto altro. In secondo luogo, i metodi basati sull’inversione sono soggetti a degrado dello stile, risultando in una frequente perdita di dettagli fini. Infine, gli approcci basati sugli adattatori richiedono una sintonizzazione frequente dei pesi per ogni immagine di riferimento per mantenere un equilibrio tra la controllabilità del testo e l’intensità dello stile.

Inoltre, l’obiettivo principale della maggior parte degli approcci di trasferimento di stile o generazione di immagini stilizzate è utilizzare l’immagine di riferimento e applicare il suo stile specifico da un subset di immagini di riferimento o da un’immagine di riferimento a un’immagine di contenuto di destinazione. Tuttavia, è il grande numero di attributi dello stile che rende difficile per i ricercatori raccogliere dataset stilizzati, rappresentare correttamente lo stile e valutare il successo del trasferimento. In precedenza, i modelli e le strutture che trattano il processo di diffusione basato sulla sintonizzazione, sintonizzano il dataset di immagini che condividono uno stile comune, un processo che è sia dispendioso in termini di tempo che limitato nella generalizzabilità in compiti del mondo reale, poiché è difficile raccogliere un subset di immagini che condividono lo stesso o quasi identico stile.

In questo articolo, parleremo di InstantStyle, una struttura progettata con l’obiettivo di affrontare le problematiche affrontate dai modelli di diffusione basati sulla sintonizzazione attuali per la generazione e la personalizzazione delle immagini. Parleremo delle due strategie chiave implementate dalla struttura InstantStyle:

1. Un approccio semplice ma efficace per scindere lo stile e il contenuto dalle immagini di riferimento all’interno dello spazio delle caratteristiche, ipotizzando che le caratteristiche all’interno dello stesso spazio delle caratteristiche possano essere aggiunte o sottratte l’una dall’altra.
2. Prevenire le perdite di stile iniettando le caratteristiche dell’immagine di riferimento esclusivamente nei blocchi specifici dello stile, e deliberatamente evitando la necessità di utilizzare pesi ingombranti per la sintonizzazione, spesso caratterizzati da progetti più pesanti in termini di parametri.

Questo articolo si propone di coprire la struttura InstantStyle in profondità, esplorando il meccanismo, la metodologia, l’architettura della struttura insieme al suo confronto con le strutture attuali. Parleremo anche di come la struttura InstantStyle dimostra risultati di stilizzazione visiva notevoli, e colpisce un equilibrio ottimale tra la controllabilità degli elementi testuali e l’intensità dello stile. Quindi, iniziamo.

InstantStyle: Preservazione dello Stile nella Generazione di Immagini da Testo

I framework generativi di immagini da testo basati sulla diffusione hanno ottenuto notevoli successi in una vasta gamma di attività di personalizzazione e customizzazione, in particolare nelle attività di generazione di immagini coerenti, tra cui la personalizzazione degli oggetti, la conservazione delle immagini e il trasferimento di stile. Tuttavia, nonostante il recente successo e il miglioramento delle prestazioni, il trasferimento di stile rimane una sfida difficile per i ricercatori a causa della natura indeterminata e indefinita dello stile, che include spesso una varietà di elementi tra cui atmosfera, struttura, design, materiale, colore e molto altro. Con questo detto, l’obiettivo principale della generazione di immagini stilizzate o del trasferimento di stile è applicare lo stile specifico da un’immagine di riferimento o da un subset di immagini di riferimento all’immagine di contenuto di destinazione. Tuttavia, è il grande numero di attributi dello stile che rende difficile per i ricercatori raccogliere dataset stilizzati, rappresentare correttamente lo stile e valutare il successo del trasferimento. In precedenza, i modelli e le strutture che trattano il processo di diffusione basato sulla sintonizzazione, sintonizzano il dataset di immagini che condividono uno stile comune, un processo che è sia dispendioso in termini di tempo che limitato nella generalizzabilità in compiti del mondo reale, poiché è difficile raccogliere un subset di immagini che condividono lo stesso o quasi identico stile.

Con le sfide incontrate dall’approccio attuale, i ricercatori hanno preso interesse nello sviluppo di approcci di sintonizzazione per il trasferimento di stile o la generazione di immagini stilizzate, e queste strutture possono essere divise in due gruppi diversi:

• Approcci senza adattatore: Gli approcci e le strutture senza adattatore sfruttano il potere dell’auto-attenzione all’interno del processo di diffusione, e implementando un’operazione di attenzione condivisa, questi modelli sono in grado di estrarre caratteristiche essenziali, tra cui chiavi e valori, dalle immagini di stile di riferimento direttamente.

• Approcci basati su adattatore: Gli approcci e le strutture basate su adattatore incorporano un modello leggero progettato per estrarre rappresentazioni di immagini dettagliate dalle immagini di stile di riferimento. La struttura quindi integra queste rappresentazioni nel processo di diffusione in modo abile utilizzando meccanismi di cross-attenzione. L’obiettivo principale del processo di integrazione è guidare il processo di generazione e assicurarsi che l’immagine risultante sia allineata con le sfumature stilistiche desiderate dell’immagine di riferimento.

Tuttavia, nonostante le promesse, i metodi senza sintonizzazione spesso incontrano alcune sfide. In primo luogo, l’approccio senza adattatore richiede uno scambio di chiavi e valori all’interno dei layer di auto-attenzione, e pre-cattura le matrici di chiavi e valori derivate dalle immagini di stile di riferimento. Quando implementato su immagini naturali, l’approccio senza adattatore richiede l’inversione dell’immagine indietro al rumore latente utilizzando tecniche come DDIM o Denoising Diffusion Implicit Models inversion. Tuttavia, utilizzare DDIM o altri approcci di inversione potrebbe risultare nella perdita di dettagli fini come colore e texture, quindi diminuendo le informazioni di stile nelle immagini generate. Inoltre, il passaggio aggiuntivo introdotto da questi approcci è un processo dispendioso in termini di tempo e può porre significativi svantaggi nelle applicazioni pratiche. D’altra parte, la sfida principale per i metodi basati su adattatore risiede nel trovare l’equilibrio giusto tra la perdita di contesto e l’intensità dello stile. La perdita di contesto si verifica quando un aumento dell’intensità dello stile risulta nell’apparizione di elementi non di stile dall’immagine di riferimento nell’output generato, con il punto principale di difficoltà che è separare gli stili dal contenuto all’interno dell’immagine di riferimento in modo efficace. Per affrontare questo problema, alcune strutture costruiscono dataset accoppiati che rappresentano lo stesso oggetto in diversi stili, facilitando l’estrazione della rappresentazione del contenuto e degli stili disaccoppiati. Tuttavia, grazie alla rappresentazione intrinsecamente indeterminata dello stile, il compito di creare dataset accoppiati su larga scala è limitato in termini di diversità di stili che può catturare, ed è un processo dispendioso in termini di risorse.

Per affrontare queste limitazioni, la struttura InstantStyle è stata introdotta, che è un meccanismo senza sintonizzazione basato su metodi basati su adattatore esistenti, con la capacità di integrarsi perfettamente con altri metodi di iniezione basati sull’attenzione, e raggiungendo la scissione di contenuto e stile in modo efficace. Inoltre, la struttura InstantStyle introduce non uno, ma due modi efficaci per completare la scissione di stile e contenuto, raggiungendo una migliore migrazione di stile senza la necessità di introdurre metodi aggiuntivi per la scissione o la costruzione di dataset accoppiati.

Inoltre, le strutture basate su adattatore precedenti sono state ampiamente utilizzate nei metodi basati su CLIP come estraritori di caratteristiche di immagini, alcune strutture hanno esplorato la possibilità di implementare la scissione di caratteristiche all’interno dello spazio delle caratteristiche, e quando confrontate con l’indeterminazione dello stile, è più facile descrivere il contenuto con il testo. Poiché le immagini e il testo condividono uno spazio delle caratteristiche nei metodi basati su CLIP, un’operazione di sottrazione semplice delle caratteristiche del testo di contesto e delle caratteristiche dell’immagine può ridurre notevolmente la perdita di contesto. Inoltre, nella maggior parte dei modelli di diffusione, c’è un layer particolare nella sua architettura che inietta le informazioni di stile, e raggiunge la scissione di contenuto e stile iniettando le caratteristiche dell’immagine solo nei blocchi specifici dello stile. Implementando queste due strategie semplici, la struttura InstantStyle è in grado di risolvere i problemi di perdita di contesto incontrati dalla maggior parte delle strutture esistenti, mantenendo la forza dello stile.

Per riassumere, la struttura InstantStyle impiega due meccanismi semplici, diretti ma efficaci per raggiungere una disgiunzione efficace di contenuto e stile dalle immagini di riferimento. La struttura InstantStyle è un approccio indipendente dal modello e senza sintonizzazione che dimostra prestazioni notevoli nei compiti di trasferimento di stile con un grande potenziale per i compiti a valle.

Instant-Style: Metodologia e Architettura

Come dimostrato dagli approcci precedenti, c’è un equilibrio nell’iniezione delle condizioni di stile nei modelli di diffusione senza sintonizzazione. Se l’intensità della condizione dell’immagine è troppo alta, potrebbe risultare in una perdita di contesto, mentre se l’intensità della condizione dell’immagine scende troppo bassa, lo stile potrebbe non essere abbastanza evidente. Un motivo principale dietro questa osservazione è che in un’immagine, lo stile e il contenuto sono interconnessi, e a causa della rappresentazione intrinsecamente indeterminata dello stile, è difficile scindere lo stile e l’intento. Di conseguenza, pesi meticolosi sono spesso sintonizzati per ogni immagine di riferimento nel tentativo di bilanciare la controllabilità del testo e la forza dello stile. Inoltre, per un dato input di immagine di riferimento e la sua descrizione testuale corrispondente nei metodi basati sull’inversione, gli approcci di inversione come DDIM sono adottati sull’immagine per ottenere la traiettoria di diffusione invertita, un processo che approssima l’equazione di inversione per trasformare un’immagine in una rappresentazione di rumore latente. Partendo da questo e iniziando dalla traiettoria di diffusione invertita insieme a una nuova serie di prompt, questi metodi generano nuovo contenuto con il suo stile allineato con l’input. Tuttavia, come mostrato nella figura seguente, l’approccio di inversione DDIM per immagini reali è spesso instabile poiché si basa su ipotesi di linearizzazione locale, risultando nella propagazione degli errori e portando alla perdita di contenuto e alla ricostruzione dell’immagine errata.

Venendo alla metodologia, invece di impiegare strategie complesse per scindere il contenuto e lo stile dalle immagini, la struttura Instant-Style adotta l’approccio più semplice per raggiungere prestazioni simili. Quando confrontato con l’indeterminazione degli attributi dello stile, il contenuto può essere rappresentato con testo naturale, consentendo alla struttura Instant-Style di utilizzare l’encoder di testo da CLIP per estrarre le caratteristiche del testo di contesto come rappresentazioni di contesto. Contestualmente, la struttura Instant-Style implementa l’encoder di immagine CLIP per estrarre le caratteristiche dell’immagine di riferimento. Sfruttando la caratterizzazione delle caratteristiche globali di CLIP e sottraendo le caratteristiche del testo di contesto dalle caratteristiche dell’immagine, la struttura Instant-Style è in grado di scindere lo stile e il contenuto in modo esplicito. Sebbene sia una strategia semplice, aiuta la struttura Instant-Style a mantenere la perdita di contesto al minimo.

Inoltre, ogni layer all’interno di una rete profonda è responsabile della cattura di informazioni semantiche diverse, e l’osservazione chiave dai modelli precedenti è che esistono due layer di attenzione responsabili della gestione dello stile. In particolare, sono i blocchi.0.attentions.1 e down blocks.2.attentions.1 layer responsabili della cattura dello stile come colore, materiale, atmosfera, e il layer di layout spaziale cattura la struttura e la composizione rispettivamente. La struttura Instant-Style utilizza questi layer in modo implicito per estrarre le informazioni di stile, e prevenire la perdita di contesto senza perdere la forza dello stile. La strategia è semplice ma efficace poiché il modello ha localizzato i blocchi di stile che possono iniettare le caratteristiche dell’immagine in questi blocchi per raggiungere un trasferimento di stile senza soluzione di continuità. Inoltre, poiché il modello riduce notevolmente il numero di parametri dell’adattatore, la capacità di controllo del testo della struttura è migliorata, e il meccanismo è anche applicabile ad altri modelli di iniezione di caratteristiche basati sull’attenzione per l’editing e altri compiti.

Instant-Style: Esperimenti e Risultati

La struttura Instant-Style è implementata sul framework Stable Diffusion XL, e utilizza il pre-adattatore IR comunemente adottato come suo esempio per validare la sua metodologia, e muta tutti i blocchi tranne i blocchi di stile per le caratteristiche dell’immagine. Il modello Instant-Style addestra anche il pre-adattatore su 4 milioni di dataset di immagini di grandi dimensioni accoppiate con il testo da zero, e invece di addestrare tutti i blocchi, aggiorna solo i blocchi di stile.

Per condurre la sua capacità di generalizzazione e robustezza, la struttura Instant-Style conduce numerosi esperimenti di trasferimento di stile con vari stili su diversi contenuti, e i risultati possono essere osservati nelle immagini seguenti. Dato un’immagine di riferimento singola insieme a prompt vari, la struttura Instant-Style fornisce una generazione di immagini di alta qualità e coerenti con lo stile.

Inoltre, poiché il modello inietta le informazioni dell’immagine solo nei blocchi di stile, è in grado di mitigare notevolmente il problema della perdita di contesto, e quindi non ha bisogno di eseguire la sintonizzazione dei pesi.

Proseguendo, la struttura Instant-Style adotta anche l’architettura ControlNet per raggiungere la stilizzazione dell’immagine con controllo spaziale, e i risultati sono dimostrati nell’immagine seguente.

Quando confrontato con i metodi attuali di stato dell’arte, tra cui StyleAlign, B-LoRA, Swapping Self Attention e IP-Adapter, la struttura Instant-Style dimostra gli effetti visivi migliori.

Pensieri Finali

In questo articolo, abbiamo parlato di Instant-Style, una struttura generale che impiega due strategie semplici ma efficaci per raggiungere una disgiunzione efficace di contenuto e stile dalle immagini di riferimento. La struttura InstantStyle è progettata con l’obiettivo di affrontare le problematiche affrontate dai modelli di diffusione basati sulla sintonizzazione attuali per la generazione e la personalizzazione delle immagini. La struttura Instant-Style implementa due strategie vitali: Un approccio semplice ma efficace per scindere lo stile e il contenuto dalle immagini di riferimento all’interno dello spazio delle caratteristiche, ipotizzando che le caratteristiche all’interno dello stesso spazio delle caratteristiche possano essere aggiunte o sottratte l’una dall’altra. Secondo, prevenire le perdite di stile iniettando le caratteristiche dell’immagine di riferimento esclusivamente nei blocchi specifici dello stile, e deliberatamente evitando la necessità di utilizzare pesi ingombranti per la sintonizzazione, spesso caratterizzati da progetti più pesanti in termini di parametri.