La tecnologia di generazione di immagini basata sull’intelligenza artificiale ha conosciuto una crescita notevole negli ultimi anni, grazie all’avvento di modelli di diffusione testo-immagine come DALL-E, GLIDE, Stable Diffusion, Imagen e molti altri. Nonostante il fatto che i modelli di generazione di immagini abbiano architetture e metodi di allenamento unici, condividono tutti un obiettivo comune: la generazione di immagini personalizzate e customizzate che mirano a creare immagini con caratteristiche di soggetto, stile e identità coerenti in base a immagini di riferimento. Grazie alle loro capacità generative notevoli, i framework di generazione di immagini moderni hanno trovato applicazioni in campi come l’animazione di immagini, la realtà virtuale, il commercio elettronico, i ritratti AI e molti altri. Tuttavia, nonostante le loro capacità generative notevoli, questi framework condividono tutti un ostacolo comune: la maggior parte di essi non è in grado di generare immagini personalizzate conservando i dettagli delicati degli oggetti umani.

La generazione di immagini personalizzate conservando i dettagli intricati è di importanza critica, soprattutto nelle attività di identificazione facciale che richiedono un alto livello di fedeltà e dettaglio, nonché una semantica sfumata rispetto alle attività di generazione di immagini di oggetti generali che si concentrano principalmente su texture e colori grossolani. Inoltre, i framework di sintesi di immagini personalizzate degli ultimi anni, come LoRA, DreamBooth, Textual Inversion e molti altri, hanno fatto notevoli progressi. Tuttavia, i modelli di generazione di immagini personalizzate non sono ancora perfetti per il deploy in scenari reali, poiché richiedono una grande quantità di memoria, necessitano di più immagini di riferimento e spesso richiedono un lungo processo di fine-tuning. D’altra parte, sebbene i metodi basati sull’incorporazione dell’identità richiedano solo un’unica immagine di riferimento, o mancano di compatibilità con modelli pre-addestrati pubblicamente disponibili, o richiedono un eccessivo processo di fine-tuning su numerosi parametri, o falliscono nel mantenere un’alta fedeltà del viso.

Per affrontare queste sfide e migliorare ulteriormente le capacità di generazione di immagini, in questo articolo parleremo di InstantID, una soluzione basata su modelli di diffusione per la generazione di immagini. InstantID è un modulo plug-and-play che gestisce la generazione di immagini e la personalizzazione in modo efficace attraverso vari stili con un’unica immagine di riferimento e assicura un’alta fedeltà. L’obiettivo principale di questo articolo è fornire ai nostri lettori una comprensione approfondita dei fondamenti tecnici e dei componenti del framework InstantID, esaminando nel dettaglio l’architettura del modello, il processo di allenamento e gli scenari di applicazione. Quindi, iniziamo.

InstantID: Generazione di Immagini con Conservazione dell’Identità in Pochi Secondi

L’emergere dei modelli di diffusione testo-immagine ha contribuito notevolmente al progresso della tecnologia di generazione di immagini. L’obiettivo principale di questi modelli è la generazione personalizzata e la creazione di immagini con soggetto, stile e identità coerenti utilizzando una o più immagini di riferimento. La capacità di questi framework di creare immagini coerenti ha creato potenziali applicazioni in diversi settori, tra cui l’animazione di immagini, la generazione di ritratti AI, il commercio elettronico, la realtà virtuale e aumentata, e molto altro.

Tuttavia, nonostante le loro capacità notevoli, questi framework affrontano una sfida fondamentale: spesso lottano per generare immagini personalizzate che conservino i dettagli delicati degli oggetti umani con precisione. È importante notare che la generazione di immagini personalizzate con dettagli intrinseci è una task impegnativa, poiché l’identificazione facciale richiede un alto livello di fedeltà e dettaglio, nonché una semantica più avanzata rispetto agli oggetti generali o agli stili che si concentrano principalmente su colori o texture grossolane. I modelli di generazione di immagini esistenti dipendono da descrizioni testuali dettagliate e lottano per raggiungere una forte rilevanza semantica per la generazione di immagini personalizzate. Inoltre, alcuni grandi framework di generazione di immagini pre-addestrati aggiungono controlli di condizionamento spaziale per migliorare la controllabilità, facilitando il controllo strutturale fine-grano utilizzando elementi come pose del corpo, mappe di profondità, schizzi dell’utente, mappe di segmentazione semantica e molto altro. Tuttavia, nonostante queste aggiunte e miglioramenti, questi framework sono in grado di raggiungere solo una fedeltà parziale dell’immagine generata rispetto all’immagine di riferimento.

Per superare queste sfide, il framework InstantID si concentra sulla sintesi di immagini con conservazione dell’identità istantanea e tenta di colmare il divario tra efficienza e alta fedeltà introducendo un semplice modulo plug-and-play che consente al framework di gestire la personalizzazione delle immagini utilizzando un’unica immagine facciale mentre mantiene un’alta fedeltà. Inoltre, per conservare l’identità facciale dall’immagine di riferimento, il framework InstantID implementa un nuovo encoder di facce che mantiene i dettagli intrinseci dell’immagine aggiungendo condizioni spaziali deboli e semantiche forti che guidano il processo di generazione di immagini incorporando prompt testuali, immagini di riferimento e immagini facciali.

Ci sono tre caratteristiche distintive che separano il framework InstantID dagli esistenti framework di generazione di immagini testo-immagine.

• Compatibilità e Pluggability: Invece di allenare i parametri completi del framework UNet, il framework InstantID si concentra sull’allenamento di un adattatore leggero. Di conseguenza, il framework InstantID è compatibile e pluggabile con modelli pre-addestrati esistenti.

• Senza Regolazione: La metodologia del framework InstantID elimina la necessità di regolazione, poiché richiede solo una singola propagazione in avanti per l’inferenza, rendendo il modello altamente pratico e economico per la regolazione.
• Prestazioni Superiori: Il framework InstantID dimostra un’alta flessibilità e fedeltà, poiché è in grado di fornire prestazioni all’avanguardia utilizzando un’unica immagine di riferimento, paragonabile ai metodi basati sull’allenamento che si affidano a più immagini di riferimento.

Nel complesso, i contributi del framework InstantID possono essere categorizzati nei seguenti punti.

1. Il framework InstantID è un metodo innovativo di adattamento per la conservazione dell’identità per modelli di diffusione testo-immagine pre-addestrati, con l’obiettivo di colmare il divario tra efficienza e fedeltà.
2. Il framework InstantID è compatibile e pluggabile con modelli personalizzati regolati con lo stesso modello di diffusione nella sua architettura, consentendo la conservazione dell’identità nei modelli pre-addestrati senza costi aggiuntivi.

InstantID: Metodologia e Architettura

Come menzionato in precedenza, il framework InstantID è un adattatore leggero efficiente che conferisce ai modelli di diffusione testo-immagine pre-addestrati le capacità di conservazione dell’identità senza sforzo.

Parlando dell’architettura, il framework InstantID è costruito sul modello di diffusione stabile, noto per la sua capacità di eseguire il processo di diffusione con un’alta efficienza computazionale in uno spazio latente a bassa dimensione invece che nello spazio dei pixel con un auto-encoder. Per un’immagine di input, l’encoder mappa l’immagine a una rappresentazione latente con un fattore di campionamento e dimensioni latenti. Inoltre, per denoising un rumore normale distribuito con rumore latente, condizione e tempo di attuale, il processo di diffusione adotta un componente di denoising UNet. La condizione è un’incorporazione di prompt testuali generati utilizzando un componente di encoder testuale CLIP pre-addestrato.

Inoltre, il framework InstantID utilizza anche un componente ControlNet che è in grado di aggiungere il controllo spaziale a un modello di diffusione pre-addestrato come condizione, estendendosi ben oltre le capacità tradizionali dei prompt testuali. Il componente ControlNet integra anche l’architettura UNet del framework di diffusione stabile utilizzando una replica addestrata del componente UNet. La replica del componente UNet presenta zero layer di convoluzione all’interno dei blocchi centrali e dei blocchi dell’encoder. Nonostante le loro somiglianze, il componente ControlNet si distingue dal modello di diffusione stabile; differiscono nell’ultimo elemento residuale. Il componente ControlNet codifica le informazioni di condizione spaziale come pose, mappe di profondità, schizzi e altro, aggiungendo i residui al blocco UNet e incorporandoli poi nella rete originale.

Il framework InstantID trae anche ispirazione dall’IP-Adapter o Image Prompt Adapter, che introduce un approccio innovativo per ottenere capacità di prompt di immagine in parallelo con i prompt testuali senza richiedere la modifica dei modelli di immagine testo-immagine originali. Il componente IP-Adapter impiega anche una strategia di cross-attenzione decoupled che utilizza layer di cross-attenzione aggiuntivi per incorporare le caratteristiche dell’immagine lasciando invariati gli altri parametri.

Metodologia

Per fornire una breve panoramica, il framework InstantID mira a generare immagini personalizzate con diversi stili o pose utilizzando un’unica immagine di riferimento con un’alta fedeltà. La seguente figura fornisce una breve panoramica del framework InstantID.

Come si può osservare, il framework InstantID ha tre componenti essenziali:

1. Un componente di incorporazione dell’identità che cattura informazioni semantiche robuste delle caratteristiche facciali nell’immagine.
2. Un modulo di adattamento leggero con un componente di cross-attenzione decoupled per facilitare l’uso di un’immagine come prompt visivo.
3. Un componente IdentityNet che codifica le caratteristiche dettagliate dall’immagine di riferimento utilizzando un controllo spaziale aggiuntivo.

Incorporazione dell’Identità

A differenza dei metodi esistenti come FaceStudio, PhotoMaker, IP-Adapter e molti altri che si affidano a un encoder di immagine CLIP pre-addestrato per estrarre prompt visivi, il framework InstantID si concentra sulla fedeltà migliorata e su dettagli semantici più forti nel compito di conservazione dell’identità. È importante notare che le limitazioni intrinseche del componente CLIP risiedono principalmente nel suo processo di addestramento su dati debolmente allineati, il che significa che le caratteristiche codificate dell’encoder CLIP catturano principalmente informazioni semantiche ampie e ambigue come colori, stile e composizione. Sebbene queste caratteristiche possano agire come supplemento generale agli incorporamenti testuali, non sono adatte per compiti di conservazione dell’identità precisi che pongono l’accento su una forte semantica e un’alta fedeltà. Inoltre, recenti ricerche sui modelli di rappresentazione facciale, in particolare sulla riconoscimento facciale, hanno dimostrato l’efficacia della rappresentazione facciale in compiti complessi come la ricostruzione e il riconoscimento facciale. Sulla base di ciò, il framework InstantID mira a sfruttare un modello di facce pre-addestrato per rilevare e estrarre incorporamenti dell’identità dall’immagine di riferimento, guidando il modello per la generazione di immagini.

Adattatore di Immagine

La capacità dei modelli di diffusione testo-immagine pre-addestrati di migliorare i prompt testuali, in particolare per scenari che non possono essere descritti adeguatamente dai prompt testuali, è notevole. Il framework InstantID adotta una strategia simile a quella utilizzata dal modello IP-Adapter per il prompt di immagine, che introduce un modulo di adattamento leggero abbinato a un componente di cross-attenzione decoupled per supportare le immagini come input prompt. Tuttavia, a differenza degli incorporamenti CLIP allineati grossolanamente, il framework InstantID si discosta impiegando incorporamenti dell’identità come prompt di immagine in un tentativo di raggiungere un’integrazione di prompt più ricca e sfumata.

IdentityNet

Sebbene i metodi esistenti siano in grado di integrare i prompt di immagine con i prompt testuali, il framework InstantID sostiene che questi metodi migliorano solo le caratteristiche grossolane con un livello di integrazione insufficiente per la generazione di immagini con conservazione dell’identità. Inoltre, l’aggiunta dei token di immagine e testo nei layer di cross-attenzione direttamente tende a indebolire il controllo dei token testuali, e un tentativo di rafforzare la forza dei token di immagine potrebbe risultare nell’impedire le capacità dei token testuali nelle attività di editing. Per contrastare queste sfide, il framework InstantID opta per ControlNet, un metodo di incorporamento di caratteristiche alternativo che utilizza le informazioni spaziali come input per il modulo di controllo, consentendo di mantenere la coerenza con le impostazioni UNet nei modelli di diffusione.

Il framework InstantID apporta due modifiche all’architettura tradizionale di ControlNet: per gli input condizionali, il framework InstantID opta per 5 punti chiave facciali invece dei punti chiave facciali OpenPose fine-grani. In secondo luogo, il framework InstantID utilizza incorporamenti dell’identità invece di prompt testuali come condizioni per i layer di cross-attenzione nell’architettura di ControlNet.

Allenamento e Inferenza

Durante la fase di allenamento, il framework InstantID ottimizza i parametri di IdentityNet e dell’Adattatore di Immagine mentre congela i parametri del modello di diffusione pre-addestrato. L’intero pipeline InstantID è allenato su coppie di immagini e testo che presentano soggetti umani e utilizza un obiettivo di allenamento simile a quello utilizzato nel framework di diffusione stabile con condizioni di immagine specifiche del compito. L’evidenza del metodo di allenamento InstantID è la separazione tra i layer di cross-attenzione dell’immagine e del testo all’interno dell’adattatore di prompt di immagine, una scelta che consente al framework InstantID di regolare i pesi di queste condizioni di immagine in modo flessibile e indipendente, assicurando così un processo di inferenza e allenamento più mirato e controllato.

InstantID: Esperimenti e Risultati

Il framework InstantID implementa il modello di diffusione stabile e lo allena su LAION-Face, un dataset open-source su larga scala che consiste in oltre 50 milioni di coppie di immagini e testo. Inoltre, il framework InstantID raccoglie oltre 10 milioni di immagini umane con automazioni generate automaticamente dal modello BLIP2 per migliorare ulteriormente la qualità della generazione di immagini. Il framework InstantID si concentra principalmente su immagini di persona singola e utilizza un modello di facce pre-addestrato per rilevare e estrarre incorporamenti dell’identità dalle immagini umane, e invece di allenare i dataset di facce ritagliate, allena le immagini umane originali. Inoltre, durante l’allenamento, il framework InstantID congela il modello di diffusione testo-immagine pre-addestrato e aggiorna solo i parametri di IdentityNet e dell’Adattatore di Immagine.

Generazione di Immagine Solo

Il modello InstantID utilizza un prompt vuoto per guidare il processo di generazione di immagine utilizzando solo l’immagine di riferimento, e i risultati senza prompt sono dimostrati nell’immagine seguente.

La generazione con ‘prompt vuoto’ come dimostrato nell’immagine sopra dimostra la capacità del framework InstantID di mantenere caratteristiche facciali ricche e semantiche come identità, età ed espressione in modo robusto. Tuttavia, è importante notare che l’uso di prompt vuoti potrebbe non essere in grado di replicare i risultati su altre semantiche come il genere con precisione. Inoltre, nelle colonne 2-4 dell’immagine sopra, si utilizza un’immagine e un prompt, e come si può vedere, l’immagine generata non dimostra alcun degrado nelle capacità di controllo del testo e mantiene la coerenza dell’identità. Infine, le colonne 5-9 utilizzano un’immagine, un prompt e un controllo spaziale, dimostrando la compatibilità del modello con modelli di controllo spaziale pre-addestrati, consentendo al modello InstantID di introdurre controlli spaziali in modo flessibile utilizzando un componente ControlNet pre-addestrato.

È anche importante notare che il numero di immagini di riferimento ha un impatto significativo sull’immagine generata, come dimostrato nell’immagine sopra. Sebbene il framework InstantID sia in grado di fornire buoni risultati utilizzando un’unica immagine di riferimento, più immagini di riferimento producono un’immagine di qualità migliore, poiché il framework InstantID prende la media dei incorporamenti dell’identità come prompt di immagine. Proseguendo, è essenziale confrontare il framework InstantID con metodi esistenti che generano immagini personalizzate utilizzando un’unica immagine di riferimento. La figura seguente confronta i risultati generati dal framework InstantID e dai modelli esistenti di stato dell’arte per la generazione di immagini personalizzate con un’unica immagine di riferimento.

Come si può vedere, il framework InstantID è in grado di preservare le caratteristiche facciali grazie all’incorporamento dell’identità che inerentemente porta informazioni semantiche ricche, come identità, età e genere. È sicuro dire che il framework InstantID supera i framework esistenti nella generazione di immagini personalizzate, poiché è in grado di preservare l’identità umana mantenendo il controllo e la flessibilità stilistica.

Pensieri Finali

In questo articolo, abbiamo parlato di InstantID, una soluzione basata su modelli di diffusione per la generazione di immagini. InstantID è un modulo plug-and-play che gestisce la generazione di immagini e la personalizzazione in modo efficace attraverso vari stili con un’unica immagine di riferimento e assicura un’alta fedeltà. Il framework InstantID si concentra sulla sintesi di immagini con conservazione dell’identità istantanea e tenta di colmare il divario tra efficienza e alta fedeltà introducendo un semplice modulo plug-and-play che consente al framework di gestire la personalizzazione delle immagini utilizzando un’unica immagine facciale mentre mantiene un’alta fedeltà.