Stability AI Rilascia il Modello Testo-Immagine DeepFloyd IF

Stability AI e il suo laboratorio di ricerca multimodale AI, DeepFloyd, hanno annunciato la release di ricerca di DeepFloyd IF, un modello di diffusione di pixel cascati testo-immagine all’avanguardia. Il modello è inizialmente rilasciato sotto una licenza non commerciale, consentita per la ricerca, ma una release open-source è pianificata per il futuro.

DeepFloyd IF vanta diverse caratteristiche notevoli, tra cui:

1. Comprensione approfondita del testo dei prompt: Il modello utilizza T5-XXL-1.1 come encoder di testo, con numerose layer di cross-attenzione testo-immagine, garantendo una migliore allineamento tra prompt e immagini.
2. Testo coerente e chiaro accanto alle immagini generate: DeepFloyd IF può generare immagini contenenti oggetti con proprietà e relazioni spaziali variabili.
3. Alto grado di fotorealismo: Il modello ha raggiunto un impressionante punteggio FID zero-shot di 6.66 sul set di dati COCO.
4. Modifica del rapporto di aspetto: Il modello può generare immagini con rapporti di aspetto non standard, tra cui verticale, orizzontale e il rapporto di aspetto standard quadrato.
5. Traduzioni immagine-immagine zero-shot: Il modello può modificare lo stile, i pattern e i dettagli di un’immagine mantenendone la forma di base.

Ecco alcuni esempi di concetti creati da DeepFloyd IF:

La progettazione modulare, cascati, di diffusione di pixel di DeepFloyd IF consiste in diversi moduli neurali che interagiscono sinergicamente. Il modello funziona nello spazio dei pixel, elaborando dati ad alta risoluzione in modo cascati utilizzando modelli individualmente addestrati a diverse risoluzioni. Ciò comporta un modello di base che genera campioni a bassa risoluzione e successivi modelli di super-risoluzione che producono immagini ad alta risoluzione.

Il modello è stato addestrato su un set di dati personalizzato di alta qualità LAION-A contenente 1 miliardo di coppie (immagine, testo), un subset della parte inglese del set di dati LAION-5B. I filtri personalizzati di DeepFloyd sono stati utilizzati per rimuovere contenuti watermarked, NSFW e altri inadeguati.

Processo di DeepFloyd IF

Inizialmente, DeepFloyd IF è rilasciato sotto una licenza di ricerca. Gli ricercatori mirano a incoraggiare lo sviluppo di applicazioni innovative in domini come l’arte, il design, la narrazione, la realtà virtuale e l’accessibilità. Per ispirare potenziali ricerche, hanno proposto diverse domande di ricerca tecniche, accademiche ed etiche.

Domande di ricerca tecniche includono:

• Ottimizzazione del modello IF per migliorare le prestazioni, la scalabilità e l’efficienza.
• Miglioramento della qualità di output raffinando il campionamento, la guida o la fine-tuning del modello.
• Applicazione di tecniche utilizzate per modificare l’output di Stable Diffusion a DeepFloyd IF.

Domande di ricerca accademiche includono:

• Esplorazione del ruolo della pre-formazione per l’apprendimento transfer.
• Miglioramento del controllo del modello sulla generazione di immagini.
• Estensione delle capacità del modello oltre la sintesi testo-immagine integrando più modalità.
• Valutazione dell’interpretazione del modello per migliorare la comprensione delle caratteristiche visive delle immagini generate.

Domande di ricerca etiche includono:

• Identificazione e mitigazione dei pregiudizi in DeepFloyd IF.
• Valutazione dell’impatto del modello sui social media e la generazione di contenuti.
• Sviluppo di un rilevatore di immagini false efficace che utilizza il modello.

Per accedere ai pesi del modello, gli utenti devono accettare la licenza su Hugging Face space di DeepFloyd. Per ulteriori informazioni, è possibile visitare il sito web del modello, il repository GitHub, la demo Gradio o unirsi alle discussioni pubbliche attraverso Linktree di DeepFloyd.