Modelli e piattaforme di IA

Stability AI Rilascia il Modello Testo-Immagine DeepFloyd IF

Alex McFarland
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveDeepFloyd IF 使用 T5-XXL-1.1 文本编码器在图像中生成连贯的文本。
Vedi di più
  • DeepFloyd IF 使用 T5-XXL-1.1 文本编码器在图像中生成连贯的文本。
  • 该模型在 COCO 数据集上实现了 6.66 的零样本 FID 分数。
  • Stability AI 最初以非商业研究许可证发布了 DeepFloyd IF。

Stability AI e il suo laboratorio di ricerca multimodale AI, DeepFloyd, hanno annunciato la release di ricerca di DeepFloyd IF, un modello di diffusione di pixel cascati testo-immagine all’avanguardia. Il modello è inizialmente rilasciato sotto una licenza non commerciale, consentita per la ricerca, ma una release open-source è pianificata per il futuro.

DeepFloyd IF vanta diverse caratteristiche notevoli, tra cui:

  1. Comprensione approfondita del testo dei prompt: Il modello utilizza T5-XXL-1.1 come encoder di testo, con numerosi strati di attenzione incrociata testo-immagine, garantendo un migliore allineamento tra prompt e immagini.
  2. Testo coerente e chiaro accanto alle immagini generate: DeepFloyd IF può generare immagini contenenti oggetti con proprietà e relazioni spaziali variabili.
  3. Alto grado di fotorealismo: Il modello ha raggiunto un impressionante punteggio FID zero-shot di 6.66 sul set di dati COCO.
  4. Modifica del rapporto di aspetto: Il modello può generare immagini con rapporti di aspetto non standard, tra cui verticale, orizzontale e il rapporto di aspetto standard quadrato.
  5. Traduzioni immagine-immagine zero-shot: Il modello può modificare lo stile, i pattern e i dettagli di un’immagine mantenendone la forma di base.

Ecco alcuni esempi di concetti creati da DeepFloyd IF:

La progettazione modulare a cascata basata sulla diffusione di pixel di DeepFloyd IF consiste in diversi moduli neurali che interagiscono sinergicamente. Il modello funziona nello spazio dei pixel, elaborando dati ad alta risoluzione a cascata utilizzando modelli individualmente addestrati a diverse risoluzioni. Ciò comporta un modello di base che genera campioni a bassa risoluzione e successivi modelli di super-risoluzione che producono immagini ad alta risoluzione.

Il modello è stato addestrato su un set di dati personalizzato di alta qualità LAION-A contenente 1 miliardo di coppie (immagine, testo), un subset della parte inglese del set di dati LAION-5B. I filtri personalizzati di DeepFloyd sono stati utilizzati per rimuovere contenuti con filigrana, NSFW e altri inadeguati.

Processo di DeepFloyd IF

Inizialmente, DeepFloyd IF è rilasciato sotto una licenza di ricerca. I ricercatori mirano a incoraggiare lo sviluppo di applicazioni innovative in domini come l’arte, il design, la narrazione, la realtà virtuale e l’accessibilità. Per ispirare potenziali ricerche, hanno proposto diverse domande di ricerca tecniche, accademiche ed etiche.

Domande di ricerca tecniche includono:

  • Ottimizzazione del modello IF per migliorare le prestazioni, la scalabilità e l’efficienza.
  • Miglioramento della qualità di output raffinando il campionamento, la guida o il fine-tuning del modello.
  • Applicazione di tecniche utilizzate per modificare l’output di Stable Diffusion a DeepFloyd IF.

Domande di ricerca accademiche includono:

  • Esplorazione del ruolo della preaddestramento per l’apprendimento per trasferimento.
  • Miglioramento del controllo del modello sulla generazione di immagini.
  • Estensione delle capacità del modello oltre la sintesi testo-immagine integrando più modalità.
  • Valutazione dell’interpretabilità del modello per migliorare la comprensione delle caratteristiche visive delle immagini generate.

Domande di ricerca etiche includono:

  • Identificazione e mitigazione dei pregiudizi in DeepFloyd IF.
  • Valutazione dell’impatto del modello sui social media e la generazione di contenuti.
  • Sviluppo di un rilevatore di immagini false efficace che utilizza il modello.

Per accedere ai pesi del modello, gli utenti devono accettare la licenza su Hugging Face space di DeepFloyd. Per ulteriori informazioni, è possibile visitare il sito web del modello, il repository GitHub, la demo Gradio o unirsi alle discussioni pubbliche attraverso Linktree di DeepFloyd.

Alex dirige le operazioni di notizie alimentate dall'IA di Unite.AI, combinando giornalismo, ricerca e automazione per supportare una copertura tempestiva e scalabile dell'intelligenza artificiale. Il suo lavoro contribuisce a garantire che gli sviluppi emergenti dell'IA vengano evidenziati in modo efficiente, mantenendo gli standard editoriali della pubblicazione.