Modely a platformy AI

Stability AI vydává text-to-image model DeepFloyd IF

Alex McFarland
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyDeepFloyd IF generuje souvislý text v obrazech pomocí textového kodéru T5-XXL-1.1.
Zobrazit více
  • DeepFloyd IF generuje souvislý text v obrazech pomocí textového kodéru T5-XXL-1.1.
  • Model dosahuje skóre FID 6,66 v režimu zero-shot na datové sadě COCO.
  • Stability AI vydala DeepFloyd IF zpočátku pod nekomerční výzkumnou licencí.

Stability AI a její multimodální laboratoř pro výzkum umělé inteligence DeepFloyd oznámily výzkumné vydání modelu DeepFloyd IF, který je špičkovým text-to-image kaskádovým modelem difuze pixelů. Model je zpočátku vydán pod nekomerční, výzkumnou licencí, ale je plánováno i vydání s otevřeným zdrojovým kódem v budoucnu.

Model DeepFloyd IF nabízí několik pozoruhodných funkcí, včetně:

  1. Hluboké porozumění textovým promptům: Model používá T5-XXL-1.1 jako textový encoder, s mnoha vrstvami křížové pozornosti mezi textem a obrazem, což zajišťuje lepší zarovnání mezi prompty a obrázky.
  2. Koherentní a jasný text spolu s generovanými obrázky: DeepFloyd IF může generovat obrázky obsahující objekty s různými vlastnostmi a prostorovými vztahy.
  3. Vysoký stupeň fotorealističnosti: Model dosáhl působivého zero-shot skóre FID 6,66 na datasetu COCO.
  4. Změna poměru stran: Model může generovat obrázky s nestandardními poměry stran, včetně vertikálních, horizontálních a standardních čtvercových poměrů.
  5. Zero-shot převod obrázku na obrázek: Model může měnit styl, vzory a detaily obrázku, zatímco zachovává jeho základní formu.

Níže jsou některé ukázkové koncepty vytvořené modelem DeepFloyd IF:

Modulární kaskádový návrh s difuzí v pixelovém prostoru modelu DeepFloyd IF se skládá z několika neuronových modulů, které interagují synergicky. Model pracuje v pixelovém prostoru, zpracovává vysokorozlišovací data kaskádovitým způsobem pomocí samostatně trénovaných modelů na různých rozlišeních. To zahrnuje základní model, který generuje nízko-rozlišovací vzorky, a následné super-rozlišovací modely, které produkují vysokorozlišovací obrázky.

Model byl trénován na vlastním vysoce kvalitním datasetu LAION-A, který obsahuje 1 miliardu párů (obrázek, text), což je podmnožina anglické části datasetu LAION-5B. Byly použity filtry DeepFloyd k odstranění obsahu s vodoznaky, obsahu nevhodného pro pracovní prostředí (NSFW) a dalšího nevhodného obsahu.

Proces DeepFloyd IF

Počátečně je model DeepFloyd IF vydán pod výzkumnou licencí. Cílem výzkumníků je povzbudit vývoj nových aplikací napříč doménami, jako je umění, design, vyprávění příběhů, virtuální realita a přístupnost. K inspiraci potenciálního výzkumu navrhli několik technických, akademických a etických výzkumných otázek.

Technické výzkumné otázky zahrnují:

  • Optimalizace modelu IF pro zlepšení výkonu, škálovatelnosti a efektivity.
  • Zlepšení kvality výstupu pomocí zdokonalování vzorkování, vedení nebo jemného ladění modelu.
  • Použití technik používaných k modifikaci výstupu Stable Diffusion na model DeepFloyd IF.

Akademické výzkumné otázky zahrnují:

  • Prozkoumání role předtrénování pro přenosové učení.
  • Zlepšení kontroly modelu nad generováním obrázků.
  • Rozšíření schopností modelu za hranice syntézy obrazu z textu integrací více modalit.
  • Posouzení interpretovatelnosti modelu pro zlepšení porozumění vizuálním vlastnostem generovaných obrázků.

Etické výzkumné otázky zahrnují:

  • Identifikace a zmírnění zkreslení v modelu DeepFloyd IF.
  • Posouzení dopadu modelu na sociální média a generování obsahu.
  • Vývoj účinného detektoru falešných obrázků, který využívá model.

Pro přístup k váhám modelu musí uživatelé přijmout licenci v prostoru DeepFloyd na Hugging Face. Pro více informací můžete navštívit webové stránky modelu, GitHub repozitář, Gradio demo, nebo se připojit k veřejným diskuzím prostřednictvím Linktree.

Alex vede AI‑poháněné zpravodajské operace společnosti Unite.AI, spojuje žurnalistiku, výzkum a automatizaci, aby podpořil včasné a škálovatelné pokrytí umělé inteligence. Jeho práce pomáhá zajistit, aby byly nové události v oblasti AI efektivně prezentovány a zároveň byly zachovány redakční standardy publikace.