Modele și platforme AI

Stability AI lansează modelul text-la-imagine DeepFloyd IF

Alex McFarland
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieDeepFloyd IF generează text coerent în imagini folosind codificatorul de text…
Vezi mai mult
  • DeepFloyd IF generează text coerent în imagini folosind codificatorul de text T5-XXL-1.1.
  • Modelul obține un scor FID zero-shot de 6,66 pe setul de date COCO.
  • Stability AI a lansat DeepFloyd IF inițial sub o licență de cercetare necomercială.

Stability AI și laboratorul său de cercetare multimodală AI, DeepFloyd, au anunțat lansarea pentru cercetare a modelului DeepFloyd IF, un model de difuzie în cascadă la nivel de pixeli, de la text la imagine de ultimă generație. Modelul este lansat inițial sub o licență non-comercială, permisivă pentru cercetare, dar o lansare open-source este planificată pentru viitor.

DeepFloyd IF are câteva caracteristici remarcabile, inclusiv:

  1. Înțelegerea profundă a textului prompt: Modelul utilizează T5-XXL-1.1 ca encoder de text, cu numeroase straturi de atenție încrucișată între text și imagine, asigurând o mai bună aliniere între prompturi și imagini.
  2. Text coerent și clar alături de imagini generate: DeepFloyd IF poate genera imagini care conțin obiecte cu proprietăți și relații spațiale variate.
  3. Grad ridicat de fotorealism: Modelul a obținut un scor FID zero-shot impresionant de 6,66 pe setul de date COCO.
  4. Schimbarea raportului de aspect: Modelul poate genera imagini cu rapoarte de aspect ne-standard, inclusiv verticale, orizontale și pătrate standard.
  5. Transformări imagine-la-imagine zero-shot: Modelul poate modifica stilul, tiparele și detaliile unei imagini, păstrând forma sa de bază.

Mai jos sunt câteva exemple de concepte create de DeepFloyd IF:

Arhitectura modulară de difuzie în cascadă la nivel de pixeli a lui DeepFloyd IF constă în mai multe module neurale care interacționează sinergic. Modelul funcționează în spațiul pixelilor, procesând date de înaltă rezoluție în cascadă, utilizând modele individuale antrenate la diferite rezoluții. Acesta implică un model de bază care generează mostre de joasă rezoluție și modele succesive de super-rezoluție care produc imagini de înaltă rezoluție.

Modelul a fost antrenat pe un set de date LAION-A personalizat, de înaltă calitate, conținând 1 miliard de perechi (imagine, text), un subset al părții engleze a setului de date LAION-5B. Filtrele personalizate DeepFloyd au fost utilizate pentru a înlătura conținutul cu filigran, NSFW și alte conținuturi inadecvate.

Procesul DeepFloyd IF

Inițial, DeepFloyd IF este lansat sub o licență de cercetare. Cercetătorii își propun să încurajeze dezvoltarea de aplicații noi în domenii precum arta, designul, povestirile, realitatea virtuală și accesibilitatea. Pentru a inspira cercetarea potențială, ei au propus câteva întrebări tehnice, academice și etice de cercetare.

Întrebări tehnice de cercetare includ:

  • Optimizarea modelului IF pentru a îmbunătăți performanța, scalabilitatea și eficiența.
  • Îmbunătățirea calității ieșirii prin rafinarea eșantionării, ghidării sau ajustării fine a modelului.
  • Aplicarea la DeepFloyd IF a tehnicilor utilizate pentru modificarea rezultatelor Stable Diffusion.

Întrebări academice de cercetare includ:

  • Explorarea rolului pre-antrenării pentru învățarea prin transfer.
  • Îmbunătățirea controlului modelului asupra generării de imagini.
  • Extinderea capacităților modelului dincolo de sinteza text-la-imagine prin integrarea mai multor modalități.
  • Evaluarea interpretabilității modelului pentru a îmbunătăți înțelegerea caracteristicilor vizuale ale imaginilor generate.

Întrebări etice de cercetare includ:

  • Identificarea și reducerea părtinirilor în DeepFloyd IF.
  • Evaluarea impactului modelului asupra rețelelor sociale și generării de conținut.
  • Dezvoltarea unui detector eficient de imagini false care utilizează modelul.

Pentru a accesa ponderile modelului, utilizatorii trebuie să accepte licența în spațiul Hugging Face al lui DeepFloyd. Pentru mai multe informații, puteți vizita site-ul web al modelului, depozitul GitHub, demonstrația Gradio sau vă alăturați discuțiilor publice prin Linktree al lui DeepFloyd.

Alex conduce operațiunile de știri alimentate de AI ale Unite.AI, combinând jurnalismul, cercetarea și automatizarea pentru a susține o acoperire rapidă și scalabilă a inteligenței artificiale. Munca sa ajută la asigurarea că dezvoltările emergente ale AI sunt aduse la lumină eficient, menținând standardele editoriale ale publicației.