AI-modeller og plattformer
Stability AI lanserer tekst-til-bilde-modellen DeepFloyd IF

Viktige punkterDeepFloyd IF genererer sammenhengende tekst i bilder ved å bruke T5-XXL-1.1 tekstkoder.
Vis mer
- DeepFloyd IF genererer sammenhengende tekst i bilder ved å bruke T5-XXL-1.1 tekstkoder.
- Modellen oppnår en zero-shot FID-score på 6.66 på COCO-datasettet.
- Stability AI ga ut DeepFloyd IF under en ikke-kommersiell forskningslisens i utgangspunktet.
Stability AI og deres multimodale AI-forskningslab, DeepFloyd, har annonsert forskningslanseringen av DeepFloyd IF, en banebrytende tekst-til-bilde-kaskadisk piksel-diffusjonsmodell. Modellen er initialt lansert under en ikke-kommersiell, forsknings-tillatt lisens, men en åpen kildekode-lansering er planlagt for fremtiden.
DeepFloyd IF har flere bemerkelsesverdige funksjoner, inkludert:
- Dyp tekst-prompt-forståelse: Modellen bruker T5-XXL-1.1 som tekst-encoder, med mange lag med kryssoppmerksomhet mellom tekst og bilde, som sikrer bedre sammenstilling mellom prompter og bilder.
- Sammenhengende og tydelig tekst sammen med genererte bilder: DeepFloyd IF kan generere bilder som inneholder objekter med varierende egenskaper og romlige relasjoner.
- Høy grad av fotorealisme: Modellen har oppnådd et imponerende FID-resultat i zero-shot-evaluering på 6,66 på COCO-datasettet.
- Aspektforholdsskift: Modellen kan generere bilder med ikke-standard aspektforhold, inkludert vertikale, horisontale og standard kvadratisk aspektforhold.
- Bilde-til-bilde-transformasjoner med zero-shot: Modellen kan modifisere et bildes stil, mønster og detaljer samtidig som den beholder sin grunnleggende form.
Under er noen eksempelkonsepter skapt av DeepFloyd IF:




DeepFloyd IFs modulære, kaskadiske, piksel-diffusjonsdesign består av flere nevrale moduler som samarbeider synergisk. Modellen fungerer i piksel-rom, og prosesserer høyoppløselig data på en kaskadisk måte ved hjelp av individuelt trente modeller på forskjellige oppløsninger. Dette inkluderer en basismodell som genererer lavoppløselige prøver og påfølgende superoppløselige modeller som produserer høyoppløselige bilder.
Modellen ble trent på et eget høykvalitets LAION-A-datasett som inneholder 1 milliard (bilde, tekst)-par, en undergruppe av den engelske delen av LAION-5B-datasettet. DeepFloyds egne filtre ble brukt til å fjerne vannmerket innhold, innhold som er upassende på arbeidsplassen (NSFW), og annet upassende innhold.

DeepFloyd IFs prosess
Initialt er DeepFloyd IF lansert under en forskningslisens. Forskerne har som mål å oppmuntre til utvikling av nye anvendelser over domener som kunst, design, fortelling, virtuell virkelighet og tilgjengelighet. For å inspirere potensiell forskning, har de foreslått flere tekniske, akademiske og etiske forskningsspørsmål.
Tekniske forskningsspørsmål inkluderer:
- Optimere IF-modellen for å forbedre ytelse, skalerbarhet og effektivitet.
- Forbedre utgangskvaliteten ved å forbedre prøvetaking, styring eller finjustering av modellen.
- Bruke teknikker som brukes til å modifisere Stable Diffusion-utgang til DeepFloyd IF.
Akademiske forskningsspørsmål inkluderer:
- Undersøke rollen til pre-trening for overføringslæring.
- Forbedre modellens kontroll over bilde-generering.
- Utvide modellens evner utover tekst-til-bilde-syntese ved å integrere flere modaliteter.
- Vurdere modellens tolkbarhet for å forbedre forståelsen av genererte bilders visuelle egenskaper.
Etiske forskningsspørsmål inkluderer:
- Identifisere og redusere skjevheter i DeepFloyd IF.
- Vurdere modellens innvirkning på sosiale medier og innholdsgenerering.
- Utvikle en effektiv detektor for falske bilder som utnytter modellen.
For å få tilgang til modellens vekter, må brukerne godta lisensen på DeepFloyds Hugging Face-rom. For mer informasjon, kan du besøke modellens nettsted, GitHub-repositoriet, Gradio-demonstrasjonen, eller delta i offentlige diskusjoner gjennom DeepFloyds Linktree.












