Stability AI brengt tekst-naar-afbeeldingmodel DeepFloyd IF uit

Stability AI en hun multimodale AI-onderzoekslab, DeepFloyd, hebben de onderzoeksrelease aangekondigd van DeepFloyd IF, een baanbrekend tekst-naar-afbeeldingcascaded pixel diffusiemodel. Het model wordt initieel uitgebracht onder een niet-commerciële, onderzoekspermissieve licentie, maar een open-source release is gepland voor de toekomst.

DeepFloyd IF heeft verschillende opmerkelijke functies, waaronder:

1. Diepe tekstpromptbegrip: Het model gebruikt T5-XXL-1.1 als tekstencoder, met talrijke tekst-afbeeldingscross-attentionlagen, waardoor een betere afstemming tussen prompts en afbeeldingen wordt gegarandeerd.
2. Coherente en duidelijke tekst naast gegenereerde afbeeldingen: DeepFloyd IF kan afbeeldingen genereren met objecten met verschillende eigenschappen en ruimtelijke relaties.
3. Hoge mate van photorealisme: Het model heeft een indrukwekkende zero-shot FID-score van 6.66 op de COCO-dataset behaald.
4. Aspectverhoudingswijziging: Het model kan afbeeldingen genereren met niet-standaardaspectverhoudingen, waaronder verticaal, horizontaal en de standaard vierkante aspectverhouding.
5. Zero-shot afbeelding-naar-afbeeldingvertalingen: Het model kan de stijl, patronen en details van een afbeelding wijzigen, terwijl het de basisvorm behoudt.

Hieronder volgen enkele voorbeeldconcepten die zijn gemaakt met DeepFloyd IF:

DeepFloyd IF’s modulaire, cascaded, pixel diffusieontwerp bestaat uit verschillende neurale modules die synergistisch samenwerken. Het model werkt in pixelspace, waarbij het hoge resolutiegegevens in een cascadinge manier verwerkt met individueel getrainde modellen op verschillende resoluties. Dit omvat een basismodel dat lage resolutievoorbeelden genereert en opeenvolgende superresolutiemodellen die hoge resolutieafbeeldingen produceren.

Het model is getraind op een aangepaste hoge kwaliteit LAION-A-dataset met 1 miljard (afbeelding, tekst)paren, een subset van de Engelse deel van de LAION-5B-dataset. DeepFloyd’s aangepaste filters zijn gebruikt om watermerken, NSFW en andere ongepaste inhoud te verwijderen.

DeepFloyd IF’s proces

Initieel wordt DeepFloyd IF uitgebracht onder een onderzoekslicentie. De onderzoekers beogen de ontwikkeling van nieuwe toepassingen te stimuleren in domeinen zoals kunst, ontwerp, verhalen vertellen, virtuele realiteit en toegankelijkheid. Om potentieel onderzoek te inspireren, hebben ze verschillende technische, academische en ethische onderzoeksvoorstellen gedaan.

Technische onderzoeksvoorstellen omvatten:

• Optimaliseren van het IF-model om de prestaties, schaalbaarheid en efficiëntie te verbeteren.
• Verbeteren van de uitvoerkwaliteit door het verfijnen van sampling, guiding of fine-tuning van het model.
• Toepassen van technieken die worden gebruikt om Stable Diffusion-uitvoer te wijzigen op DeepFloyd IF.

Academische onderzoeksvoorstellen omvatten:

• Onderzoeken van de rol van pre-training voor transfer learning.
• Verbeteren van de controle van het model over afbeeldingengeneratie.
• Uitbreiden van de mogelijkheden van het model tot meer dan tekst-naar-afbeeldingsynthese door meerdere modaliteiten te integreren.
• Beoordelen van de interpretatie van het model om de visuele kenmerken van gegenereerde afbeeldingen beter te begrijpen.

Ethische onderzoeksvoorstellen omvatten:

• Identificeren en mitigeren van vooroordelen in DeepFloyd IF.
• Beoordelen van de impact van het model op sociale media en inhoudsgeneratie.
• Ontwikkelen van een effectieve valse afbeeldingsdetector die het model gebruikt.

Om toegang te krijgen tot de gewichten van het model, moeten gebruikers de licentie accepteren op DeepFloyd’s Hugging Face-ruimte. Voor meer informatie kunt u de website van het model bezoeken, GitHub-repository, Gradio-demo, of deelnemen aan openbare discussies via DeepFloyd’s Linktree.