AI-modellen en platforms

Stability AI brengt tekst-naar-afbeeldingmodel DeepFloyd IF uit

Alex McFarland
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenDeepFloyd IF genereert coherente tekst in afbeeldingen met behulp van de…
Meer weergeven
  • DeepFloyd IF genereert coherente tekst in afbeeldingen met behulp van de T5-XXL-1.1-tekstencoder.
  • Het model behaalt een zero-shot FID-score van 6,66 op de COCO-dataset.
  • Stability AI heeft DeepFloyd IF aanvankelijk uitgebracht onder een niet-commerciële onderzoekslicentie.

Stability AI en hun multimodale AI-onderzoekslab, DeepFloyd, hebben de onderzoeksrelease aangekondigd van DeepFloyd IF, een baanbrekend tekst-naar-afbeeldingcascaded pixel diffusiemodel. Het model wordt initieel uitgebracht onder een niet-commerciële, onderzoekspermissieve licentie, maar een open-source release is gepland voor de toekomst.

DeepFloyd IF heeft verschillende opmerkelijke functies, waaronder:

  1. Diep begrip van tekstprompts: Het model gebruikt T5-XXL-1.1 als tekstencoder, met talrijke tekst-afbeeldingscross-attentionlagen, waardoor een betere afstemming tussen prompts en afbeeldingen wordt gegarandeerd.
  2. Coherente en duidelijke tekst naast gegenereerde afbeeldingen: DeepFloyd IF kan afbeeldingen genereren met objecten met verschillende eigenschappen en ruimtelijke relaties.
  3. Hoge mate van photorealisme: Het model heeft een indrukwekkende zero-shot FID-score van 6.66 op de COCO-dataset behaald.
  4. Aspectverhoudingswijziging: Het model kan afbeeldingen genereren met niet-standaardaspectverhoudingen, waaronder verticaal, horizontaal en de standaard vierkante aspectverhouding.
  5. Zero-shot afbeelding-naar-afbeeldingvertalingen: Het model kan de stijl, patronen en details van een afbeelding wijzigen, terwijl het de basisvorm behoudt.

Hieronder volgen enkele voorbeeldconcepten die zijn gemaakt met DeepFloyd IF:

DeepFloyd IF’s modulaire, cascaded, pixel diffusieontwerp bestaat uit verschillende neurale modules die synergistisch samenwerken. Het model werkt in pixelspace, waarbij het hoge resolutiegegevens op een kaskadegewijze manier verwerkt met individueel getrainde modellen op verschillende resoluties. Dit omvat een basismodel dat lage resolutievoorbeelden genereert en opeenvolgende superresolutiemodellen die hoge resolutieafbeeldingen produceren.

Het model is getraind op een aangepaste hoge kwaliteit LAION-A-dataset met 1 miljard (afbeelding, tekst)paren, een subset van het Engelse deel van de LAION-5B-dataset. DeepFloyd’s aangepaste filters zijn gebruikt om afbeeldingen met watermerken, NSFW-inhoud en andere ongepaste inhoud te verwijderen.

DeepFloyd IF’s proces

Initieel wordt DeepFloyd IF uitgebracht onder een onderzoekslicentie. De onderzoekers beogen de ontwikkeling van nieuwe toepassingen te stimuleren in domeinen zoals kunst, ontwerp, verhalen vertellen, virtuele realiteit en toegankelijkheid. Om potentieel onderzoek te inspireren, hebben ze verschillende technische, academische en ethische onderzoeksvoorstellen gedaan.

Technische onderzoeksvoorstellen omvatten:

  • Optimaliseren van het IF-model om de prestaties, schaalbaarheid en efficiëntie te verbeteren.
  • Verbeteren van de uitvoerkwaliteit door het verfijnen van sampling, guiding of fine-tuning van het model.
  • Toepassen van technieken die worden gebruikt om Stable Diffusion-uitvoer te wijzigen op DeepFloyd IF.

Academische onderzoeksvoorstellen omvatten:

  • Onderzoeken van de rol van pre-training voor transfer learning.
  • Verbeteren van de controle van het model over afbeeldingengeneratie.
  • Uitbreiden van de mogelijkheden van het model tot meer dan tekst-naar-afbeeldingsynthese door meerdere modaliteiten te integreren.
  • Beoordelen van de interpreteerbaarheid van het model om de visuele kenmerken van gegenereerde afbeeldingen beter te begrijpen.

Ethische onderzoeksvoorstellen omvatten:

  • Identificeren en mitigeren van vooroordelen in DeepFloyd IF.
  • Beoordelen van de impact van het model op sociale media en inhoudsgeneratie.
  • Ontwikkelen van een effectieve detector voor vervalste afbeeldingen die het model gebruikt.

Om toegang te krijgen tot de gewichten van het model, moeten gebruikers de licentie accepteren op DeepFloyd’s Hugging Face-ruimte. Voor meer informatie kunt u de website van het model bezoeken, GitHub-repository, Gradio-demo, of deelnemen aan openbare discussies via DeepFloyd’s Linktree.

Alex leidt de AI-gedreven nieuwsoperaties van Unite.AI, waarbij journalistiek, onderzoek en automatisering worden gecombineerd om tijdige en schaalbare berichtgeving over kunstmatige intelligentie te ondersteunen. Zijn werk helpt ervoor te zorgen dat opkomende AI-ontwikkelingen efficiënt naar voren worden gebracht, terwijl de redactionele normen van de publicatie worden gehandhaafd.