AI-mallit ja alustat
Stability AI julkaisee tekstiä kuviksi muuntavan DeepFloyd IF -mallin

Keskeiset kohdatDeepFloyd IF tuottaa koherenttia tekstiä kuvien sisällä käyttämällä…
Näytä lisää
- DeepFloyd IF tuottaa koherenttia tekstiä kuvien sisällä käyttämällä T5-XXL-1.1-tekstikooderia.
- Malli saavuttaa nollanäytteen FID-pistemäärän 6,66 COCO-tietoaineistossa.
- Stability AI julkaisi DeepFloyd IF:n alun perin ei-kaupallisella tutkimuslisenssillä.
Stability AI ja sen multimodaalinen AI-tutkimuslaboratorio DeepFloyd ovat ilmoittaneet DeepFloyd IF:n tutkimusjulkaisusta, joka on uraauurtava teksti-kuvaksi-kaskadinen pikselien diffuusiomalli. Malli on aluksi julkaistu ei-kaupallisella, tutkimuskäytön sallivalla lisenssillä, mutta avoimen lähdekoodin julkaisu on suunnitteilla tulevaisuudessa.
DeepFloyd IF:llä on useita merkittäviä ominaisuuksia, mukaan lukien:
- Syvä tekstipromptin ymmärtäminen: Malli käyttää T5-XXL-1.1:ää tekstienkooderina, jossa on useita tekstin ja kuvan välisiä ristiinhuomiokerroksia, jolloin kehotteet ja kuvat ovat paremmin linjassa.
- Johdonmukainen ja selkeä teksti yhdessä tuotettujen kuvien kanssa: DeepFloyd IF voi generoida kuvia, joissa on objekteja, joilla on erilaisia ominaisuuksia ja spatiaalisia suhteita.
- Korkea aste valokuvamaisuutta: Malli on saavuttanut vaikuttavan zero-shot-arvioinnissa FID-lukeman 6,66 COCO-aineistolla.
- Aspektisuhteen muutos: Malli voi generoida kuvia, joilla on epästandardit aspektisuhteet, mukaan lukien pysty-, vaaka- ja tavallinen neliömuotoinen kuvasuhde.
- Kuvasta kuvaksi -muunnokset zero-shot-menetelmällä: Malli voi muuttaa kuvan tyyliä, kuviota ja yksityiskohtia säilyttäen sen perusrakenteen.
Tässä ovat joitakin esimerkkiideoita, jotka on luotu DeepFloyd IF:llä:




DeepFloyd IF:n modulaarinen, kaskadinen, pikselien diffuusiomalli koostuu useista neuronaalisista moduuleista, jotka toimivat synergistisesti. Malli toimii pikselien avaruudessa, prosessoiden korkean resoluution dataa vaiheittaisena ketjuna käyttäen eri resoluutioille koulutettuja malleja. Tämä käsittää perusmallin, joka generoi matalan resoluution näytteitä, ja peräkkäisiä super-resoluution malleja, jotka tuottavat korkean resoluution kuvia.
Malli on koulutettu omalla korkealaatuisella LAION-A-tietokannalla, joka sisältää 1 miljardi (kuva, teksti) -paria, osan englanninkielisestä LAION-5B-tietokannasta. DeepFloydin omia suodattimia on käytetty poistamaan vesileimalliset, NSFW- ja muut sopimattomat sisällöt.

DeepFloyd IF:n prosessi
Aluksi DeepFloyd IF on julkaistu tutkimuslisenssillä. Tutkijat pyrkivät kannustamaan uusien sovellusten kehittämistä eri aloilla, kuten taiteessa, suunnittelussa, tarinankerronnassa, virtuaalitodellisuudessa ja saavutettavuudessa. Mahdollisen tutkimuksen innoittamiseksi he ovat ehdottaneet useita teknisiä, akateemisia ja eettisiä tutkimuskysymyksiä.
Teknisiä tutkimuskysymyksiä ovat:
- IF-mallin optimointi suorituskyvyn, skaalautuvuuden ja tehokkuuden parantamiseksi.
- Tulosten laadun parantaminen näytteenottoa, ohjausta tai mallin hienosäätöä kehittämällä.
- Stable Diffusion -mallin tulosten muokkaamistekniikoiden soveltaminen DeepFloyd IF:ään.
Akateemisia tutkimuskysymyksiä ovat:
- Esikoulutuksen roolin tutkiminen siirto-oppimisessa.
- Mallin kontrollin parantaminen kuvien generoimisessa.
- Mallin kykyjen laajentaminen teksti-kuvan synteesin ulkopuolelle useita modaliteetteja yhdistämällä.
- Mallin tulkittavuuden arviointi tuotettujen kuvien visuaalisten ominaisuuksien ymmärtämiseksi.
Eettisiä tutkimuskysymyksiä ovat:
- DeepFloyd IF:n vinoumien tunnistaminen ja vähentäminen.
- Mallin vaikutuksen arviointi sosiaalisen median ja sisällön generoimiseen.
- Mallia hyödyntävän tehokkaan väärennettyjen kuvien tunnistimen kehittäminen.
Mallin painojen käyttämiseksi käyttäjien on hyväksyttävä lisenssi DeepFloydin Hugging Face -tilassa. Lisätietoja saat mallin verkkosivustolta, GitHub-arkistosta tai Gradio-demosta. Voit myös liittyä julkisiin keskusteluihin DeepFloydin Linktreen kautta.












