Black Forest Labsin Flux: Seuraava askel teksti-kuvamuodostusmalleissa. Onko se parempi kuin Midjourney?

Black Forest Labs, joukkue joka on kehittänyt uraauurtavan Stable Diffusion -mallin, on julkaissut Flux -sarjan, joka lupailee määritellä uudelleen AI-kuvien luomisen mahdollisuudet. Mutta edustaa Flux todella askelta eteenpäin tässä alalla, ja miten se vertautuu alan johtajiin, kuten Midjourney? Puhkaistuun maailmaan Flux ja tutkimaan sen potentiaalia muokata tulevaisuutta AI-kuvissa ja medioissa.

Black Forest Labsin Synty

Black Forest Labs ei ole vain toinen AI-yritys; se on kykyjen voimakas ryhmä, jolla on perustavanlaatuisten generatiivisten AI-mallien kehittämisen historia. Joukkueeseen kuuluvat VQGAN, Latent Diffusion ja Stable Diffusion -malliperheen luojat, jotka ovat saaneet AI-taide maailman myrskyn.

Black Forest Labs Open-Source FLUX.1

Menestyksekkään sarja A -rahoituksen 31 miljoonan dollarin kierroksen jälkeen, jota johti Andreessen Horowitz ja tukena merkittävät enkeli-sijoittajat, Black Forest Labs on asettanut itsensä generatiivisen AI-tutkimuksen eturintamaan. Heidän tehtävänsä on selkeä: kehittää ja edistää valmiuksia generatiivisille syvälleoppimismalleille, kuten kuvat ja videot, ja työntää luovuuden, tehokkuuden ja monimuotoisuuden rajoja.

Flux-malliperheen Esittely

Black Forest Labs on esitellyt FLUX.1 -teksti-kuvamalli sarjan, joka on suunniteltu asettamaan uudet mittapuut kuvan yksityiskohtaisuudelle, ohjelmointivasteelle, tyylin monimuotoisuudelle ja kohtauksen monimuotoisuudelle. Flux-perhe koostuu kolmesta variantista, joista jokainen on suunniteltu eri käyttötarkoituksiin ja saatavuustasoihin:

1. FLUX.1 [pro]: Lippulaivamalli, joka tarjoaa huipputason suorituskyvyn kuvien luomisessa, jossa on erinomainen ohjelmointivaste, visuaalinen laatu, kuvan yksityiskohtaisuus ja lähtömonimuotoisuus. Se on saatavilla API:n kautta, ja se on suunniteltu ammattimaiseen ja yritysten käyttöön.
2. FLUX.1 [dev]: Avoin paino, johdettu malli ei-kaupallisiin sovelluksiin. Se on suunniteltu saavuttamaan samanlaista laatua ja ohjelmointivaste kykyjä kuin Pro-versio, mutta se on tehokkaampi.
3. FLUX.1 [schnell]: Nopein malli sarjassa, joka on optimoitu paikalliseen kehitykseen ja henkilökohtaiseen käyttöön. Se on avoimesti saatavilla Apache 2.0 -lisenssin alla, mikä tekee siitä saatavilla laajalle valikoimalle sovelluksia ja kokeiluja.

Tarjoan joitakin yksilöllisiä ja luovia ohjelmointiesimerkkejä, jotka korostavat FLUX.1: n kykyjä. Nämä ohjelmointiesimerkit korostavat mallin vahvuuksia teksti-renderöinnissä, monimutkaisissa kohtauksissa ja yksityiskohtaisissa esineissä, kuten käsissä.

• Taiteellinen tyyli yhdistäminen tekstin kanssa: “Luo muotokuva Vincent van Goghista hänen tyylissään, mutta korvaa hänen partansa kiertelevillä siveltimillä, jotka muodostavat sanat ‘Starry Night’ käsialalla.”

Black Forest Labs Open-Source FLUX.1

• Dynaaminen toimintakohtaus tekstin integroinnilla: “Supersankari rikkoo sarjakuvasivun läpi. Toimintalinjat ja äänitehosteet muodostavat sankarin nimen ‘FLUX FORCE’ boldeilla, dynaamisilla kirjaimilla.”

Black Forest Labs Open-Source FLUX.1

• Surrealistinen konsepti tarkalla esineen sijoittelulla: “Lähikuva söpöstä kissasta ruskeilla ja valkoisilla väreillä ikkunanvalossa. Terävä fokus silmän tekstuurissa ja värissä. Luonnollinen valaistus, jotta voidaan vangita aidon silmänkiillon ja syvyyden.”

Black Forest Labs Open-Source FLUX.1

Nämä ohjelmointiesimerkit on suunniteltu haastamaan FLUX.1: n kykyjä teksti-renderöinnissä, monimutkaisissa kohtauksissa ja yksityiskohtaisissa esineissä, samalla korostamalla sen potentiaalia luovassa ja ainutlaatuisessa kuvien luomisessa.

Teknisiä innovaatioita Fluxin takana

Fluxin vaikuttavien kykyjen ydin on sarja teknisiä innovaatioita, jotka erottavat sen edeltäjistään ja samanaikaisista:

Transformer-pohjaiset Flow-mallit suurissa mittakaavoissa

Kaikki julkiset FLUX.1 -mallit perustuvat hybridirakenteeseen, joka yhdistää multimodaalisia ja rinnakkaisia difuusiopohjaisia transformer-lohkia, mittakaavassa 12 miljardia parametreja. Tämä edustaa merkittävää loikkaa mallin koossa ja monimuotoisuudessa verrattuna moniin olemassa oleviin teksti-kuvamalleihin.

Flux-mallit parantavat edellisiä valmiuksia difuusiomalleja ottamalla käyttöön virtaussovittaminen, yleinen ja käsitteellisesti yksinkertainen menetelmä generatiivisten mallien koulutukseen. Virtaussovittaminen tarjoaa joustavan kehyksen generatiiviselle mallinnukselle, difuusiomallit ovat erikoistapaus tässä laajemmassa lähestymistavassa.

Mallin suorituskyvyn ja laitteiston tehokkuuden parantamiseksi Black Forest Labs on integroinut rotaatiopositiiviset upotukset ja rinnakkaiset huomioalgoritmit. Nämä tekniikat mahdollistavat paremman spatiaalisten suhteiden käsittelyn kuvissa ja suurempien tietojoukkojen tehokkaamman prosessoinnin.

Rakenteelliset innovaatiot

Tutkitaan joitakin avainrakenteellisia elementtejä, jotka vaikuttavat Fluxin suorituskykyyn:

1. Hybridirakenne: Yhdistämällä multimodaalisia ja rinnakkaisia difuusiopohjaisia transformer-lohkia, Flux voi prosessoida sekä tekstuaalista että visuaalista tietoa, johtaen parempaan ohjelmointivasteeseen ja luotettavuuteen.
2. Virtaussovittaminen: Tämä lähestymistapa mahdollistaa joustavamman ja tehokkaamman generatiivisten mallien koulutuksen. Se tarjoaa yhdenmukaisen kehyksen, joka kattaa difuusiomallit ja muut generatiiviset tekniikat, johtaen mahdollisesti robustimpaan ja monipuolisempaan kuvien luomiseen.
3. Rotaatiopositiiviset upotukset: Nämä upotukset auttavat mallia ymmärtämään ja ylläpitämään spatiaalisia suhteita kuvissa, mikä on olennainen kuvien luomiselle.
4. Rinnakkaiset huomioalgoritmit: Tämä tekniikka mahdollistaa huomioalgoritmien tehokkaamman prosessoinnin, jotka ovat kriittisiä teksti-ohjelmointien ja luotettavien kuvien ymmärtämisessä.
5. 12 miljardin parametrin mittakaava: Mallin valtava koko mahdollistaa monimutkaisempien kuvien luomisen ja yksityiskohtaisempien suhteiden ymmärtämisen.

Fluxin vertailu: Uusi standardi kuvien luomisessa

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs väittää, että FLUX.1 asettaa uudet standardit kuvien luomisessa, jossa se ylittää suositut mallit, kuten Midjourney v6.0, DALL·E 3 (HD) ja SD3-Ultra useissa avainalueissa:

1. Visuaalinen laatu: Flux pyrkii tuottamaan kuvia, joilla on korkeampi uskottavuus, realistisemmat yksityiskohdat ja parempi yleinen esteettinen viehätys.
2. Ohjelmointivaste: Malli on suunniteltu seuraamaan annettuja teksti-ohjelmointeja tarkemmin, luoden kuvia, jotka heijastavat käyttäjän aikomuksia tarkemmin, erityisesti monimutkaisissa tai hienovaraisissa pyynnöissä.
3. Koko ja kuvasuhde: Flux tukee laajaa valikoimaa kuvasuhteita ja resoluutioita, 0,1:stä 2,0 megapikseliin, tarjoten joustavuutta eri käyttötarkoituksiin.
4. Typografia: Malli osoittaa parannettuja kykyjä tekstien luomisessa ja renderöinnissä kuvissa, yleinen haaste monille teksti-kuvamalleille.
5. Lähtömonimuotoisuus: Flux on erityisesti hienosäädetty säilyttämään koko lähtömonimuotoisuuden esikoulutuksesta, tarjoten laajemman valikoiman luovia mahdollisuuksia.

Flux vs. Midjourney: Vertailuanalyysi

https://blackforestlabs.ai/announcing-black-forest-labs/

Nyt, käsitellään palavaa kysymystä: Onko Flux parempi kuin Midjourney? Vastataksesi tähän, on tarkasteltava useita tekijöitä:

Kuvan laatu ja esteettisyys

Molemmat Flux ja Midjourney ovat tunnettuja korkealaatuisista, visuaalisesti upeista kuvista. Midjourney on saanut kehuja taiteellisesta tyylistään ja kyvystään luoda kuvia, joilla on erottuva esteettinen viehätys. Flux, jolla on edistynyt arkkitehtuuri ja suurempi parametrilukumäärä, pyrkii saavuttamaan tai ylittämään tämän laadun.

Varhaiset esimerkit Fluxista osoittavat vaikuttavia yksityiskohtia, realistisia tekstuureja ja vankkaa ymmärrystä valaistuksesta ja kohtauksien sommittelusta. Kuitenkin subjektiivinen luonto taiteessa tekee vaikeaksi väittää ylivoimaisuutta tässä alueessa. Käyttäjät saattavat havaita, että kumpikin malli on vahva eri tyyleissä tai kuvatyypeissä.

Ohjelmointivaste

Yksi alue, jossa Flux mahdollisesti johtaa Midjourneyta, on ohjelmointivaste. Black Forest Labs on korostanut keskittymistään parantamaan mallin kykyä tulkita ja toteuttaa annettuja ohjelmointeja tarkemmin. Tämä johtaa mahdollisesti kuvien luomiseen, jotka vastaavat käyttäjän aikomuksia tarkemmin, erityisesti monimutkaisissa tai hienovaraisissa pyynnöissä.

Midjourney on toisinaan kritisoitu luovista vapauksista ohjelmoinnissa, mikä voi johtaa kauniisiin mutta odottamattomiin tuloksiin. Fluxin lähestymistapa tarjoaa mahdollisesti tarkemman ohjatuksen luotettavalle tulokselle.

Nopeus ja tehokkuus

FLUX.1 [schnell] -mallin esittelyllä Black Forest Labs on kohdistamassa yhtä Midjourneyn avainetuista: nopeutta. Midjourney on tunnettu nopeista kuvien luomisajoista, mikä on tehnyt siitä suositun valinnan iteratiivisille luoville prosesseille. Jos Flux voi vastata tai ylittää tämän nopeuden säilyttäen laadun, se voisi olla merkittävä myyntivaltti.

Saavutettavuus ja helppokäyttöisyys

Midjourney on saavuttanut suosiota osittain sen helppokäyttöisen käyttöliittymän ja Discord-integraation ansiosta. Flux, ollessaan uusi, saattaa tarvita aikaa kehittääkseen samanlaisia käyttöliittymiä. Kuitenkin FLUX.1 [schnell] – ja [dev] -mallien avoimen lähdekoodin luonne voi johtaa laajaan valikoimaan yhteisökehittämiä työkaluja ja integraatioita, mahdollisesti ylittäen Midjourneyn joustavuuden ja mukautumiskyvyn.

Tekninen kyky

Fluxin edistynyt arkkitehtuuri ja suurempi mallikoko viittaavat siihen, että se voi olla kykenevämpi ymmärtämään monimutkaisia ohjelmointeja ja luomaan yksityiskohtaisempia kuvia. Virtaussovittamisen lähestymistapa ja hybridirakenne voivat sallia Fluxille käsitellä laajemman valikoiman tehtäviä ja luoda monimuotoisempia tuloksia.

Eettiset huomioonotot ja puolueettomuuden vähentäminen

Molemmat Flux ja Midjourney kohtaavat haasteita AI-kuvien eettisissä kysymyksissä, kuten puolueettomuudessa, virheellisissä tietoissa ja tekijänoikeusongelmissa. Black Forest Labsin painopiste avoimuudessa ja heidän sitoutumisensa tehdä malleja laajasti saataville voi johtaa vahvempiin yhteisövalvontaan ja nopeampiin parannuksiin näissä alueissa.

Koodin toteutus ja käyttöönotto

Fluxin käyttäminen Diffusersin kanssa

Flux-mallit voidaan helposti integroida olemassa oleviin työvirtoihin Hugging Face Diffusers -kirjaston avulla. Tässä on vaiheittainen opas FLUX.1 [dev] – tai FLUX.1 [schnell] -mallin käyttöön Diffusersin kanssa:

1. Ensinnäkin, asenna tai päivitä Diffusers-kirjasto:

!pip install git+https://github.com/huggingface/diffusers.git

2. Sitten voit käyttää FluxPipeline -luokkaa mallin suorittamiseen:

import torch
from diffusers import FluxPipeline

<p># Lataa malli
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)</p>

<p># Ota käyttöön CPU-välitys VRAMin säästämiseksi (valinnainen)
pipe.enable_model_cpu_offload()</p>

<p># Luo kuva
ohjelmointi = "Kissa, joka pitää kylttiä, jossa lukee hei maailma"
kuva = pipe(
ohjelmointi,
korkeus=1024,
leveys=1024,
ohjauksen_aste=3.5,
tulosteen_tyyppi="pil",
num_inference_steps=50,
max_sequence_length=512,
generoija=torch.Generator("cpu").manual_seed(0)
).images[0]</p>

<p># Tallenna luotu kuva
kuva.save("flux-dev.png")

Fluxin käyttöönotto LitServen kanssa

Niille, jotka haluavat käyttää Fluxia skaalautuvana API-palveluna, Black Forest Labs tarjoaa esimerkin LitServen avulla. Tässä on yksityiskohtainen kuvaus käyttöönottoprosessista:

Määritä mallipalvelin:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

<p>class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Lataa mallikomponentit
aikataulu = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="aikataulu")
teksti_koodari = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
koodarin_sanasto = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
teksti_koodari_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="teksti_koodari_2", torch_dtype=torch.bfloat16)
koodarin_sanasto_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="koodarin_sanasto_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
muunnos = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="muunnos", torch_dtype=torch.bfloat16)</p>

<p># Kvantisaatio 8-bittiseen tarkkuuteen, jotta se mahtuu L4-grafiikkakortille
quantize(muunnos, weights=qfloat8)
freeze(muunnos)
quantize(teksti_koodari_2, weights=qfloat8)
freeze(teksti_koodari_2)</p>

<p># Alusta Flux-pipeline
self.pipe = FluxPipeline(
aikataulu=aikataulu,
teksti_koodari=teksti_koodari,
koodarin_sanasto=koodarin_sanasto,
teksti_koodari_2=None,
koodarin_sanasto_2=koodarin_sanasto_2,
vae=vae,
muunnos=None,
)
self.pipe.teksti_koodari_2 = teksti_koodari_2
self.pipe.muunnos = muunnos
self.pipe.enable_model_cpu_offload()</p>

<p>def decode_request(self, request):
return request["ohjelmointi"]</p>

<p>def predict(self, ohjelmointi):
kuva = self.pipe(
ohjelmointi=ohjelmointi,
leveys=1024,
korkeus=1024,
num_inference_steps=4,
generoija=torch.Generator().manual_seed(int(time.time())),
ohjauksen_aste=3.5,
).images[0]
return kuva</p>

<p>def encode_response(self, kuva):
puskuri = BytesIO()
kuva.save(puskuri, format="PNG")
return Response(content=puskuri.getvalue(), headers={"Content-Type": "image/png"})</p>

<p># Käynnistä palvelin
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)</p>

Tämä koodi määrittää Fluxin LitServe-palvelimen, mallin lataamisen, pyynnön käsittelyn, kuvan luomisen ja vastauksen koodauksen.

Käynnistä palvelin:

</pre>
python server.py
<pre>

Käytä mallin API:ta

Voit testata API:n yksinkertaisella asiakasohjelmalla:

import requests
import json

<p>url = "http://localhost:8000/predict"
ohjelmointi = "robotti, joka istuu tuolissa maalaamassa kuvaa tulevaisuuden kaupunkimaisemasta, pop-taide"</p>

<p>vastaus = requests.post(url, json={"ohjelmointi": ohjelmointi})
with open("luotu_kuva.png", "wb") as f:
f.write(vastaus.content)</p>

<p>print("Kuva luotu ja tallennettu luotu_kuva.png -nimiseen tiedostoon")</p>

Käyttöönoton avainominaisuudet

1. Palvelurakenne: LitServe-asettelu mahdollistaa skaalautuvan, palvelurakenteisen käyttöönoton, joka voi skaalautua nollaan, kun sitä ei käytetä.
2. Yksityinen API: Voit käyttää Fluxia yksityisenä API:na omalla infrastruktuurillasi.
3. Moni-GPU-tuki: Asettelu on suunniteltu toimimaan tehokkaasti useiden GPU:iden kanssa.
4. Kvantisaatio: Koodi osoittaa, miten malli voidaan kvantisoida 8-bittiseen tarkkuuteen, jotta se mahtuu vähemmän tehokkaille laitteille, kuten NVIDIA L4 -grafiikkakortille.
5. GPU-välitys: enable_model_cpu_offload() -menetelmä käytetään säästämään GPU-muistia siirtämällä osia mallista CPU:lle, kun niitä ei käytetä.

Fluxin käytännön sovellukset

Fluxin monipuolisuus ja voima avaavat laajan valikoiman potentiaalisia sovelluksia eri aloilla:

1. Luoja-alat: Graafiset suunnittelijat, kuvittajat ja taiteilijat voivat käyttää Fluxia nopeasti luodakseen konseptikuvia, mielialoja ja visuaalista inspiraatiota.
2. Markkinointi ja mainonta: Markkinoijat voivat luoda mukautettuja visuaaleja kampanjoille, sosiaalisen median sisällölle ja tuotteen esittelyille ennennäkemättömällä nopeudella ja laadulla.
3. Pelien kehittäminen: Pelisuunnittelijat voivat käyttää Fluxia nopeasti luodakseen ympäristöjä, hahmoja ja varusteita, jolloin esituotannon prosessi nopeutuu.
4. Arkkitehtuuri ja sisustus: Arkkitehdit ja suunnittelijat voivat luoda realistisia visualisointeja tiloista ja rakenteista tekstikuvauksien perusteella.
5. Koulutus: Opettajat voivat luoda mukautettuja visuaalisia apuvälineitä ja kuvituksia parantamaan oppimateriaaleja ja tehdä monimutkaisista konsepteista helpommin ymmärrettäviä.
6. Elokuva ja animaatio: Tarinankerrontaa ja animaattoreja voidaan käyttää nopeasti visualisoimaan kohtauksia ja hahmoja, kiihdyttäen esituotannon prosessia.

Fluxin ja teksti-kuvamuunnoksen tulevaisuus

Black Forest Labs on ilmoittanut, että Flux on vain alkua heidän pyrkimyksilleen generatiivisen AI-alalla. He ovat ilmoittaneet aikovansa kehittää kilpailevia generatiivisia teksti-videomuunnosjärjestelmiä, jotka tarjoavat tarkat luomis- ja muokkausominaisuudet korkeassa resoluutiossa ja ennennäkemättömällä nopeudella.

Tämä tiekartta viittaa siihen, että Flux ei ole yksittäinen tuote, vaan osa laajempaa generatiivisen AI-työkalujen ekosysteemiä. Kun teknologia kehittyy, voidaan odottaa:

1. Parannettu integraatio: Vaivattomat työvirrat teksti-kuvamuunnoksen ja teksti-videomuunnoksen välillä, mahdollistaen monimutkaisemman ja dynaamisen sisällön luomisen.
2. Laajennettu mukautettavuus: Tarkempi ohjaus luotujen kuvien yksityiskohtaisuudesta, mahdollisesti edistyneiden ohjelmointitekniikoiden tai helppokäyttöisten käyttöliittymien kautta.
3. Reaaliaikainen luominen: Kun mallit, kuten FLUX.1 [schnell], jatkavat parantumista, voidaan odottaa reaaliaikaisia kuvien luomismahdollisuuksia, jotka voivat vallankumouksellisesti muuttaa live-sisällön luomista ja interaktiivista mediaa.
4. Monimodaalinen luominen: Kyky luoda ja manipuloida sisältöä useilla modaalitasoilla (teksti, kuva, video, ääni) yhtenäisessä ja integroidussa tavassa.
5. Vastuullinen AI-kehitys: Jatkuva painopiste kehittää AI-malleja, jotka ovat sekä voimakkaita että vastuullisia ja eettisiä.

Johtopäätös: Onko Flux parempi kuin Midjourney?

Kysymys siitä, onko Flux “parempi” kuin Midjourney, ei ole helppo vastata yksinkertaisella kyllä tai ei. Molemmat mallit edustavat teksti-kuvamuunnoksen teknologian kärkeä, kumpikin omilla vahvuuksilla ja ainutlaatuisilla ominaisuuksilla.

Flux, jolla on edistynyt arkkitehtuuri ja painopiste ohjelmointivasteessa, saattaa tarjota tarkemman ohjauksen ja mahdollisesti korkeampaa laatua tietyissä tilanteissa. Sen avoimet versiot tarjoavat myös mahdollisuuksia mukauttamiseen ja integraatioon, jotka voivat olla erittäin arvokkaita kehittäjille ja tutkijoille.

Midjourney on saavuttanut mainetta taiteellisesta tyylistään ja helppokäyttöisyydestään, ja sen integraatio Discordiin on tehnyt siitä suositun valinnan luoville prosesseille. Sen yhteisö on myös aktiivinen ja laaja, mikä voi olla etu niille, jotka arvostavat yhteisöllisyyttä ja jakamista.

Lopulta, “parempi” malli riippuu käyttötapauksesta, henkilökohtaisista mieltymyksistä ja kehittyvien ominaisuuksien kehityksestä. Mitä on selvää, on se, että Flux edustaa merkittävää askelta eteenpäin generatiivisen AI-alalla, tuoden innovatiivisia tekniikoita ja laajentamalla teksti-kuvamuunnoksen rajoja.