Flux od Black Forest Labs: Další skok v text-to-image modelech. Je lepší než Midjourney?

Black Forest Labs, tým za průlomovým modelem Stable Diffusion, vydal Flux – sadu špičkových modelů, které slibují předefinovat schopnosti generování obrazů pomocí umělé inteligence. Ale skutečně Flux představuje skok vpřed v tomto oboru a jak se vyrovná s lídry jako Midjourney? Ponořme se do světa Flux a prozkoumejme jeho potenciál pro budoucnost umělé inteligence a médií.

Zrození Black Forest Labs

Black Forest Labs není jen další startup v oblasti umělé inteligence; je to síla talentů s historií vývoje základních generativních modelů AI. Tým zahrnuje tvůrce VQGAN, Latent Diffusion a rodiny modelů Stable Diffusion, které otřásly světem umělé inteligence.

Black Forest Labs Open-Source FLUX.1

S úspěšným kolečkem financování Series Seed ve výši 31 milionů dolarů vedeným Andreessen Horowitz a podporou známých andělských investorů se Black Forest Labs umístil na čelo výzkumu generativní umělé inteligence. Jejich mise je jasná: vyvíjet a rozšiřovat špičkové generativní hlubinné učící modely pro média, jako jsou obrázky a videa, a zároveň rozšiřovat hranice kreativity, efektivity a rozmanitosti.

Představení rodiny modelů Flux

Black Forest Labs představil sadu text-to-image modelů FLUX.1, navrženými tak, aby nastavily nové standardy v detailu obrazu, dodržování promptů, stylistické rozmanitosti a složitosti scény. Rodina Flux se skládá ze tří variant, každá přizpůsobená pro různé použití a úrovně přístupnosti:

1. FLUX.1 [pro]: Vlajkový model, nabízející špičkovou výkonnost v generování obrazů s vynikajícím dodržováním promptů, vizuální kvalitou, detaily obrazu a rozmanitostí výstupu. K dispozici prostřednictvím API, je позиcionován jako премиум opción pro profesionální a podnikové použití.
2. FLUX.1 [dev]: Otevřený model pro nekomerční aplikace. Je navržen tak, aby dosáhl podobné kvality a dodržování promptů jako verze pro, zatímco je více efektivní.
3. FLUX.1 [schnell]: Nejrychlejší model v sadě, optimalizovaný pro lokální vývoj a osobní použití. Je dostupný pod licencí Apache 2.0, což z něj dělá přístupný pro širokou škálu aplikací a experimentů.

Poskytnu einige jedinečné a kreativní příklady promptů, které demonstrují schopnosti FLUX.1. Tyto prompty budou zdůrazňovat silné stránky modelu v renderování textu, složitých kompozicích a podrobném vytváření objektů, jako jsou ruce.

• Umělecký styl smíšení s textem: “Vytvořte portrét Vincenta van Gogha ve svém charakteristickém stylu, ale nahraďte jeho vousy vířivými tahy, které tvoří slova ‘Starry Night’ v kurzívě.”

Black Forest Labs Open-Source FLUX.1

• Dynamická akční scéna s integrovaným textem: “Superhrdina proráží komiksovou stránku. Akční linie a zvukové efekty by měly tvořit hrdinovo jméno ‘FLUX FORCE’ v tučném, dynamickém písmu.”

Black Forest Labs Open-Source FLUX.1

• Surrealistický koncept s přesným umístěním objektů: “Zblízka roztomilé kočky s hnědými a bílými barvami pod okenním světlem. Ostře zaměřeno na texturu a barvu očí. Přirozené osvětlení pro zachycení autentického lesku a hloubky.”

Black Forest Labs Open-Source FLUX.1

Tyto prompty jsou navrženy tak, aby vyzvaly FLUX.1 k jeho limitům v renderování textu, složitých kompozicích a podrobném vytváření objektů, zatímco také demonstrují jeho potenciál pro kreativní a unikátní generování obrazů.

Technické inovace za Flux

V srdci působivých schopností Flux leží řada technických inovací, které ho odlišují od jeho předchůdců a současníků:

Transformer-poháněné modely toku ve velkém měřítku

Všechny veřejné modely FLUX.1 jsou postaveny na hybridní architektuře, která kombinuje multimodální a paralelní difuzní transformer bloky, škálovatelné na působivých 12 miliard parametrů. To představuje významný skok v velikosti a složitosti modelu ve srovnání s mnoha stávajícími text-to-image modely.

Modely Flux vylepšují předchozí špičkové difuzní modely tím, že zahrnují shodu toku, obecnou a konceptuálně jednoduchou metodu pro trénování generativních modelů. Shoda toku poskytuje flexibilnější rámec pro generativní modelování, přičemž difuzní modely jsou speciálním případem tohoto širšího přístupu.

Pro zlepšení výkonu modelu a hardwarové efektivity Black Forest Labs integrovalo rotovací polohové vložky a paralelní vrstvy pozornosti. Tyto techniky umožňují lepší zpracování prostorových vztahů v obrazech a efektivnější zpracování velkých dat.

Architektonické inovace

Rozložme některé klíčové architektonické prvky, které přispívají k výkonu Flux:

1. Hybridní architektura: Kombinací multimodálních a paralelních difuzních transformer bloků může Flux efektivně zpracovávat jak textové, tak vizuální informace, vedoucí k lepšímu sladění mezi prompty a generovanými obrázky.
2. Shoda toku: Tento přístup umožňuje flexibilnější a efektivnější trénování generativních modelů. Poskytuje ucelený rámec, který zahrnuje difuzní modely a další generativní techniky, potenciálně vedoucí k robustnější a všestrannější generaci obrazů.
3. Rotovací polohové vložky: Tyto vložky pomáhají modelu lépe porozumět a udržovat prostorové vztahy uvnitř obrazů, což je zásadní pro generování soudržného a detailního vizuálního obsahu.
4. Paralelní vrstvy pozornosti: Tato technika umožňuje efektivnější zpracování mechanismů pozornosti, které jsou kritické pro pochopení vztahů mezi různými prvky v textových promptech a generovaných obrazech.
5. Škálování na 12B parametrů: Samotná velikost modelu umožňuje mu zachytit a syntetizovat komplexnější vzory a vztahy, potenciálně vedoucí k vyšší kvalitě a rozmanitosti výstupů.

Benchmarking Flux: Nový standard v syntéze obrazů

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs tvrdí, že FLUX.1 nastavuje nové standardy v syntéze obrazů, překonávající populární modely jako Midjourney v6.0, DALL·E 3 (HD) a SD3-Ultra v několika klíčových aspektech:

1. Vizuální kvalita: Flux cílí na generování obrazů s vyšší věrností, realističtějšími detaily a lepší celkovou estetickou přitažlivostí.
2. Dodržování promptů: Model je navržen tak, aby se více blížil daným textovým promptům, generujícím obrázky, které přesněji odrážejí uživatelské záměry.
3. Velikost/variabilita aspektu: Flux podporuje širokou škálu poměrů stran a rozlišení, od 0,1 do 2,0 megapixelů, nabízející flexibilitu pro různé použití.
4. Typografie: Model ukazuje vylepšené schopnosti v generování a renderování textu uvnitř obrazů, což je běžná výzva pro mnoho text-to-image modelů.
5. Rozmanitost výstupu: Flux je speciálně jemně naladěn pro zachování celé rozmanitosti výstupu z předtrénování, nabízející širší spektrum kreativních možností.

Flux vs. Midjourney: Srovnávací analýza

https://blackforestlabs.ai/announcing-black-forest-labs/

Nyní se vraťme k palčivé otázce: Je Flux lepší než Midjourney? Abychom tuto otázku zodpověděli, musíme zvážit několik faktorů:

Kvalita obrazu a estetika

Oba modely, Flux a Midjourney, jsou známé pro generování vysoce kvalitních, vizuálně úžasných obrazů. Midjourney byl chválen pro svůj umělecký šarm a schopnost vytvářet obrazy s distinctivní estetickou přitažlivostí. Flux, s jeho pokročilou architekturou a větším počtem parametrů, cílí na dosažení nebo překonání této úrovně kvality.

Rané příklady z Flux ukazují působivé detaily, realistické textury a silné pochopení osvětlení a kompozice. Nicméně, subjektivní povaha umění činí obtížným definitivně prohlásit jeden model za lepší v této oblasti. Uživatelé mohou zjistit, že každý model má své silné stránky v různých stylech nebo typech obrazů.

Dodržování promptů

Jedna oblast, ve které Flux potenciálně překonává Midjourney, je dodržování promptů. Black Forest Labs zdůraznilo svou snahu o zlepšení modelu v interpretaci a provedení daných promptů. To by mohlo vést k generovaným obrazům, které přesněji odrážejí uživatelské záměry, zejména pro komplexní nebo nuancované požadavky.

Midjourney byl někdy kritizován za to, že bere tvůrčí svobody s prompty, což může vést k krásným, ale neočekávaným výsledkům. Přístup Flux může nabízet více přesnou kontrolu nad generovaným výstupem.

Rychlost a efektivita

S představením FLUX.1 [schnell] cílí Black Forest Labs na jednu z hlavních výhod Midjourney: rychlost. Midjourney je známý pro rychlé časy generování, které z něj činí populární volbu pro iterativní kreativní procesy. Pokud Flux dokáže dosáhnout nebo překonat tuto rychlost při zachování kvality, bude to významný prodejní bod.

Přístupnost a snadné použití

Midjourney získal popularitu částečně díky svému uživatelsky přívětivému rozhraní a integraci s Discordem. Flux, jako novější model, může potřebovat čas na vývoj podobně přístupných rozhraní. Nicméně, otevřená povaha modelů FLUX.1 [schnell] a [dev] může vést k širokému spektru komunitně vyvinutých nástrojů a integrací, potenciálně překonávajících Midjourney v flexibilitě a možnostech přizpůsobení.

Technické schopnosti

Pokročilá architektura a větší velikost modelu Flux naznačují, že může mít více surových schopností pro pochopení komplexních promptů a generování složitých detailů. Přístup shody toku a hybridní architektury by mohly umožnit Flux zvládat širší spektrum úkolů a generovat více rozmanitých výstupů.

Etické úvahy a mitigace bias

Oba modely, Flux a Midjourney, čelí výzvě řešení etických problémů v AI-generovaných obrazech, jako je bias, dezinformace a autorská práva. Záměr Black Forest Labs na transparentnost a jejich závazek k široké dostupnosti modelů by mohl potenciálně vést k lepší komunitní kontrole a rychlejším zlepšením v těchto oblastech.

Implementace kódu a nasazení

Použití Flux s Diffusers

Modely Flux lze snadno integrovat do stávajících pracovních postupů pomocí knihovny Hugging Face Diffusers. Zde je krok za krokem průvodce pro použití FLUX.1 [dev] nebo FLUX.1 [schnell] s Diffusers:

1. Nejprve nainstalujte nebo aktualizujte knihovnu Diffusers:

!pip install git+https://github.com/huggingface/diffusers.git

2. Pak můžete použít FluxPipeline pro spuštění modelu:

import torch
from diffusers import FluxPipeline

<p># Načtěte model
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)</p>

<p># Povolte offloading na CPU pro úsporu VRAM (volitelné)
pipe.enable_model_cpu_offload()</p>

<p># Vygenerujte obraz
prompt = "Kočka drží znamení, které říká hello world"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]</p>

<p># Uložte vygenerovaný obraz
image.save("flux-dev.png")

Nasazení Flux jako API s LitServe

Pro ty, kteří chtějí nasadit Flux jako škálovatelnou API službu, Black Forest Labs poskytuje příklad pomocí LitServe, vysoce výkonného engine pro inferenci. Zde je rozbor procesu nasazení:

Definujte server modelu:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

<p>class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Načtěte komponenty modelu
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)</p>

<p># Kvantizujte na 8-bit pro provoz na L4 GPU
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)</p>

<p># Inicializujte Flux pipeline
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()</p>

<p>def decode_request(self, request):
return request["prompt"]</p>

<p>def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image</p>

<p>def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})</p>

<p># Spusťte server
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)</p>

Tento kód nastavuje LitServe API pro Flux, včetně načtení modelu, zpracování požadavků, generování obrazů a kódování odpovědí.

Spusťte server:

</pre>
python server.py
<pre>

Použijte model API:

Můžete otestovat API pomocí jednoduchého skriptu:

import requests
import json

<p>url = "http://localhost:8000/predict"
prompt = "robot sedí v křesle a maluje obraz na plátně futuristického městského panoramatu, pop art"</p>

<p>response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)</p>

<p>print("Obraz vygenerován a uložen jako generated_image.png")</p>

Klíčové funkce nasazení

1. Bezserverová architektura: Nastavení LitServe umožňuje škálovatelné, bezserverové nasazení, které může škálovat na nulu, když není používáno.
2. Privátní API: Můžete nasadit Flux jako privátní API na své vlastní infrastruktuře.
3. Podpora více GPU: Nastavení je navrženo pro efektivní práci napříč několika GPU.
4. Kvantizace: Kód demonstruje, jak kvantizovat model na 8bitovou přesnost, umožňující mu běhat na méně výkonném hardwaru, jako jsou NVIDIA L4 GPU.
5. Offloading na CPU: Metoda enable_model_cpu_offload() se používá pro úsporu paměti GPU, offloading části modelu na CPU, když nejsou používány.

Praktické aplikace Flux

Univerzálnost a síla Flux otevírají širokou škálu potenciálních aplikací napříč různými průmysly:

1. Kreativní průmysly: Grafici, ilustrátoři a umělci mohou použít Flux pro rychlou generaci konceptního umění, mood boardů a vizuálních inspirací.
2. Marketing a reklama: Marketéři mohou vytvářet vlastní vizuály pro kampaně, sociální média a produktové makety s bezprecedentní rychlostí a kvalitou.
3. Vývoj her: Designéři her mohou použít Flux pro rychlou prototypizaci prostředí, postav a assetů, urychlování fáze předprodukce.
4. Architektura a interiérový design: Architekti a designéři mohou generovat realistické vizualizace prostorů a struktur na základě textových popisů.
5. Vzdělávání: Vzdělávací pracovníci mohou vytvářet vlastní vizuální pomůcky a ilustrace pro zlepšení vzdělávacích materiálů a zpřístupnění komplexních konceptů.
6. Film a animace: Storyboardisté a animátoři mohou použít Flux pro rychlou vizualizaci scén a postav, urychlování procesu pre-vizualizace.

Budoucnost Flux a generace text-to-image

Black Forest Labs jasně prokázalo, že Flux je pouze začátek jejich ambicí v oblasti generativní umělé inteligence. Oznámili plány na vývoj konkurenčních generativních text-to-video systémů, slibujících přesné vytváření a editační schopnosti ve vysoké definici a bezprecedentní rychlosti.

Tento roadmap naznačuje, že Flux není samostatným produktem, ale součástí širšího ekosystému generativních nástrojů AI. Jak se technologie vyvíjí, můžeme očekávat:

1. Vylepšená integrace: Bezproblémové pracovní postupy mezi text-to-image a text-to-video generací, umožňující komplexnější a dynamickou tvorbu obsahu.
2. Rozšířená přizpůsobitelnost: Více jemné kontroly nad generovaným obsahem, možná prostřednictvím pokročilých technik prompt engineeringu nebo intuitivních uživatelských rozhraní.
3. Reálná generace: Jak se modely jako FLUX.1 [schnell] budou dále zlepšovat, můžeme vidět reálnou generaci obrazů, která by mohla revolucionalizovat živou tvorbu obsahu a interaktivní média.
4. Generace napříč modality: Schopnost generovat a manipulovat obsahem napříč několika modality (text, obraz, video, audio) v ucelené a integrované formě.
5. Eticky zodpovědný vývoj AI: Pokračující zaměření na vývoj AI modelů, které jsou nejen silné, ale také zodpovědné a eticky nezávadné.

Závěr: Je Flux lepší než Midjourney?

Otázka, zda je Flux “lepší” než Midjourney, není snadno zodpověditelná jednoduchým ano nebo ne. Oba modely reprezentují špičku technologie generace text-to-image, každý se svými silnými stránkami a jedinečnými charakteristikami.

Flux, s jeho pokročilou architekturou a důrazem na dodržování promptů, může nabízet více přesnou kontrolu a potenciálně vyšší kvalitu ve specifických scénářích. Jeho otevřené varianty také poskytují příležitosti pro přizpůsobení a integraci, které by mohly být vysoce cenné pro vývojáře a výzkumníky.

Midjourney, na druhé straně, má prokázanou historii, velkou a aktivní uživatelskou základnu a distinctivní umělecký styl, který mnozí uživatelé mají rádi. Jeho integrace s Discordem a uživatelsky přívětivé rozhraní z něj činí vysoce přístupný nástroj pro kreativy všech úrovní technických dovedností.

Ultimately, “lepší” model může záviset na specifickém použití, osobních preferencích a rozvíjejících se schopnostech každé platformy. Co je jasné, je to, že Flux představuje významný krok vpřed v oblasti generativní umělé inteligence, zavádějící inovativní techniky a tlačící hranice toho, co je možné v syntéze text-to-image.