Flux av Black Forest Labs: The Next Leap in Text-to-Image Models. Är det bättre än Midjourney?

Schwarzwald Labs, teamet bakom den banbrytande Stable Diffusion-modellen, har släppt Flux – en svit av toppmoderna modeller som lovar att omdefiniera funktionerna hos AI-genererade bilder. Men representerar Flux verkligen ett steg framåt på området, och hur står sig det till branschledare som Midjourney? Låt oss dyka djupt in i Flux-världen och utforska dess potential att omforma framtiden för AI-genererad konst och media.

Black Forest Labs födelse

Black Forest Labs är inte bara ännu en AI-startup; det är ett kraftpaket av talang med erfarenhet av att utveckla grundläggande generativa AI-modeller. Teamet inkluderar skaparna av VQGAN, Latent Diffusion och Stable Diffusion-familjen av modeller som har tagit AI-konstvärlden med storm.

Black Forest Labs öppen källkod FLUX.1

Med en framgångsrik Series Seed-finansieringsrunda av 31 miljoner dollar ledd av Andreessen Horowitz och stöd från anmärkningsvärda ängelinvesterare har Black Forest Labs placerat sig i framkanten av generativ AI-forskning. Deras uppdrag är tydligt: ​​att utveckla och utveckla toppmoderna generativa djupinlärningsmodeller för media som bilder och videor, samtidigt som de tänjer på gränserna för kreativitet, effektivitet och mångfald.

Vi presenterar Flux Model Family

Black Forest Labs har introducerat FLUX.1-sviten med text-till-bild-modeller, designade för att sätta nya riktmärken för bilddetaljer, snabb efterlevnad, stilmångfald och scenkomplexitet. Flux-familjen består av tre varianter, var och en skräddarsydd för olika användningsfall och tillgänglighetsnivåer:

1. FLUX.1 [pro]: Flaggskeppsmodellen som erbjuder högsta prestanda i bildgenerering med överlägsen snabbföljning, visuell kvalitet, bilddetaljer och mångfald av utskrifter. Tillgänglig via ett API, är det positionerat som premiumalternativet för professionellt och företagsbruk.
2. FLUX.1 [dev]: En öppen vikt, vägledningsdestillerad modell för icke-kommersiella applikationer. Den är utformad för att uppnå liknande kvalitet och snabba vidhäftningsförmåga som proversionen samtidigt som den är mer effektiv.
3. FLUX.1 [schnell]: Den snabbaste modellen i sviten, optimerad för lokal utveckling och personligt bruk. Det är öppet tillgängligt under en Apache 2.0-licens, vilket gör det tillgängligt för ett brett utbud av applikationer och experiment.

Jag kommer att ge några unika och kreativa snabba exempel som visar upp FLUX.1:s möjligheter. Dessa uppmaningar kommer att belysa modellens styrkor när det gäller att hantera text, komplexa kompositioner och utmanande element som händer.

• Konstnärlig stil blandas med text: "Skapa ett porträtt av Vincent van Gogh i hans signaturstil, men ersätt hans skägg med virvlande penseldrag som bildar orden "Stjärnklar natt" i kursiv."

Black Forest Labs öppen källkod FLUX.1

• Dynamisk actionscen med textintegration: "En superhjälte som spricker genom en serietidningssida. Actionlinjerna och ljudeffekterna ska bilda hjältens namn "FLUX FORCE" i fet, dynamisk typografi."

Black Forest Labs öppen källkod FLUX.1

• Surrealistiskt koncept med exakt objektplacering: "Närbild av en söt katt med bruna och vita färger under fönstersolljus. Skarpt fokus på ögonstruktur och färg. Naturlig belysning för att fånga autentisk ögonglans och djup.”

Black Forest Labs öppen källkod FLUX.1

Dessa uppmaningar är utformade för att utmana FLUX.1:s möjligheter inom textåtergivning, komplex scenkomposition och detaljerad objektskapande, samtidigt som de visar upp dess potential för kreativ och unik bildgenerering.

Tekniska innovationer bakom Flux

I hjärtat av Flux imponerande kapacitet ligger en rad tekniska innovationer som skiljer den från sina föregångare och samtida:

Transformatordrivna flödesmodeller i stor skala

Alla offentliga FLUX.1-modeller är byggda på en hybridarkitektur som kombinerar multimodala och parallella diffusionstransformatorblock, skalade till imponerande 12 miljarder parametrar. Detta representerar ett betydande steg i modellstorlek och komplexitet jämfört med många befintliga text-till-bild-modeller.

Fluxmodellerna förbättrar tidigare toppmoderna diffusionsmodeller genom att införliva flödesmatchning, en generell och konceptuellt enkel metod för att träna generativa modeller. Flödesmatchning ger ett mer flexibelt ramverk för generativ modellering, där diffusionsmodeller är ett specialfall inom detta bredare tillvägagångssätt.

För att förbättra modellens prestanda och hårdvarueffektivitet har Black Forest Labs integrerade roterande positionsinbäddningar och parallella uppmärksamhetslager. Dessa tekniker möjliggör bättre hantering av rumsliga relationer i bilder och effektivare bearbetning av storskalig data.

Arkitektoniska innovationer

Låt oss bryta ner några av de viktigaste arkitektoniska elementen som bidrar till Flux prestanda:

1. Hybrid arkitektur: Genom att kombinera multimodala och parallella diffusionstransformatorblock kan Flux effektivt bearbeta både textuell och visuell information, vilket leder till bättre anpassning mellan uppmaningar och genererade bilder.
2. Flödesmatchning: Detta tillvägagångssätt möjliggör mer flexibel och effektiv träning av generativa modeller. Det ger ett enhetligt ramverk som omfattar diffusionsmodeller och andra generativa tekniker, vilket kan leda till mer robust och mångsidig bildgenerering.
3. Roterande positionsinbäddningar: Dessa inbäddningar hjälper modellen att bättre förstå och bibehålla rumsliga relationer i bilder, vilket är avgörande för att generera sammanhängande och detaljerat visuellt innehåll.
4. Parallella uppmärksamhetsskikt: Denna teknik möjliggör effektivare bearbetning av uppmärksamhetsmekanismer, som är avgörande för att förstå sambanden mellan olika element i både textuppmaningar och genererade bilder.
5. Skalning till 12B parametrar: Modellens stora storlek gör att den kan fånga och syntetisera mer komplexa mönster och relationer, vilket kan leda till högre kvalitet och mer mångsidiga resultat.

Benchmarking Flux: En ny standard i bildsyntes

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs hävdar att FLUX.1 sätter nya standarder inom bildsyntes och överträffar populära modeller som t.ex. midjourney v6.0, DALL·E 3 (HD) och SD3-Ultra i flera viktiga aspekter:

1. Visuell kvalitet: Flux syftar till att producera bilder med högre kvalitet, mer realistiska detaljer och bättre övergripande estetisk tilltalande.
2. Snabb Följer: Modellen är utformad för att följa de givna textuppmaningarna bättre och generera bilder som mer exakt återspeglar användarens avsikter.
3. Storlek/Aspekt Variabilitet: Flux stöder en mängd olika bildförhållanden och upplösningar, från 0.1 till 2.0 megapixlar, vilket ger flexibilitet för olika användningsfall.
4. Typografi: Modellen visar förbättrade möjligheter att generera och rendera text i bilder, en vanlig utmaning för många text-till-bild-modeller.
5. Utgångsmångfald: Flux är speciellt finjusterat för att bevara hela produktionens mångfald från förträning, vilket erbjuder ett bredare utbud av kreativa möjligheter.

Flux vs. Midjourney: En jämförande analys

https://blackforestlabs.ai/announcing-black-forest-labs/

Låt oss nu ta upp den brännande frågan: Är Flux bättre än midjourney? För att svara på detta måste vi överväga flera faktorer:

Bildkvalitet och estetik

Både Flux och Midjourney är kända för att producera högkvalitativa, visuellt fantastiska bilder. Midjourney har prisats för sin konstnärliga stil och förmåga att skapa bilder med en distinkt estetisk dragningskraft. Flux, med sin avancerade arkitektur och större parameterantal, strävar efter att matcha eller överträffa denna kvalitetsnivå.

Tidiga exempel från Flux visar imponerande detaljer, realistiska texturer och ett starkt grepp om ljus och komposition. Konstens subjektiva karaktär gör det dock svårt att definitivt hävda överlägsenhet på detta område. Användare kan upptäcka att varje modell har sina styrkor i olika stilar eller typer av bilder.

Snabb efterlevnad

Ett område där Flux potentiellt kanter ut midjourney är i omedelbar anslutning. Black Forest Labs har betonat sitt fokus på att förbättra modellens förmåga att korrekt tolka och utföra på givna uppmaningar. Detta kan resultera i genererade bilder som bättre matchar användarens avsikter, särskilt för komplexa eller nyanserade förfrågningar.

midjourney har ibland kritiserats för att ta sig kreativa friheter med uppmaningar, vilket kan leda till vackra men oväntade resultat. Flux tillvägagångssätt kan erbjuda mer exakt kontroll över den genererade uteffekten.

Hastighet och effektivitet

Med introduktionen av FLUX.1 [schnell] siktar Black Forest Labs på en av Midjourneys viktigaste fördelar: hastighet. Midjourney är känt för sina snabba generationstider, vilket har gjort det populärt för iterativa kreativa processer. Om Flux kan matcha eller överstiga denna hastighet med bibehållen kvalitet, kan det vara ett betydande försäljningsargument.

Tillgänglighet och användarvänlighet

Midjourney har blivit populär bland annat på grund av dess användarvänliga gränssnitt och integration med Discord. Flux, som är nyare, kan behöva tid för att utveckla liknande tillgängliga gränssnitt. Men den öppna källkodskaraktären hos FLUX.1 [schnell] och [dev] modeller kan leda till ett brett utbud av community-utvecklade verktyg och integrationer, som potentiellt överträffar Midjourney när det gäller flexibilitet och anpassningsmöjligheter.

Tekniska förmågor

Flux avancerade arkitektur och större modellstorlek tyder på att den kan ha mer rå kapacitet när det gäller att förstå komplexa uppmaningar och generera intrikata detaljer. Flödesmatchningsmetoden och hybridarkitekturen skulle kunna göra det möjligt för Flux att hantera ett bredare utbud av uppgifter och generera mer olika utdata.

Etiska överväganden och partiskhet

Både Flux och Midjourney står inför utmaningen att ta itu med etiska problem i AI-genererade bilder, såsom partiskhet, felaktig information och upphovsrättsfrågor. Black Forest Labs betoning på transparens och deras engagemang för att göra modeller allmänt tillgängliga kan potentiellt leda till mer robust gemenskapstillsyn och snabbare förbättringar inom dessa områden.

Kodimplementering och implementering

Använda Flux med diffusorer

Flux-modeller kan enkelt integreras i befintliga arbetsflöden med hjälp av Kramar ansiktsspridare bibliotek. Här är en steg-för-steg-guide för hur du använder FLUX.1 [dev] eller FLUX.1 [schnell] med diffusorer:

1. Installera eller uppgradera först Diffusers-biblioteket:

!pip install git+https://github.com/huggingface/diffusers.git

2. Sedan kan du använda FluxPipeline för att köra modellen:

import torch
from diffusers import FluxPipeline

# Load the model
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# Enable CPU offloading to save VRAM (optional)
pipe.enable_model_cpu_offload()

# Generate an image
prompt = "A cat holding a sign that says hello world"
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    output_type="pil",
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Save the generated image
image.save("flux-dev.png")

Installera Flux som ett API med LitServe

För dem som vill distribuera Flux som en skalbar API-tjänst, ger Black Forest Labs ett exempel med LitServe, en högpresterande inferensmotor. Här är en sammanfattning av distributionsprocessen:

Definiera modellservern:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
    def setup(self, device):
        # Load model components
        scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
        text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
        tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
        text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
        tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
        vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
        transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

        # Quantize to 8-bit to fit on an L4 GPU
        quantize(transformer, weights=qfloat8)
        freeze(transformer)
        quantize(text_encoder_2, weights=qfloat8)
        freeze(text_encoder_2)

        # Initialize the Flux pipeline
        self.pipe = FluxPipeline(
            scheduler=scheduler,
            text_encoder=text_encoder,
            tokenizer=tokenizer,
            text_encoder_2=None,
            tokenizer_2=tokenizer_2,
            vae=vae,
            transformer=None,
        )
        self.pipe.text_encoder_2 = text_encoder_2
        self.pipe.transformer = transformer
        self.pipe.enable_model_cpu_offload()

    def decode_request(self, request):
        return request["prompt"]

    def predict(self, prompt):
        image = self.pipe(
            prompt=prompt, 
            width=1024,
            height=1024,
            num_inference_steps=4, 
            generator=torch.Generator().manual_seed(int(time.time())),
            guidance_scale=3.5,
        ).images[0]
        return image

    def encode_response(self, image):
        buffered = BytesIO()
        image.save(buffered, format="PNG")
        return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# Start the server
if __name__ == "__main__":
    api = FluxLitAPI()
    server = ls.LitServer(api, timeout=False)
    server.run(port=8000)

Den här koden ställer in ett LitServe API för Flux, inklusive modellladdning, förfrågningshantering, bildgenerering och svarskodning.

Starta servern:

</pre>
python server.py
<pre>

Använd modellens API:

Du kan testa API:et med ett enkelt klientskript:

import requests
import json

url = "http://localhost:8000/predict"
prompt = "a robot sitting in a chair painting a picture on an easel of a futuristic cityscape, pop art"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
    f.write(response.content)

print("Image generated and saved as generated_image.png")

Huvudfunktioner i distributionen

1. Serverlös arkitektur: Den LitServe installationen möjliggör skalbar, serverlös distribution som kan skalas till noll när den inte används.
2. Privat API: Du kan distribuera Flux som ett privat API på din egen infrastruktur.
3. Multi-GPU Support: Installationen är utformad för att fungera effektivt över flera GPU:er.
4. kvantisering: Koden visar hur man kvantiserar modellen till 8-bitars precision, vilket gör att den kan köras på mindre kraftfull hårdvara som NVIDIA L4 GPU:er.
5. CPU-avlastning: Den enable_model_cpu_offload() Metoden används för att spara GPU-minne genom att ladda delar av modellen till CPU när den inte används.

Praktiska tillämpningar av Flux

Mångsidigheten och kraften hos Flux öppnar upp ett brett utbud av potentiella tillämpningar inom olika branscher:

1. Kreativa industrier: Grafiska designers, illustratörer och konstnärer kan använda Flux för att snabbt skapa konceptkonst, moodboards och visuella inspirationer.
2. Marknadsföring och reklam: Marknadsförare kan skapa anpassade bilder för kampanjer, innehåll i sociala medier och produktmodeller med oöverträffad hastighet och kvalitet.
3. spelutveckling: Speldesigners kan använda Flux för att snabbt prototypera miljöer, karaktärer och tillgångar, vilket effektiviserar förproduktionsprocessen.
4. Arkitektur och inredning: Arkitekter och designers kan generera realistiska visualiseringar av utrymmen och strukturer baserat på textbeskrivningar.
5. Utbildning: Lärare kan skapa anpassade visuella hjälpmedel och illustrationer för att förbättra läromedel och göra komplexa koncept mer tillgängliga.
6. Film och animation: Storyboardartister och animatörer kan använda Flux för att snabbt visualisera scener och karaktärer, vilket påskyndar förvisualiseringsprocessen.

Framtiden för flöde och text-till-bild-generering

Black Forest Labs har gjort det klart att Flux bara är början på deras ambitioner inom det generativa AI-utrymmet. De har tillkännagav planer att utveckla konkurrenskraftiga generativa text-till-video-system som lovar exakta skapande och redigeringsmöjligheter med hög upplösning och oöverträffad hastighet.

Denna färdplan antyder att Flux inte bara är en fristående produkt utan en del av ett bredare ekosystem av generativa AI-verktyg. När tekniken utvecklas kan vi förvänta oss att se:

1. Förbättrad integration: Sömlösa arbetsflöden mellan generering av text-till-bild och text-till-video, vilket möjliggör mer komplext och dynamiskt innehållsskapande.
2. Förbättrad anpassning: Mer finkornig kontroll över genererat innehåll, möjligen genom avancerad prompt ingenjörsteknik eller intuitiva användargränssnitt.
3. Generation i realtid: Eftersom modeller som FLUX.1 [schnell] fortsätter att förbättras, kan vi se funktioner för bildgenerering i realtid som kan revolutionera skapande av levande innehåll och interaktiva medier.
4. Cross-modal Generation: Förmågan att generera och manipulera innehåll över flera modaliteter (text, bild, video, ljud) på ett sammanhängande och integrerat sätt.
5. Etisk AI-utveckling: Fortsatt fokus på att utveckla AI-modeller som inte bara är kraftfulla utan också ansvarsfulla och etiskt sunda.

Slutsats: Är Flux bättre än Midjourney?

Frågan om Flux är "bättre" än Midjourney är inte lätt att besvara med ett enkelt ja eller nej. Båda modellerna representerar spjutspetsen inom text-till-bild-generering, var och en med sina egna styrkor och unika egenskaper.

Flux, med sin avancerade arkitektur och betoning på snabb efterlevnad, kan erbjuda mer exakt kontroll och potentiellt högre kvalitet i vissa scenarier. Dess öppen källkodsvarianter ger också möjligheter till anpassning och integration som kan vara mycket värdefulla för utvecklare och forskare.

midjourney, å andra sidan, har en bevisad meritlista, en stor och aktiv användarbas och en distinkt konstnärlig stil som många användare har kommit att älska. Dess integration med Discord och användarvänliga gränssnitt har gjort den mycket tillgänglig för kreativa på alla tekniska nivåer.

I slutändan kan den "bättre" modellen bero på det specifika användningsfallet, personliga preferenser och de utvecklande funktionerna hos varje plattform. Vad som är tydligt är att Flux representerar ett betydande steg framåt inom området generativ AI, introducerar innovativa tekniker och tänjer på gränserna för vad som är möjligt i text-till-bild-syntes.