Flux von Black Forest Labs: Der nächste Sprung in Text-to-Image-Modellen. Ist es besser als Midjourney?

Black Forest Labs, das Team hinter dem bahnbrechenden Stable-Diffusion-Modell, hat Flux veröffentlicht – eine Suite von State-of-the-Art-Modellen, die das Potenzial von künstlich generierten Bildern neu definieren sollen. Aber stellt Flux tatsächlich einen Sprung nach vorne in diesem Bereich dar und wie verhält es sich im Vergleich zu Branchenführern wie Midjourney? Lassen Sie uns tief in die Welt von Flux eintauchen und sein Potenzial erkunden, die Zukunft von künstlich generierten Kunstwerken und Medien zu prägen.

Die Geburt von Black Forest Labs

Black Forest Labs ist nicht nur ein weiteres AI-Startup; es ist ein Kraftpaket mit einem Nachweis über die Entwicklung grundlegender generativer AI-Modelle. Das Team umfasst die Erfinder von VQGAN, Latent Diffusion und der Stable-Diffusion-Modellfamilie, die die AI-Kunstwelt im Sturm erobert haben.

Black Forest Labs Open-Source FLUX.1

Mit einer erfolgreichen Series-Seed-Finanzierungsrunde von 31 Millionen Dollar unter der Führung von Andreessen Horowitz und der Unterstützung durch namhafte Business Angel-Investoren hat Black Forest Labs sich an die Spitze der generativen AI-Forschung gestellt. Ihre Mission ist klar: die Entwicklung und Weiterentwicklung von State-of-the-Art-Generativen Deep-Learning-Modellen für Medien wie Bilder und Videos, während sie die Grenzen von Kreativität, Effizienz und Vielfalt erweitern.

Vorstellung der Flux-Modellfamilie

Black Forest Labs hat die FLUX.1-Suite von Text-to-Image-Modellen vorgestellt, die darauf abzielen, neue Benchmarks in Bilddetail, Prompt-Adhärenz, Stilvielfalt und Szenenkomplexität zu setzen. Die Flux-Familie besteht aus drei Varianten, die jeweils für unterschiedliche Anwendungsfälle und Zugänglichkeitslevel konzipiert sind:

1. FLUX.1 [pro]: Das Flaggschiff-Modell, das Spitzenleistungen bei der Bildgenerierung mit überlegener Prompt-Adhärenz, visueller Qualität, Bilddetail und Ausgabevielfalt bietet. Es ist über eine API verfügbar und als Premium-Option für professionelle und Unternehmensanwendungen positioniert.
2. FLUX.1 [dev]: Ein offenes, guidance-destilliertes Modell für nicht-kommerzielle Anwendungen. Es ist darauf ausgelegt, ähnliche Qualität und Prompt-Adhärenz-Fähigkeiten wie die Pro-Version zu erreichen, während es effizienter ist.
3. FLUX.1 [schnell]: Das schnellste Modell im Paket, optimiert für lokale Entwicklung und persönliche Nutzung. Es ist unter einer Apache-2.0-Lizenz offen verfügbar, was es für eine breite Palette von Anwendungen und Experimenten zugänglich macht.

Ich werde einige einzigartige und kreative Prompt-Beispiele bereitstellen, die die Fähigkeiten von FLUX.1 demonstrieren. Diese Prompts sollen die Stärken des Modells bei der Textrendering, der komplexen Szenenkomposition und der detaillierten Objekterstellung hervorheben, während sie auch sein Potenzial für kreative und einzigartige Bildgenerierung zeigen.

Technische Innovationen hinter Flux

Im Herzen von Flux’ beeindruckenden Fähigkeiten liegt eine Reihe von technischen Innovationen, die es von seinen Vorgängern und Zeitgenossen abheben:

Transformer-gesteuerte Flow-Modelle im großen Maßstab

Alle öffentlichen FLUX.1-Modelle basieren auf einer Hybridarchitektur, die multimodale und parallele Diffusions-Transformer-Blöcke kombiniert, die auf 12 Milliarden Parameter skaliert sind. Dies stellt einen bedeutenden Sprung in Modellgröße und -komplexität im Vergleich zu vielen bestehenden Text-to-Image-Modellen dar.

Die Flux-Modelle verbessern sich gegenüber früheren State-of-the-Art-Diffusionsmodellen, indem sie Flow-Matching einbeziehen, eine allgemeine und konzeptionell einfache Methode zur Schulung generativer Modelle. Flow-Matching bietet einen flexibleren Rahmen für generatives Modellieren, wobei Diffusionsmodelle ein spezieller Fall innerhalb dieses umfassenderen Ansatzes sind.

Um die Modellleistung und Hardware-Effizienz zu verbessern, hat Black Forest Labs Rotary-Positionseingaben und parallele Aufmerksamkeitsebenen integriert. Diese Techniken ermöglichen eine bessere Handhabung von räumlichen Beziehungen in Bildern und eine effizientere Verarbeitung von großen Datenmengen.

Architektonische Innovationen

Lassen Sie uns einige der wichtigsten architektonischen Elemente aufschlüsseln, die zu Flux’ Leistung beitragen:

1. Hybridarchitektur: Durch die Kombination von multimodalen und parallelen Diffusions-Transformer-Blöcken kann Flux sowohl textuelle als auch visuelle Informationen effektiv verarbeiten, was zu einer besseren Ausrichtung zwischen Prompts und generierten Bildern führt.
2. Flow-Matching: Dieser Ansatz ermöglicht eine flexiblere und effizientere Schulung generativer Modelle. Er bietet einen einheitlichen Rahmen, der Diffusionsmodelle und andere generative Techniken umfasst, was möglicherweise zu robusteren und vielseitigeren Bildgenerierungen führen kann.
3. Rotary-Positionseingaben: Diese Eingaben helfen dem Modell, räumliche Beziehungen innerhalb von Bildern besser zu verstehen und zu erhalten, was für die Generierung kohärenter und detaillierter visueller Inhalte entscheidend ist.
4. Parallele Aufmerksamkeitsebenen: Diese Technik ermöglicht eine effizientere Verarbeitung von Aufmerksamkeitsmechanismen, die für das Verständnis von Beziehungen zwischen verschiedenen Elementen in Textprompts und generierten Bildern von entscheidender Bedeutung sind.
5. Skalierung auf 12 Milliarden Parameter: Die enorme Größe des Modells ermöglicht es, komplexere Muster und Beziehungen zu erfassen und zu synthetisieren, was möglicherweise zu höherer Qualität und vielfältigeren Ausgaben führt.

Benchmarks für Flux: Ein neuer Standard in der Bildsynthese

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs behauptet, dass FLUX.1 neue Standards in der Bildsynthese setzt und beliebte Modelle wie Midjourney v6.0, DALL·E 3 (HD) und SD3-Ultra in mehreren Schlüsselbereichen übertrifft:

1. Visuelle Qualität: Flux zielt darauf ab, Bilder mit höherer Fidelität, realistischeren Details und besserer ästhetischer Attraktivität zu produzieren.
2. Prompt-Adhärenz: Das Modell ist darauf ausgelegt, den gegebenen Textprompts genauer zu folgen und Bilder zu generieren, die den Absichten des Benutzers genau widerspiegeln.
3. Größen-/Aspektverhältnis-Variabilität: Flux unterstützt eine breite Palette von Aspektverhältnissen und Auflösungen, von 0,1 bis 2,0 Megapixeln, und bietet damit Flexibilität für verschiedene Anwendungsfälle.
4. Typografie: Das Modell zeigt verbesserte Fähigkeiten bei der Generierung und Darstellung von Text innerhalb von Bildern, einer häufigen Herausforderung für viele Text-to-Image-Modelle.
5. Ausgabevielfalt: Flux ist speziell fein abgestimmt, um die gesamte Ausgabevielfalt aus der Vorschulung zu erhalten, was eine breitere Palette von kreativen Möglichkeiten bietet.

Flux vs. Midjourney: Eine vergleichende Analyse

https://blackforestlabs.ai/announcing-black-forest-labs/

Nun ist die Frage, ob Flux besser ist als Midjourney. Um diese Frage zu beantworten, müssen wir mehrere Faktoren berücksichtigen:

Bildqualität und Ästhetik

Sowohl Flux als auch Midjourney sind für die Erzeugung hochwertiger, visuell ansprechender Bilder bekannt. Midjourney wurde für seinen künstlerischen Flair und die Fähigkeit gelobt, Bilder mit einem einzigartigen ästhetischen Reiz zu erstellen. Flux, mit seiner fortschrittlichen Architektur und größeren Parameteranzahl, zielt darauf ab, dieses Qualitätsniveau zu erreichen oder zu übertreffen.

Frühe Beispiele von Flux zeigen beeindruckende Details, realistische Texturen und ein starkes Verständnis von Licht und Komposition. Allerdings ist die subjektive Natur von Kunst es schwierig, in diesem Bereich eine definitive Überlegenheit zu behaupten. Benutzer können feststellen, dass jedes Modell seine Stärken in unterschiedlichen Stilen oder Arten von Bildern hat.

Prompt-Adhärenz

Ein Bereich, in dem Flux möglicherweise Midjourney übertrifft, ist die Prompt-Adhärenz. Black Forest Labs hat betont, dass sie sich auf die Verbesserung der Fähigkeit des Modells konzentrieren, gegebene Prompts genau zu interpretieren und auszuführen. Dies könnte zu generierten Bildern führen, die den Absichten des Benutzers genauer entsprechen, insbesondere für komplexe oder nuancierte Anfragen.

Midjourney wurde manchmal dafür kritisiert, dass es kreative Freiheiten mit Prompts nimmt, was zu schönen, aber unerwarteten Ergebnissen führen kann. Der Ansatz von Flux könnte präzisere Kontrolle über die generierte Ausgabe bieten.

Geschwindigkeit und Effizienz

Mit der Einführung von FLUX.1 [schnell] zielt Black Forest Labs auf einen der Hauptvorteile von Midjourney ab: Geschwindigkeit. Midjourney ist für seine schnellen Generierungszeiten bekannt, was es bei iterativen kreativen Prozessen beliebt gemacht hat. Wenn Flux diese Geschwindigkeit erreichen oder übertreffen kann, während es die Qualität beibehält, könnte dies ein bedeutender Verkaufspunkt sein.

Zugänglichkeit und Benutzerfreundlichkeit

Midjourney hat an Popularität gewonnen, teilweise aufgrund seiner benutzerfreundlichen Oberfläche und Integration mit Discord. Flux, als neueres Modell, benötigt möglicherweise Zeit, um ähnlich zugängliche Schnittstellen zu entwickeln. Allerdings könnte die Open-Source-Natur der FLUX.1-[schnell]- und [dev]-Modelle zu einer breiten Palette von Community-entwickelten Tools und Integrationen führen, die möglicherweise Midjourney in puncto Flexibilität und Anpassungsoptionen übertrumpfen.

Technische Fähigkeiten

Die fortschrittliche Architektur und größere Modellgröße von Flux deuten darauf hin, dass es möglicherweise mehr Rohkapazität in Bezug auf das Verständnis komplexer Prompts und die Generierung detaillierter Elemente hat. Der Flow-Matching-Ansatz und die Hybridarchitektur könnten es Flux ermöglichen, eine breitere Palette von Aufgaben zu bewältigen und vielfältigere Ausgaben zu generieren.

Ethische Überlegungen und Bias-Minderung

Sowohl Flux als auch Midjourney stehen vor der Herausforderung, ethische Bedenken im Zusammenhang mit künstlich generierten Bildern zu adressieren, wie z.B. Bias, Fehlinformationen und Urheberrechtsfragen. Der Fokus von Black Forest Labs auf Transparenz und ihr Engagement für die breite Verfügbarkeit von Modellen könnten möglicherweise zu robusterer Community-Überwachung und schnelleren Fortschritten in diesen Bereichen führen.

Code-Implementierung und -Bereitstellung

Verwendung von Flux mit Diffusers

Flux-Modelle können leicht in bestehende Workflows mithilfe der Hugging Face Diffusers-Bibliothek integriert werden. Hier ist eine Schritt-für-Schritt-Anleitung zur Verwendung von FLUX.1 [dev] oder FLUX.1 [schnell] mit Diffusers:

1. Zuerst installieren oder aktualisieren Sie die Diffusers-Bibliothek:

!pip install git+https://github.com/huggingface/diffusers.git

2. Dann können Sie die FluxPipeline verwenden, um das Modell auszuführen:

import torch
from diffusers import FluxPipeline

# Laden des Modells
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# Aktivieren der CPU-Offloading, um VRAM zu sparen (optional)
pipe.enable_model_cpu_offload()

# Erzeugen eines Bildes
prompt = "Eine Katze, die ein Schild hält, auf dem 'Hallo Welt' steht"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Speichern des erzeugten Bildes
image.save("flux-dev.png")

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Laden der Modellkomponenten
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

# Quantisierung auf 8-Bit, um auf weniger leistungsfähiger Hardware wie NVIDIA L4-GPUs zu passen
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

# Initialisieren der Flux-Pipeline
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()

def decode_request(self, request):
return request["prompt"]

def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image

def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# Starten des Servers
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)

python server.py

import requests
import json

url = "http://localhost:8000/predict"
prompt = "Ein Roboter, der in einem Stuhl sitzt und auf einer Staffelei ein Bild von einer futuristischen Stadtlandschaft malt, im Pop-Art-Stil"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)

print("Bild generiert und als generated_image.png gespeichert")