Flux von Black Forest Labs: Der nächste Schritt in Text-to-Image-Modellen. Ist es besser als Midjourney?

Black Forest Labs, das Team hinter dem bahnbrechenden Stable-Diffusion-Modell, hat Flux veröffentlicht – eine Suite von State-of-the-Art-Modellen, die die Fähigkeiten von AI-generierten Bildern neu definieren sollen. Aber stellt Flux tatsächlich einen Sprung nach vorne in diesem Bereich dar, und wie schneidet es im Vergleich zu Branchenführern wie Midjourney ab? Lassen Sie uns tief in die Welt von Flux eintauchen und seine Potenziale erkunden, um die Zukunft von AI-generierter Kunst und Medien zu gestalten.

Die Geburt von Black Forest Labs

Black Forest Labs ist nicht nur ein weiteres AI-Startup; es ist ein Talentpool mit einer Erfolgsbilanz bei der Entwicklung von grundlegenden generativen AI-Modellen. Das Team umfasst die Erfinder von VQGAN, Latent Diffusion und der Stable-Diffusion-Modellfamilie, die die AI-Kunstwelt im Sturm erobert haben.

Black Forest Labs Open-Source FLUX.1

Mit einer erfolgreichen Series-Seed-Finanzierungsrunde von 31 Millionen Dollar unter der Führung von Andreessen Horowitz und der Unterstützung durch namhafte Business Angel-Investoren hat Black Forest Labs sich an die Spitze der generativen AI-Forschung gesetzt. Ihre Mission ist klar: die Entwicklung und Weiterentwicklung von State-of-the-Art-Modellen für generative Deep-Learning-Modelle für Medien wie Bilder und Videos, während sie die Grenzen von Kreativität, Effizienz und Vielfalt erweitern.

Vorstellung der Flux-Modellfamilie

Black Forest Labs hat die FLUX.1-Suite von Text-to-Image-Modellen vorgestellt, die darauf abzielt, neue Benchmarks in Bild-detail, Prompt-Adhärenz, Stil-Vielfalt und Szenen-Komplexität zu setzen. Die Flux-Familie besteht aus drei Varianten, die jeweils für unterschiedliche Anwendungsfälle und Zugänglichkeitsstufen konzipiert sind:

1. FLUX.1 [pro]: Das Flaggschiff-Modell, das Spitzenleistungen in der Bildgenerierung mit überlegener Prompt-Adhärenz, visueller Qualität, Bild-Detail und Ausgabevielfalt bietet. Es ist über eine API verfügbar und wird als Premium-Option für professionelle und Unternehmensanwendungen positioniert.
2. FLUX.1 [dev]: Ein Open-Weight-Modell für nicht-kommerzielle Anwendungen. Es ist darauf ausgelegt, ähnliche Qualität und Prompt-Adhärenz-Fähigkeiten wie die Pro-Version zu erreichen, während es effizienter ist.
3. FLUX.1 [schnell]: Das schnellste Modell im Paket, optimiert für lokale Entwicklung und persönliche Nutzung. Es ist unter einer Apache-2.0-Lizenz frei verfügbar, was es für eine Vielzahl von Anwendungen und Experimenten zugänglich macht.

Ich werde einige einzigartige und kreative Prompt-Beispiele bereitstellen, die die Fähigkeiten von FLUX.1 demonstrieren. Diese Prompts werden die Stärken des Modells bei der Textrendering, komplexen Szenenkompositionen und detaillierten Objekterstellung hervorheben, während sie auch sein Potenzial für kreative und einzigartige Bildgenerierung zeigen.

• Künstlerischer Stil-Mix mit Text: “Erstelle ein Porträt von Vincent van Gogh in seinem eigenen Stil, aber ersetze seinen Bart durch sich drehende Pinselstriche, die die Wörter ‘Starry Night’ in kursiver Schrift bilden.”

Black Forest Labs Open-Source FLUX.1

• Dynamische Aktions-Szene mit Text-Integration: “Ein Superheld, der durch eine Comic-Seite bricht. Die Aktionslinien und Soundeffekte sollten den Namen ‘FLUX FORCE’ in fetter, dynamischer Typografie bilden.”

Black Forest Labs Open-Source FLUX.1

• Surrealer Konzept mit präziser Objekt-Platzierung: “Nahaufnahme einer süßen Katze mit braunen und weißen Farben unter Fenster-Sonnenschein. Scharfer Fokus auf Augen-Textur und -Farbe. Natürliches Licht, um authentischen Augen-Glanz und -Tiefe zu erfassen.”

Black Forest Labs Open-Source FLUX.1

Diese Prompts sind darauf ausgelegt, die Fähigkeiten von FLUX.1 bei der Text-Rendering, komplexen Szenen-Kompositionen und detaillierten Objekterstellung zu testen, während sie auch sein Potenzial für kreative und einzigartige Bildgenerierung demonstrieren.

Technische Innovationen hinter Flux

Im Herzen von Flux’ beeindruckenden Fähigkeiten liegen eine Reihe von technischen Innovationen, die es von seinen Vorgängern und Zeitgenossen unterscheiden:

Transformer-gestützte Flow-Modelle im großen Maßstab

Alle öffentlichen FLUX.1-Modelle basieren auf einer Hybrid-Architektur, die multimodale und parallele Diffusions-Transformer-Blöcke kombiniert, skaliert auf 12 Milliarden Parameter. Dies stellt einen bedeutenden Sprung in der Modellgröße und -Komplexität im Vergleich zu vielen bestehenden Text-to-Image-Modellen dar.

Die Flux-Modelle verbessern die vorherigen State-of-the-Art-Diffusions-Modelle, indem sie Flow-Matching integrieren, eine allgemeine und konzeptionell einfache Methode für die Ausbildung generativer Modelle. Flow-Matching bietet einen flexibleren Rahmen für generatives Modellieren, wobei Diffusions-Modelle ein spezieller Fall innerhalb dieses breiteren Ansatzes sind.

Um die Modellleistung und Hardware-Effizienz zu verbessern, hat Black Forest Labs rotierende Positionseingaben und parallele Aufmerksamkeitsebenen integriert. Diese Techniken ermöglichen eine bessere Verarbeitung räumlicher Beziehungen in Bildern und eine effizientere Verarbeitung großer Datenmengen.

Architektonische Innovationen

Lassen Sie uns einige der wichtigsten architektonischen Elemente aufschlüsseln, die zu Flux’ Leistung beitragen:

1. Hybrid-Architektur: Durch die Kombination multimodaler und paralleler Diffusions-Transformer-Blöcke kann Flux sowohl textuelle als auch visuelle Informationen effektiv verarbeiten, was zu einer besseren Ausrichtung zwischen Prompts und generierten Bildern führt.
2. Flow-Matching: Dieser Ansatz ermöglicht eine flexiblere und effizientere Ausbildung generativer Modelle. Es bietet einen einheitlichen Rahmen, der Diffusions-Modelle und andere generative Techniken umfasst, was möglicherweise zu robusteren und vielseitigeren Bildgenerierung führen kann.
3. Rotierende Positionseingaben: Diese Eingaben helfen dem Modell, räumliche Beziehungen innerhalb von Bildern besser zu verstehen und zu erhalten, was für die Generierung kohärenter und detaillierter visueller Inhalte von entscheidender Bedeutung ist.
4. Parallele Aufmerksamkeitsebenen: Diese Technik ermöglicht eine effizientere Verarbeitung von Aufmerksamkeitsmechanismen, die für das Verständnis von Beziehungen zwischen verschiedenen Elementen in Text-Prompts und generierten Bildern von entscheidender Bedeutung sind.
5. Skalierung auf 12 Milliarden Parameter: Die enorme Größe des Modells ermöglicht es, komplexere Muster und Beziehungen zu erfassen und zu synthetisieren, was möglicherweise zu höherer Qualität und vielfältigeren Ausgaben führen kann.

Bewertung von Flux: Ein neuer Standard in der Bildsynthese

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs behauptet, dass FLUX.1 neue Standards in der Bildsynthese setzt, indem es beliebte Modelle wie Midjourney v6.0, DALL·E 3 (HD) und SD3-Ultra in mehreren wichtigen Aspekten übertrifft:

1. Visuelle Qualität: Flux zielt darauf ab, Bilder mit höherer Fidelität, realistischeren Details und besserer ästhetischer Attraktivität zu produzieren.
2. Prompt-Adhärenz: Das Modell ist darauf ausgelegt, den gegebenen Text-Prompts genauer zu folgen und Bilder zu generieren, die den Absichten des Benutzers besser entsprechen.
3. Größe/Aspekt-Veränderlichkeit: Flux unterstützt eine breite Palette von Aspekt-Verhältnissen und Auflösungen, von 0,1 bis 2,0 Megapixeln, und bietet damit Flexibilität für verschiedene Anwendungsfälle.
4. Schrift: Das Modell zeigt verbesserte Fähigkeiten bei der Generierung und Darstellung von Text innerhalb von Bildern, eine häufige Herausforderung für viele Text-to-Image-Modelle.
5. Ausgabevielfalt: Flux ist speziell fein abgestimmt, um die gesamte Ausgabevielfalt aus der Vorausbildung zu erhalten, und bietet damit ein breiteres Spektrum an kreativen Möglichkeiten.

Flux vs. Midjourney: Eine vergleichende Analyse

https://blackforestlabs.ai/announcing-black-forest-labs/

Nun stellen wir uns die brennende Frage: Ist Flux besser als Midjourney? Um diese Frage zu beantworten, müssen wir mehrere Faktoren berücksichtigen:

Bildqualität und Ästhetik

Sowohl Flux als auch Midjourney sind bekannt für die Erzeugung von hochwertigen, visuell atemberaubenden Bildern. Midjourney wurde für seinen künstlerischen Flair und seine Fähigkeit, Bilder mit einer einzigartigen ästhetischen Attraktivität zu erstellen, gelobt. Flux, mit seiner fortschrittlichen Architektur und größeren Parameteranzahl, zielt darauf ab, dieses Qualitätsniveau zu erreichen oder zu übertreffen.

Frühe Beispiele von Flux zeigen beeindruckende Details, realistische Texturen und ein starkes Verständnis von Licht und Komposition. Allerdings macht die subjektive Natur der Kunst es schwierig, in diesem Bereich eine definitive Überlegenheit zu behaupten. Benutzer können feststellen, dass jedes Modell seine Stärken in unterschiedlichen Stilen oder Bildtypen hat.

Prompt-Adhärenz

Ein Bereich, in dem Flux möglicherweise Midjourney übertrifft, ist die Prompt-Adhärenz. Black Forest Labs hat betont, dass sie sich auf die Verbesserung der Fähigkeit des Modells konzentrieren, gegebene Prompts genau zu interpretieren und auszuführen. Dies könnte zu generierten Bildern führen, die den Absichten des Benutzers besser entsprechen, insbesondere für komplexe oder nuancierte Anfragen.

Midjourney wurde manchmal dafür kritisiert, dass es kreative Freiheiten mit Prompts nimmt, was zu schönen, aber unerwarteten Ergebnissen führen kann. Flux’ Ansatz könnte eine präzisere Kontrolle über die generierte Ausgabe bieten.

Geschwindigkeit und Effizienz

Mit der Einführung von FLUX.1 [schnell] zielt Black Forest Labs auf einen der Hauptvorteile von Midjourney ab: Geschwindigkeit. Midjourney ist für seine schnellen Generierungszeiten bekannt, was es bei iterativen kreativen Prozessen beliebt gemacht hat. Wenn Flux diese Geschwindigkeit bei gleichbleibender Qualität erreichen oder übertreffen kann, könnte dies ein wichtiger Verkaufspunkt sein.

Zugänglichkeit und Benutzerfreundlichkeit

Midjourney hat an Popularität gewonnen, teilweise aufgrund seiner benutzerfreundlichen Oberfläche und Integration mit Discord. Flux, als neuerer, muss möglicherweise Zeit benötigen, um ähnlich zugängliche Schnittstellen zu entwickeln. Allerdings könnte die Open-Source-Natur von FLUX.1 [schnell] und [dev] zu einer breiten Palette von Community-Entwicklungen und -Integrationen führen, was es in Bezug auf Flexibilität und Anpassungsmöglichkeiten möglicherweise über Midjourney hinausführen könnte.

Technische Fähigkeiten

Flux’ fortschrittliche Architektur und größere Modellgröße deuten darauf hin, dass es möglicherweise mehr Rohkapazität in Bezug auf das Verständnis komplexer Prompts und die Generierung von detaillierten Details hat. Der Flow-Matching-Ansatz und die Hybrid-Architektur könnten es Flux ermöglichen, eine breitere Palette von Aufgaben zu bewältigen und vielfältigere Ausgaben zu generieren.

Ethische Überlegungen und Bias-Minderung

Sowohl Flux als auch Midjourney stehen vor der Herausforderung, ethische Bedenken im Zusammenhang mit AI-generierten Bildern zu bewältigen, wie Bias, Fehlinformationen und Urheberrechtsfragen. Black Forest Labs’ Betonung von Transparenz und ihr Engagement für die breite Verfügbarkeit von Modellen könnten möglicherweise zu einer stärkeren Community-Überwachung und schnelleren Fortschritten in diesen Bereichen führen.

Code-Implementierung und -Bereitstellung

Verwendung von Flux mit Diffusers

Flux-Modelle können leicht in bestehende Workflows mit der Hugging Face Diffusers-Bibliothek integriert werden. Hier ist eine Schritt-für-Schritt-Anleitung zur Verwendung von FLUX.1 [dev] oder FLUX.1 [schnell] mit Diffusers:

1. Zuerst installieren oder aktualisieren Sie die Diffusers-Bibliothek:

!pip install git+https://github.com/huggingface/diffusers.git

2. Dann können Sie die FluxPipeline verwenden, um das Modell auszuführen:

import torch
from diffusers import FluxPipeline

<p># Laden des Modells
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)</p>

<p># Aktivieren von CPU-Offloading, um VRAM zu sparen (optional)
pipe.enable_model_cpu_offload()</p>

<p># Erzeugen eines Bildes
prompt = "Eine Katze, die ein Schild hält, auf dem 'Hallo Welt' steht"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]</p>

<p># Speichern des erzeugten Bildes
image.save("flux-dev.png")

Bereitstellung von Flux als API mit LitServe

Für diejenigen, die Flux als skalierbaren API-Dienst bereitstellen möchten, bietet Black Forest Labs ein Beispiel mit LitServe, einem Hochleistungs-Inferenz-Engine. Hier ist eine Aufschlüsselung des Bereitstellungsprozesses:

Definieren des Modell-Servers:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

<p>class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Laden von Modellkomponenten
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)</p>

<p># Quantisierung auf 8-Bit, um auf einer L4-GPU zu passen
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)</p>

<p># Initialisieren der Flux-Pipeline
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()</p>

<p>def decode_request(self, request):
return request["prompt"]</p>

<p>def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image</p>

<p>def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})</p>

<p># Starten des Servers
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)</p>

Dieser Code richtet einen LitServe-API-Server für Flux ein, einschließlich Modell-Ladens, Anfrage-Verarbeitung, Bild-Generierung und Antwort-Codierung.

Starten des Servers:

</pre>
python server.py
<pre>

Verwenden der Modell-API:

Sie können die API mit einem einfachen Client-Skript testen:

import requests
import json

<p>url = "http://localhost:8000/predict"
prompt = "Ein Roboter, der in einem Stuhl sitzt und ein Bild auf einer Staffelei von einer futuristischen Stadtlandschaft malt, Pop-Art"</p>

<p>response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)</p>

<p>print("Bild erzeugt und als generated_image.png gespeichert")</p>

Schlüsselmerkmale der Bereitstellung

1. Serverlose Architektur: Die LitServe-Konfiguration ermöglicht eine skalierbare, serverlose Bereitstellung, die auf Null skaliert werden kann, wenn sie nicht in Verwendung ist.
2. Private API: Sie können Flux als private API auf Ihrer eigenen Infrastruktur bereitstellen.
3. Mehrere GPU-Unterstützung: Die Konfiguration ist für eine effiziente Arbeit auf mehreren GPUs ausgelegt.
4. Quantisierung: Der Code demonstriert, wie man das Modell auf 8-Bit-Präzision quantisiert, um es auf weniger leistungsfähiger Hardware wie NVIDIA L4-GPUs ausführen zu können.
5. CPU-Offloading: Die enable_model_cpu_offload()-Methode wird verwendet, um GPU-Speicher zu sparen, indem Teile des Modells auf die CPU ausgelagert werden, wenn sie nicht in Verwendung sind.

Praktische Anwendungen von Flux

Die Vielseitigkeit und Leistung von Flux eröffnen eine breite Palette von potenziellen Anwendungen in verschiedenen Branchen:

1. Kreative Branchen: Grafikdesigner, Illustratoren und Künstler können Flux verwenden, um schnell Konzeptkunst, Moodboards und visuelle Inspirationen zu generieren.
2. Marketing und Werbung: Marketer können benutzerdefinierte Visuelle für Kampagnen, Social-Media-Inhalte und Produkt-Mockups mit unvergleichlicher Geschwindigkeit und Qualität erstellen.
3. Spiele-Entwicklung: Spiele-Designer können Flux verwenden, um schnell Umgebungen, Charaktere und Assets zu prototypisieren, wodurch der Pre-Production-Prozess beschleunigt wird.
4. Architektur und Innenarchitektur: Architekten und Designer können realistische Visualisierungen von Räumen und Strukturen basierend auf textuellen Beschreibungen generieren.
5. Bildung: Pädagogen können benutzerdefinierte visuelle Hilfsmittel und Illustrationen erstellen, um Lernmaterialien zu verbessern und komplexe Konzepte zugänglicher zu machen.
6. Film und Animation: Storyboard-Künstler und Animatoren können Flux verwenden, um Szenen und Charaktere schnell zu visualisieren, wodurch der Pre-Visualisierungs-Prozess beschleunigt wird.

Die Zukunft von Flux und Text-to-Image-Generierung

Black Forest Labs hat deutlich gemacht, dass Flux nur der Anfang ihrer Ambitionen im Bereich der generativen KI ist. Sie haben Pläne angekündigt, wettbewerbsfähige generative Text-to-Video-Systeme zu entwickeln, die präzise Erstellung und Bearbeitungsfunktionen in hoher Auflösung und unvergleichlicher Geschwindigkeit bieten.

Dieser Roadmap zufolge ist Flux nicht nur ein eigenständiges Produkt, sondern Teil eines umfassenden Ökosystems von generativen KI-Tools. Wenn die Technologie fortschreitet, können wir erwarten:

1. Verbesserte Integration: Nahtlose Workflows zwischen Text-to-Image- und Text-to-Video-Generierung, die es ermöglichen, komplexere und dynamischere Inhalte zu erstellen.
2. Erweiterte Anpassung: Feinere Kontrolle über die generierten Inhalte, möglicherweise durch fortgeschrittene Prompt-Engineering-Techniken oder intuitive Benutzeroberflächen.
3. Echtzeit-Generierung: Wenn Modelle wie FLUX.1 [schnell] weiter verbessert werden, können wir möglicherweise Echtzeit-Bildgenerierungsfunktionen sehen, die die Live-Inhalts-Erstellung und interaktive Medien revolutionieren könnten.
4. Quermodale Generierung: Die Fähigkeit, Inhalte über mehrere Modalitäten (Text, Bild, Video, Audio) hinweg in einer kohärenten und integrierten Weise zu generieren und zu manipulieren.
5. Verantwortungsvolle KI-Entwicklung: Fortgesetzter Fokus auf die Entwicklung von KI-Modellen, die nicht nur leistungsfähig, sondern auch verantwortungsvoll und ethisch einwandfrei sind.

Fazit: Ist Flux besser als Midjourney?

Die Frage, ob Flux “besser” ist als Midjourney, lässt sich nicht einfach mit einem Ja oder Nein beantworten. Beide Modelle repräsentieren die Spitze der Text-to-Image-Generierungstechnologie, jedes mit seinen eigenen Stärken und einzigartigen Merkmalen.

Flux, mit seiner fortschrittlichen Architektur und Betonung der Prompt-Adhärenz, bietet möglicherweise präzisere Kontrolle und potenziell höhere Qualität in bestimmten Szenarien. Seine Open-Source-Varianten bieten außerdem Möglichkeiten für Anpassung und Integration, die für Entwickler und Forscher von großem Wert sein könnten.

Midjourney hingegen hat eine bewährte Erfolgsbilanz, eine große und aktive Benutzerbasis und einen einzigartigen künstlerischen Stil, den viele Benutzer zu schätzen gelernt haben. Seine Integration mit Discord und die benutzerfreundliche Oberfläche haben es für Kreative aller technischen Fähigkeitsstufen zugänglich gemacht.

Letztendlich hängt das “bessere” Modell von dem spezifischen Anwendungsfall, den persönlichen Vorlieben und den sich entwickelnden Fähigkeiten jeder Plattform ab. Was klar ist, ist, dass Flux einen bedeutenden Schritt in der generativen KI darstellt, indem es innovative Techniken einführt und die Grenzen dessen erweitert, was in der Text-to-Image-Synthese möglich ist.