Flux van Black Forest Labs: De Volgende Sprong in Tekst-naar-Afbeelding Modellen. Is het beter dan Midjourney?

Black Forest Labs, het team achter het baanbrekende Stable Diffusion-model, heeft Flux uitgebracht – een suite van state-of-the-art-modellen die de mogelijkheden van AI-gegenereerde beelden opnieuw willen definiëren. Maar vertegenwoordigt Flux echt een sprong voorwaarts in het veld, en hoe staat het ervoor in vergelijking met industrieleiders zoals Midjourney? Laten we diep duiken in de wereld van Flux en onderzoeken het potentieel om de toekomst van AI-gegenereerde kunst en media te herschappen.

De Geboorte van Black Forest Labs

Black Forest Labs is niet zomaar een AI-startup; het is een krachtcentrum van talent met een trackrecord van het ontwikkelen van fundamentele generatieve AI-modellen. Het team omvat de makers van VQGAN, Latent Diffusion en de Stable Diffusion-familie van modellen die de AI-kunstwereld hebben veroverd.

Black Forest Labs Open-Source FLUX.1

Met een succesvolle Series Seed-financieringsronde van $31 miljoen geleid door Andreessen Horowitz en steun van opvallende angel-investeerders, heeft Black Forest Labs zichzelf aan de vooravond van generatieve AI-onderzoek geplaatst. Hun missie is duidelijk: het ontwikkelen en verbeteren van state-of-the-art generatieve diepe leermodellen voor media zoals afbeeldingen en video’s, terwijl ze de grenzen van creativiteit, efficiëntie en diversiteit verleggen.

Introductie van de Flux Model Familie

Black Forest Labs heeft de FLUX.1-suite van tekst-naar-afbeelding-modellen geïntroduceerd, ontworpen om nieuwe benchmarks te zetten in afbeeldingsdetail, prompt-adherentie, stijldiversiteit en scène-complexiteit. De Flux-familie bestaat uit drie varianten, elk aangepast aan verschillende use-cases en toegankelijkheidsniveaus:

1. FLUX.1 [pro]: Het vlaggenschip-model, dat topniveau-prestaties biedt in afbeeldingsgeneratie met superieure prompt-volging, visuele kwaliteit, afbeeldingsdetail en output-diversiteit. Beschikbaar via een API, wordt het gepositioneerd als het premium-optie voor professioneel en ondernemingsgebruik.
2. FLUX.1 [dev]: Een open-gewicht, guidance-geëxtraheerd model voor niet-commerciële toepassingen. Het is ontworpen om soortgelijke kwaliteit en prompt-adherentie-capaciteiten te bereiken als de pro-versie, terwijl het meer efficiënt is.
3. FLUX.1 [schnell]: Het snelste model in de suite, geoptimaliseerd voor lokale ontwikkeling en persoonlijk gebruik. Het is openbaar beschikbaar onder een Apache 2.0-licentie, waardoor het toegankelijk is voor een breed scala aan toepassingen en experimenten.

Ik zal enkele unieke en creatieve prompt-voorbeelden geven die de mogelijkheden van FLUX.1 laten zien. Deze prompts zullen de sterktes van het model in het omgaan met tekst, complexe composities en uitdagende elementen zoals handen benadrukken.

• Kunststijl-blending met tekst: “Maak een portret van Vincent van Gogh in zijn kenmerkende stijl, maar vervang zijn baard door kronkelende penseelstreken die de woorden ‘Starry Night’ in schuinschrift vormen.”

Black Forest Labs Open-Source FLUX.1

• Dynamische actiescène met tekst-integratie: “Een superheld die door een stripboekpagina breekt. De actielijnen en geluidseffecten moeten de heldennaam ‘FLUX FORCE’ in bold, dynamische typografie vormen.”

Black Forest Labs Open-Source FLUX.1

• Surrealistisch concept met precieze objectplaatsing: “Close-up van een schattig katje met bruine en witte kleuren onder raamlicht. Scherpe focus op oogtextuur en kleur. Natuurlijk licht om authentieke oogglans en diepte te vangen.”

Black Forest Labs Open-Source FLUX.1

Deze prompts zijn ontworpen om de mogelijkheden van FLUX.1 te testen in tekstweergave, complexe scène-compositie en gedetailleerde objectcreatie, terwijl ze ook het potentieel voor creatieve en unieke afbeeldingsgeneratie laten zien.

Technische Innovaties Achter Flux

Aan de basis van de indrukwekkende mogelijkheden van Flux liggen een reeks technische innovaties die het onderscheiden van zijn voorgangers en tijdgenoten:

Transformer-geactiveerde Flow Modellen op Schaal

Alle openbare FLUX.1-modellen zijn gebouwd op een hybride architectuur die multimodale en parallelle diffusietransformer-blokken combineert, geschaald tot een indrukwekkende 12 miljard parameters. Dit vertegenwoordigt een significante sprong in modelgrootte en complexiteit in vergelijking met veel bestaande tekst-naar-afbeelding-modellen.

De Flux-modellen verbeteren de vorige state-of-the-art diffusie-modellen door het incorporeren van flow-matching, een algemene en conceptueel eenvoudige methode voor het trainen van generatieve modellen. Flow-matching biedt een flexibelere framework voor generatief modelleren, waarbij diffusie-modellen een speciaal geval binnen deze bredere benadering vormen.

Om modelprestaties en hardware-efficiëntie te verbeteren, heeft Black Forest Labs rotatieposities en parallelle aandachtlaagjes geïntegreerd. Deze technieken stellen het model in staat om beter om te gaan met ruimtelijke relaties in afbeeldingen en om grote hoeveelheden gegevens efficiënter te verwerken.

Architecturale Innovaties

Laten we enkele van de belangrijkste architectonische elementen die bijdragen aan de prestaties van Flux uiteenzetten:

1. Hybride Architectuur: Door het combineren van multimodale en parallelle diffusietransformer-blokken kan Flux zowel tekstuele als visuele informatie effectief verwerken, wat leidt tot een betere afstemming tussen prompts en gegenereerde afbeeldingen.
2. Flow Matching: Deze benadering stelt het model in staat om flexibeler en efficiënter te trainen. Het biedt een geünificeerd framework dat diffusie-modellen en andere generatieve technieken omvat, wat potentieel kan leiden tot robuustere en veelzijdigere afbeeldingsgeneratie.
3. Rotatieposities: Deze posities helpen het model om beter te begrijpen en te behouden van ruimtelijke relaties binnen afbeeldingen, wat cruciaal is voor het genereren van coherent en gedetailleerd visueel materiaal.
4. Parallelle Aandachtlaagjes: Deze techniek stelt het model in staat om aandachtmecanismen efficiënter te verwerken, wat essentieel is voor het begrijpen van relaties tussen verschillende elementen in zowel tekstprompts als gegenereerde afbeeldingen.
5. Schaalbaarheid tot 12B Parameters: De enorme omvang van het model stelt het in staat om complexere patronen en relaties te begrijpen en te synthetiseren, wat potentieel kan leiden tot hogere kwaliteit en diversiteit in de output.

Benchmarking Flux: Een Nieuwe Standaard in Afbeeldingssynthese

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs beweert dat FLUX.1 een nieuwe standaard zet in afbeeldingssynthese, waarbij het populaire modellen zoals Midjourney v6.0, DALL·E 3 (HD) en SD3-Ultra in verschillende sleutelgebieden overtreft:

1. Visuele Kwaliteit: Flux heeft als doel afbeeldingen te produceren met hogere geloofwaardigheid, meer realistische details en betere algehele esthetische aantrekkingskracht.
2. Prompt Volging: Het model is ontworpen om nauwer aan te sluiten bij de gegeven tekstprompts, waardoor gegenereerde afbeeldingen die meer nauwkeurig de bedoelingen van de gebruiker weerspiegelen.
3. Grootte/Aspect Verandering: Flux ondersteunt een diverse reeks aspectverhoudingen en resoluties, van 0,1 tot 2,0 megapixels, waardoor het flexibel is voor verschillende toepassingen.
4. Typografie: Het model toont verbeterde capaciteiten in het genereren en weergeven van tekst binnen afbeeldingen, een gemeenschappelijke uitdaging voor veel tekst-naar-afbeelding-modellen.
5. Output Diversiteit: Flux is specifiek gefinetuned om de gehele output-diversiteit van de vooraftraining te behouden, waardoor een bredere range van creatieve mogelijkheden ontstaat.

Flux vs. Midjourney: Een Vergelijkende Analyse

https://blackforestlabs.ai/announcing-black-forest-labs/

Nu, laten we de brandende vraag aanpakken: Is Flux beter dan Midjourney? Om dit te beantwoorden, moeten we verschillende factoren in overweging nemen:

Afbeeldingskwaliteit en Esthetiek

Zowel Flux als Midjourney zijn bekend om het produceren van hoogwaardige, visueel spectaculaire afbeeldingen. Midjourney is geprezen voor zijn artistieke flair en vermogen om afbeeldingen te creëren met een onderscheidende esthetische aantrekkingskracht. Flux, met zijn geavanceerde architectuur en grotere modelgrootte, beoogt dit niveau van kwaliteit te evenaren of te overtreffen.

Vroege voorbeelden van Flux laten indrukwekkende details, realistische textures en een sterk begrip van licht en compositie zien. Echter, de subjectieve aard van kunst maakt het moeilijk om met zekerheid superioriteit in dit gebied te claimen. Gebruikers kunnen vinden dat elk model zijn eigen sterktes heeft in verschillende stijlen of soorten beelden.

Prompt Volging

Een gebied waar Flux potentieel Midjourney overtreft, is in prompt-volging. Black Forest Labs heeft de focus op het verbeteren van het model’s vermogen om nauwkeurig tekstprompts te interpreteren en uit te voeren. Dit kan resulteren in gegenereerde afbeeldingen die meer nauwkeurig de bedoelingen van de gebruiker weerspiegelen, vooral voor complexe of nuanceuze verzoeken.

Midjourney is soms bekritiseerd voor het nemen van creatieve vrijheden met prompts, wat kan leiden tot prachtige maar onverwachte resultaten. Flux’s benadering kan meer precieze controle over de gegenereerde output bieden.

Snelheid en Efficiëntie

Met de introductie van FLUX.1 [schnell] richt Black Forest Labs zich op een van Midjourney’s sleutelvoordelen: snelheid. Midjourney is bekend om zijn snelle generatietijden, wat het populair heeft gemaakt voor iteratieve creatieve processen. Als Flux deze snelheid kan evenaren of overtreffen terwijl het de kwaliteit behoudt, kan dit een significante verkoopargument zijn.

Toegankelijkheid en Gebruiksgemak

Midjourney heeft populariteit gewonnen deels vanwege zijn gebruikersvriendelijke interface en integratie met Discord. Flux, als nieuwere technologie, kan tijd nodig hebben om soortgelijk toegankelijke interfaces te ontwikkelen. Echter, de open-source aard van FLUX.1 [schnell] en [dev]-modellen kan leiden tot een breed scala aan community-ontwikkelde tools en integraties, waardoor het potentieel Midjourney in termen van flexibiliteit en aanpasbaarheid overtreft.

Technische Capaciteiten

Flux’s geavanceerde architectuur en grotere modelgrootte suggereren dat het meer ruwe capaciteit kan hebben om complexe prompts te begrijpen en intrigerende details te genereren. De flow-matching-benadering en hybride architectuur kunnen Flux in staat stellen om een bredere range van taken te verwerken en meer diverse output te produceren.

Ethische Overwegingen en Bias Mitigatie

Zowel Flux als Midjourney staan voor de uitdaging om ethische zorgen in AI-gegenereerde beelden aan te pakken, zoals bias, desinformatie en auteursrechtskwesties. Black Forest Labs’ focus op transparantie en hun toewijding om modellen breed toegankelijk te maken, kan potentieel leiden tot robuustere community-toezicht en snellere verbeteringen in deze gebieden.

Code Implementatie en Deploying

Het Gebruiken van Flux met Diffusers

Flux-modellen kunnen eenvoudig worden geïntegreerd in bestaande workflows met behulp van de Hugging Face Diffusers-bibliotheek. Hier is een stap-voor-stap-gids voor het gebruik van FLUX.1 [dev] of FLUX.1 [schnell] met Diffusers:

1. Eerst, installeer of upgrade de Diffusers-bibliotheek:

!pip install git+https://github.com/huggingface/diffusers.git

2. Vervolgens kunt u de FluxPipeline gebruiken om het model uit te voeren:

import torch
from diffusers import FluxPipeline

<p># Laad het model
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)</p>

<p># Activeer CPU-offloading om VRAM te besparen (optioneel)
pipe.enable_model_cpu_offload()</p>

<p># Genereer een afbeelding
prompt = "Een kat die een bordje vasthoudt met de tekst 'hallo wereld'"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]</p>

<p># Sla de gegenereerde afbeelding op
image.save("flux-dev.png")

Het Deployen van Flux als API met LitServe

Voor diegenen die Flux als een schaalbare API-dienst willen deployen, biedt Black Forest Labs een voorbeeld met LitServe, een high-performance-inferentie-engine. Hier is een uiteenzetting van het deploy-proces:

Definieer de Model Server:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

<p>class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Laad modelcomponenten
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)</p>

<p># Quantize naar 8-bit om op een L4 GPU te passen
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)</p>

<p># Initialiseer de Flux-pipeline
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()</p>

<p>def decode_request(self, request):
return request["prompt"]</p>

<p>def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image</p>

<p>def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})</p>

<p># Start de server
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)</p>

Deze code zet een LitServe-API op voor Flux, inclusief model laden, verzoek verwerking, afbeelding genereren en antwoord coderen.

Start de Server:

</pre>
python server.py
<pre>

Gebruik de Model API:

U kunt de API testen met een eenvoudige client-script:

import requests
import json

<p>url = "http://localhost:8000/predict"
prompt = "een robot die op een stoel zit en een afbeelding schildert op een ezel van een futuristische stadsgezicht, pop-art"</p>

<p>response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)</p>

<p>print("Afbeelding gegenereerd en opgeslagen als generated_image.png")</p>

Sleutelkenmerken van de Deploying

1. Serverless Architectuur: De LitServe-opstelling maakt schaalbare, serverless deploy mogelijk die kan schalen naar nul wanneer deze niet in gebruik is.
2. Private API: U kunt Flux deployen als een private API op uw eigen infrastructuur.
3. Multi-GPU Ondersteuning: De opstelling is ontworpen om efficiënt te werken over meerdere GPU’s.
4. Quantization: De code demonstreert hoe u het model kunt quantizen naar 8-bit precisie, waardoor het kan draaien op minder krachtige hardware zoals NVIDIA L4 GPU’s.
5. CPU Offloading: De enable_model_cpu_offload()-methode wordt gebruikt om GPU-geheugen te besparen door delen van het model naar de CPU te offloaden wanneer deze niet in gebruik zijn.

Praktische Toepassingen van Flux

De veelzijdigheid en kracht van Flux openen een breed scala aan potentiële toepassingen over verschillende industrieën:

1. Creatieve Industrie: Grafisch ontwerpers, illustrators en kunstenaars kunnen Flux gebruiken om snel conceptkunst, moodboards en visuele inspiraties te genereren.
2. Marketing en Reclame: Marketeers kunnen aangepaste visuele elementen creëren voor campagnes, sociale media-inhoud en productmockups met ongekende snelheid en kwaliteit.
3. Game-ontwikkeling: Game-ontwerpers kunnen Flux gebruiken om snel omgevingen, personages en assets te protyperen, waardoor het pre-productieproces wordt gestroomlijnd.
4. Architectuur en Interieurontwerp: Architecten en ontwerpers kunnen realistische visualisaties van ruimtes en structuren genereren op basis van tekstuele beschrijvingen.
5. Onderwijs: Onderwijsinstellingen kunnen aangepaste visuele hulpmiddelen en illustraties creëren om leerstof te verbeteren en complexe concepten toegankelijker te maken.
6. Film en Animatie: Storyboard-kunstenaars en animators kunnen Flux gebruiken om snel scènes en personages te visualiseren, waardoor het pre-visualisatieproces wordt versneld.

De Toekomst van Flux en Tekst-naar-Afbeelding Generatie

Black Forest Labs heeft duidelijk gemaakt dat Flux slechts het begin is van hun ambities in de generatieve AI-ruimte. Ze hebben plannen aangekondigd om concurrerende generatieve tekst-naar-video-systemen te ontwikkelen, met precieze creatie- en bewerkingsmogelijkheden in hoge definitie en ongekende snelheid.

Deze roadmap suggereert dat Flux niet alleen een zelfstandig product is, maar onderdeel van een bredere ecosystem van generatieve AI-hulpmiddelen. Naarmate de technologie evolueert, kunnen we verwachten:

1. Verbeterde Integratie: Naadloze workflows tussen tekst-naar-afbeelding en tekst-naar-video-generatie, waardoor complexere en dynamischere inhoud kan worden gecreëerd.
2. Verfijnde Aanpasbaarheid: Meer fijne controle over gegenereerde inhoud, mogelijk door geavanceerde prompt-engineering-technieken of intuïtieve gebruikersinterfaces.
3. Real-time Generatie: Naarmate modellen zoals FLUX.1 [schnell] blijven verbeteren, kunnen we real-time afbeeldingsgeneratie-mogelijkheden zien die live inhoudcreatie en interactieve media kunnen revolutioneren.
4. Cross-modale Generatie: De mogelijkheid om inhoud te genereren en te manipuleren over meerdere modaliteiten (tekst, afbeelding, video, audio) in een coherente en geïntegreerde manier.
5. Ethische AI-ontwikkeling: Voortdurende focus op het ontwikkelen van AI-modellen die niet alleen krachtig zijn, maar ook verantwoordelijk en ethisch verantwoord.

Conclusie: Is Flux Beter dan Midjourney?

De vraag of Flux “beter” is dan Midjourney is niet eenvoudig te beantwoorden met een eenvoudig ja of nee. Beide modellen vertegenwoordigen de cutting edge van tekst-naar-afbeelding-generatietechnologie, elk met hun eigen sterktes en unieke kenmerken.

Flux, met zijn geavanceerde architectuur en focus op prompt-volging, kan meer precieze controle en potentieel hogere kwaliteit bieden in bepaalde scenario’s. De open-source-varianten bieden ook kansen voor aanpassing en integratie die waardevol kunnen zijn voor ontwikkelaars en onderzoekers.

Midjourney heeft daarentegen een bewezen trackrecord, een grote en actieve gebruikersbasis en een onderscheidende artistieke stijl die veel gebruikers zijn gaan waarderen. De integratie met Discord en de gebruikersvriendelijke interface hebben het toegankelijk gemaakt voor creatievelingen van alle technische vaardigheidsniveaus.

Uiteindelijk kan het “betere” model afhankelijk zijn van het specifieke gebruik, persoonlijke voorkeuren en de evoluerende capaciteiten van elk platform. Wat duidelijk is, is dat Flux een significante stap voorwaarts in het veld van generatieve AI vertegenwoordigt, door het introduceren van innovatieve technieken en het verleggen van de grenzen van wat mogelijk is in tekst-naar-afbeelding-synthese.