Flux di Black Forest Labs: il prossimo passo avanti nei modelli di testo-immagine. È meglio di Midjourney?

Black Forest Labs, il team dietro il rivoluzionario modello Stable Diffusion, ha rilasciato Flux – una suite di modelli all’avanguardia che promettono di ridefinire le capacità della grafica generata da AI. Ma Flux rappresenta veramente un passo avanti in questo campo e come si confronta con i leader del settore come Midjourney? Scopriamo insieme il mondo di Flux e il suo potenziale per ridisegnare il futuro dell’arte e dei media generati da AI.

La nascita di Black Forest Labs

Black Forest Labs non è solo un’altra startup di AI; è una potenza di talenti con un curriculum di sviluppo di modelli di AI generativi fondamentali. Il team include i creatori di VQGAN, Latent Diffusion e della famiglia di modelli Stable Diffusion che hanno fatto scalpore nel mondo dell’arte AI.

Black Forest Labs Open-Source FLUX.1

Con un round di finanziamento Series Seed di 31 milioni di dollari guidato da Andreessen Horowitz e supportato da noti investitori angel, Black Forest Labs si è posizionata alla forefront della ricerca sull’AI generativa. La loro missione è chiara: sviluppare e avanzare modelli di apprendimento profondo generativo di stato dell’arte per media come immagini e video, spingendo i confini della creatività, dell’efficienza e della diversità.

Presentazione della famiglia di modelli Flux

Black Forest Labs ha introdotto la suite di modelli di testo-immagine FLUX.1, progettata per stabilire nuovi benchmark nel dettaglio dell’immagine, nell’aderenza ai prompt, nella diversità di stile e nella complessità della scena. La famiglia Flux consiste di tre varianti, ciascuna adattata a diversi casi d’uso e livelli di accessibilità:

1. FLUX.1 [pro]: il modello flagship, che offre prestazioni di alto livello nella generazione di immagini con un’aderenza ai prompt superiore, qualità visiva, dettaglio dell’immagine e diversità di output. Disponibile tramite un’API, è posizionato come opzione premium per uso professionale e aziendale.
2. FLUX.1 [dev]: un modello open-weight, distillato con guida per applicazioni non commerciali. È progettato per raggiungere una qualità e capacità di aderenza ai prompt simili alla versione pro, pur essendo più efficiente.
3. FLUX.1 [schnell]: il modello più veloce della suite, ottimizzato per lo sviluppo locale e l’uso personale. È disponibile apertamente con licenza Apache 2.0, rendendolo accessibile per una vasta gamma di applicazioni e esperimenti.

Fornirò alcuni esempi di prompt creativi e unici che mettono in evidenza le capacità di FLUX.1. Questi prompt saranno progettati per sfidare le capacità di FLUX.1 nel rendering del testo, nella composizione di scene complesse e nella creazione di elementi dettagliati come le mani.

• Fusione di stili artistici con testo: “Crea un ritratto di Vincent van Gogh nel suo stile caratteristico, ma sostituisci la sua barba con pennellate ondulate che formano le parole ‘Starry Night’ in corsivo.”

Black Forest Labs Open-Source FLUX.1

• Scena di azione dinamica con integrazione di testo: “Un supereroe che esce da una pagina di un fumetto. Le linee di azione e gli effetti sonori dovrebbero formare il nome del supereroe ‘FLUX FORCE’ in tipografia dinamica e audace.”

Black Forest Labs Open-Source FLUX.1

• Concetto surreale con posizionamento di oggetti preciso: “Primo piano di un gatto carino con colori marrone e bianco sotto la luce del sole che filtra dalla finestra. Fuoco sul dettaglio dell’occhio e sulla profondità.”

Black Forest Labs Open-Source FLUX.1

Questi prompt sono progettati per mettere alla prova le capacità di FLUX.1 nel rendering del testo, nella composizione di scene complesse e nella creazione di elementi dettagliati, evidenziando il suo potenziale per la generazione di immagini creative e uniche.

Innovazioni tecniche dietro Flux

Al cuore delle impressionanti capacità di Flux ci sono una serie di innovazioni tecniche che lo distinguono dai suoi predecessori e contemporanei:

Modelli di flusso basati su transformer in scala

Tutti i modelli FLUX.1 pubblici sono costruiti su un’architettura ibrida che combina blocchi di diffusione multimodale e parallela, scalati a un impressionante 12 miliardi di parametri. Ciò rappresenta un notevole passo avanti in termini di dimensioni e complessità del modello rispetto a molti modelli di testo-immagine esistenti.

I modelli Flux migliorano i precedenti modelli di diffusione di stato dell’arte incorporando la corrispondenza di flusso, un metodo generale e concettualmente semplice per l’addestramento di modelli generativi. La corrispondenza di flusso fornisce un framework più flessibile per la modellazione generativa, con i modelli di diffusione come un caso speciale all’interno di questo approccio più ampio.

Per migliorare le prestazioni del modello e l’efficienza hardware, Black Forest Labs ha integrato le embedding posizionali rotative e i layer di attenzione paralleli. Queste tecniche consentono una migliore gestione delle relazioni spaziali nelle immagini e un’elaborazione più efficiente di grandi quantità di dati.

Innovazioni architettoniche

Vediamo alcuni degli elementi architettonici chiave che contribuiscono alle prestazioni di Flux:

1. Architettura ibrida: Combinando blocchi di diffusione multimodale e parallela, Flux può elaborare efficacemente sia informazioni testuali che visive, portando a una migliore allineazione tra prompt e immagini generate.
2. Corrispondenza di flusso: Questo approccio consente una formazione più flessibile e efficiente di modelli generativi. Fornisce un framework unificato che comprende i modelli di diffusione e altre tecniche generative, potenzialmente portando a una generazione di immagini più robusta e versatile.
3. Embedding posizionali rotative: Questi embedding aiutano il modello a comprendere e mantenere meglio le relazioni spaziali all’interno delle immagini, essenziali per la generazione di contenuto visivo coerente e dettagliato.
4. Layer di attenzione paralleli: Questa tecnica consente un’elaborazione più efficiente dei meccanismi di attenzione, cruciali per la comprensione delle relazioni tra diversi elementi sia nei prompt testuali che nelle immagini generate.
5. Scaling a 12B parametri: Le dimensioni del modello gli consentono di catturare e sintetizzare pattern e relazioni più complessi, potenzialmente portando a output di alta qualità e più diversificati.

Confronto di Flux: un nuovo standard nella sintesi di immagini

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs afferma che FLUX.1 stabilisce nuovi standard nella sintesi di immagini, superando modelli popolari come Midjourney v6.0, DALL·E 3 (HD) e SD3-Ultra in diversi aspetti chiave:

1. Qualità visiva: Flux mira a produrre immagini con fedeltà più alta, dettagli più realistici e un appeal estetico migliore.
2. Adesione ai prompt: Il modello è progettato per aderire più strettamente ai prompt testuali dati, generando immagini che riflettono più fedelmente le intenzioni dell’utente.
3. Variazione di dimensioni/aspetto: Flux supporta una gamma diversificata di rapporti di aspetto e risoluzioni, da 0,1 a 2,0 megapixel, offrendo flessibilità per vari casi d’uso.
4. Tipografia: Il modello mostra capacità migliorate nella generazione e nel rendering del testo all’interno delle immagini, una sfida comune per molti modelli di testo-immagine.
5. Diversità di output: Flux è specificamente ottimizzato per preservare l’intera diversità di output dalla formazione pre-addestrata, offrendo una gamma più ampia di possibilità creative.

Flux vs. Midjourney: un’analisi comparativa

https://blackforestlabs.ai/announcing-black-forest-labs/

Ora, affrontiamo la domanda che brucia: Flux è meglio di Midjourney? Per rispondere, dobbiamo considerare diversi fattori:

Qualità dell’immagine e estetica

Sia Flux che Midjourney sono noti per produrre immagini di alta qualità e dal forte impatto visivo. Midjourney è stato elogiato per il suo tocco artistico e la capacità di creare immagini con un appeal estetico distintivo. Flux, con la sua architettura avanzata e un numero maggiore di parametri, mira a eguagliare o superare questo livello di qualità.

Gli esempi iniziali di Flux mostrano dettagli impressionanti, texture realistiche e una forte comprensione della luce e della composizione. Tuttavia, la natura soggettiva dell’arte rende difficile affermare con certezza la superiorità in questo ambito. Gli utenti potrebbero trovare che ogni modello ha i suoi punti di forza in diversi stili o tipi di immagini.

Adesione ai prompt

Un’area in cui Flux potrebbe superare Midjourney è l’aderenza ai prompt. Black Forest Labs ha enfatizzato il loro focus sull’miglioramento della capacità del modello di interpretare e eseguire con precisione i prompt dati. Ciò potrebbe risultare in immagini generate che riflettono più fedelmente le intenzioni dell’utente, specialmente per richieste complesse o sottili.

Midjourney è stato a volte criticato per prendere libertà creative con i prompt, portando a risultati belli ma inaspettati. L’approccio di Flux potrebbe offrire un controllo più preciso sull’output generato.

Velocità ed efficienza

Con l’introduzione di FLUX.1 [schnell], Black Forest Labs sta puntando a uno dei vantaggi chiave di Midjourney: la velocità. Midjourney è noto per i tempi di generazione rapidi, che lo hanno reso popolare per processi creativi iterativi. Se Flux può eguagliare o superare questa velocità mantenendo la qualità, potrebbe essere un punto di forza significativo.

Accessibilità e facilità d’uso

Midjourney ha guadagnato popolarità in parte grazie alla sua interfaccia utente friendly e all’integrazione con Discord. Flux, essendo più nuovo, potrebbe aver bisogno di tempo per sviluppare interfacce altrettanto accessibili. Tuttavia, la natura open-source dei modelli FLUX.1 [schnell] e [dev] potrebbe portare a una vasta gamma di strumenti e integrazioni sviluppati dalla comunità, potenzialmente superando Midjourney in termini di flessibilità e opzioni di personalizzazione.

Capacità tecniche

L’architettura avanzata e le dimensioni maggiori del modello suggeriscono che Flux potrebbe avere una maggiore capacità raw nel comprendere prompt complessi e generare dettagli intricati. L’approccio di corrispondenza di flusso e l’architettura ibrida potrebbero permettere a Flux di gestire una gamma più ampia di compiti e generare output più diversificati.

Considerazioni etiche e mitigazione dei bias

Sia Flux che Midjourney affrontano la sfida di affrontare le preoccupazioni etiche nella grafica generata da AI, come i bias, la disinformazione e le questioni di copyright. L’enfasi di Black Forest Labs sulla trasparenza e il loro impegno a rendere i modelli ampiamente accessibili potrebbero potenzialmente portare a una supervisione della comunità più robusta e a miglioramenti più rapidi in questi ambiti.

Implementazione del codice e distribuzione

Utilizzo di Flux con Diffusers

I modelli Flux possono essere facilmente integrati in workflow esistenti utilizzando la libreria Hugging Face Diffusers. Ecco una guida passo-passo per utilizzare FLUX.1 [dev] o FLUX.1 [schnell] con Diffusers:

1. Innanzitutto, installa o aggiorna la libreria Diffusers:

!pip install git+https://github.com/huggingface/diffusers.git

2. Quindi, puoi utilizzare la FluxPipeline per eseguire il modello:

import torch
from diffusers import FluxPipeline

# Carica il modello
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# Abilita l'offloading su CPU per risparmiare VRAM (opzionale)
pipe.enable_model_cpu_offload()

# Genera un'immagine
prompt = "Un gatto che tiene un cartello che dice ciao mondo"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Salva l'immagine generata
image.save("flux-dev.png")

Distribuzione di Flux come API con LitServe

Per coloro che desiderano distribuire Flux come un servizio API scalabile, Black Forest Labs fornisce un esempio utilizzando LitServe, un motore di inferenza ad alte prestazioni. Ecco una panoramica del processo di distribuzione:

Definisci il server del modello:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Carica componenti del modello
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

# Quantizza a 8-bit per adattarsi a un'GPU L4
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

# Inizializza la pipeline Flux
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()

def decode_request(self, request):
return request["prompt"]

def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image

def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# Avvia il server
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)

Questo codice configura un’API LitServe per Flux, inclusa la caricamento del modello, la gestione delle richieste, la generazione dell’immagine e la codifica della risposta.

Avvia il server:

<pre>
python server.py
<pre>

Utilizza il modello API:

Puoi testare l’API utilizzando uno script client semplice:

import requests
import json

url = "http://localhost:8000/predict"
prompt = "un robot seduto su una sedia che dipinge un quadro su un cavalletto di una città futuristica, arte pop"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)

print("Immagine generata e salvata come generated_image.png")

Caratteristiche chiave della distribuzione

1. Architettura serverless: La configurazione di LitServe consente una distribuzione scalabile e serverless che può scalare a zero quando non in uso.
2. API privata: Puoi distribuire Flux come un’API privata sulla tua infrastruttura.
3. Supporto multi-GPU: La configurazione è progettata per funzionare efficientemente su più GPU.
4. Quantizzazione: Il codice dimostra come quantizzare il modello a 8-bit, consentendo di eseguirlo su hardware meno potente come le GPU L4 di NVIDIA.
5. Offloading su CPU: Il metodo enable_model_cpu_offload() viene utilizzato per conservare la memoria della GPU offloadando parti del modello sulla CPU quando non in uso.

Applicazioni pratiche di Flux

La versatilità e la potenza di Flux aprono una vasta gamma di potenziali applicazioni in diversi settori:

1. Industrie creative: I designer grafici, gli illustratori e gli artisti possono utilizzare Flux per generare rapidamente arte concettuale, mood board e ispirazioni visive.
2. Marketing e pubblicità: I marketer possono creare visuali personalizzate per campagne, contenuti per i social media e mockup di prodotto con una velocità e una qualità senza precedenti.
3. Sviluppo di giochi: I designer di giochi possono utilizzare Flux per prototipare rapidamente ambienti, personaggi e asset, semplificando il processo di pre-produzione.
4. Architettura e design d’interni: Gli architetti e i designer possono generare visualizzazioni realistiche di spazi e strutture in base a descrizioni testuali.
5. Istruzione: Gli educatori possono creare aiuti visivi personalizzati e illustrazioni per arricchire i materiali didattici e rendere concetti complessi più accessibili.
6. Cinema e animazione: Gli artisti di storyboard e gli animatori possono utilizzare Flux per visualizzare rapidamente scene e personaggi, accelerando il processo di pre-visualizzazione.

Il futuro di Flux e della generazione di immagini da testo

Black Forest Labs ha reso chiaro che Flux rappresenta solo l’inizio delle loro ambizioni nello spazio dell’AI generativa. Hanno annunciato piani per sviluppare sistemi generativi di testo-video competitivi, promettendo capacità di creazione e editing precise ad alta definizione e una velocità senza precedenti.

Questa roadmap suggerisce che Flux non è solo un prodotto autonomo, ma parte di un più ampio ecosistema di strumenti di AI generativa. Man mano che la tecnologia evolve, possiamo aspettarci di vedere:

1. Integrazione migliorata: Flussi di lavoro senza soluzione di continuità tra la generazione di immagini da testo e la generazione di video da testo, consentendo la creazione di contenuti più complessi e dinamici.
2. Personalizzazione avanzata: Un controllo più fine-grained sul contenuto generato, forse attraverso tecniche avanzate di ingegneria dei prompt o interfacce utente intuitive.
3. Generazione in tempo reale: Man mano che modelli come FLUX.1 [schnell] continuano a migliorare, potremmo vedere capacità di generazione di immagini in tempo reale che potrebbero rivoluzionare la creazione di contenuti live e i media interattivi.
4. Generazione cross-modale: La capacità di generare e manipolare contenuti attraverso più modalità (testo, immagine, video, audio) in modo coeso e integrato.
5. Sviluppo di AI etico: Un focus continuo sullo sviluppo di modelli di AI che non sono solo potenti, ma anche responsabili e eticamente sound.

Conclusione: Flux è meglio di Midjourney?

La domanda se Flux sia “migliore” di Midjourney non è facile da rispondere con un semplice sì o no. Entrambi i modelli rappresentano l’avanguardia della tecnologia di generazione di immagini da testo, ciascuno con i propri punti di forza e caratteristiche uniche.

Flux, con la sua architettura avanzata e l’enfasi sull’aderenza ai prompt, potrebbe offrire un controllo più preciso e una qualità potenzialmente più alta in alcuni scenari. Le sue varianti open-source offrono anche opportunità di personalizzazione e integrazione che potrebbero essere altamente preziose per gli sviluppatori e i ricercatori.

Midjourney, d’altra parte, ha un track record comprovato, una grande e attiva base di utenti e uno stile artistico distintivo che molti utenti hanno imparato ad amare. La sua integrazione con Discord e la sua interfaccia utente friendly lo hanno reso altamente accessibile a creativi di tutti i livelli di competenza tecnica.

In definitiva, il modello “migliore” potrebbe dipendere dal caso d’uso specifico, dalle preferenze personali e dalle capacità in evoluzione di ciascuna piattaforma. Ciò che è chiaro è che Flux rappresenta un significativo passo avanti nel campo dell’AI generativa, introducendo tecniche innovative e spingendo i confini di ciò che è possibile nella sintesi di immagini da testo.