Flujo por Black Forest Labs: El próximo salto en los modelos de imagen a texto. ¿Es mejor que Midjourney?

Black Forest Labs, el equipo detrás del modelo de difusión estable innovador, ha lanzado Flujo – una suite de modelos de vanguardia que prometen redefinir las capacidades de la imagen generada por IA. Pero ¿Flujo representa verdaderamente un salto adelante en el campo, y cómo se compara con los líderes de la industria como Midjourney? Sumérjase profundamente en el mundo de Flujo y exploren su potencial para remodelar el futuro del arte y los medios generados por IA.

El nacimiento de Black Forest Labs

Black Forest Labs no es solo otra startup de IA; es una potencia de talento con un historial de desarrollar modelos de IA generativa fundamentales. El equipo incluye a los creadores de VQGAN, Latent Diffusion y la familia de modelos de difusión estable que han revolucionado el mundo del arte de IA.

Black Forest Labs Open-Source FLUX.1

Con una ronda de financiación de serie de $31 millones liderada por Andreessen Horowitz y el apoyo de inversores ángel notables, Black Forest Labs se ha posicionado a la vanguardia de la investigación de IA generativa. Su misión es clara: desarrollar y avanzar en modelos de aprendizaje profundo generativo de estado de la técnica para medios como imágenes y videos, mientras empuja los límites de la creatividad, la eficiencia y la diversidad.

Presentando la familia de modelos Flujo

Black Forest Labs ha introducido la suite de modelos de imagen a texto FLUX.1, diseñada para establecer nuevos estándares en detalle de imagen, adherencia a la promoción, diversidad de estilo y complejidad de escena. La familia Flujo consiste en tres variantes, cada una adaptada a diferentes casos de uso y niveles de accesibilidad:

1. FLUX.1 [pro]: El modelo insignia, que ofrece un rendimiento de nivel superior en la generación de imágenes con una mejor adherencia a la promoción, calidad visual, detalle de imagen y diversidad de salida. Disponible a través de una API, se posiciona como la opción premium para uso profesional y empresarial.
2. FLUX.1 [dev]: Un modelo de peso abierto, destilado de orientación para aplicaciones no comerciales. Está diseñado para lograr una calidad y capacidades de adherencia a la promoción similares a las de la versión pro, mientras es más eficiente.
3. FLUX.1 [schnell]: El modelo más rápido de la suite, optimizado para el desarrollo local y el uso personal. Está disponible abiertamente bajo una licencia Apache 2.0, lo que lo hace accesible para una amplia gama de aplicaciones y experimentos.

Proporcionaré algunos ejemplos de promociones únicos y creativos que muestran las capacidades de FLUX.1. Estas promociones resaltarán las fortalezas del modelo en el manejo de texto, composiciones complejas y elementos desafiantes como las manos.

• Mezcla de estilos artísticos con texto: “Crea un retrato de Vincent van Gogh en su estilo característico, pero reemplaza su barba con pinceladas que forman las palabras ‘Noche estrellada’ en cursiva”.

Black Forest Labs Open-Source FLUX.1

• Escena de acción dinámica con integración de texto: “Un superhéroe que irrumpe en una página de cómic. Las líneas de acción y los efectos de sonido deben formar el nombre del héroe ‘FLUX FORCE’ en tipografía dinámica y atrevida”.

Black Forest Labs Open-Source FLUX.1

• Concepto surrealista con colocación de objeto precisa: “Primer plano de un gato marrón y blanco bajo la luz del sol que pasa por la ventana. Enfoque nítido en la textura y el color del ojo. Iluminación natural para capturar el brillo y la profundidad del ojo de manera auténtica”.

Black Forest Labs Open-Source FLUX.1

Estas promociones están diseñadas para desafiar las capacidades de FLUX.1 en la representación de texto, la composición de escenas complejas y la creación de elementos detallados, mientras también resaltan su potencial para la generación de imágenes creativas y únicas.

Innovaciones técnicas detrás de Flujo

En el corazón de las impresionantes capacidades de Flujo se encuentran una serie de innovaciones técnicas que lo distinguen de sus predecesores y contemporáneos:

Modelos de flujo impulsados por transformadores a escala

Todos los modelos FLUX.1 públicos están construidos sobre una arquitectura híbrida que combina bloques de difusión multimodal y paralela, escalados a 12 mil millones de parámetros. Esto representa un salto significativo en el tamaño y la complejidad del modelo en comparación con muchos modelos de imagen a texto existentes.

Los modelos Flujo mejoran los modelos de difusión de estado de la técnica anteriores al incorporar la coincidencia de flujo, un método general y conceptualmente simple para el entrenamiento de modelos generativos. La coincidencia de flujo proporciona un marco más flexible para el modelado generativo, con los modelos de difusión siendo un caso especial dentro de este enfoque más amplio.

Para mejorar el rendimiento del modelo y la eficiencia del hardware, Black Forest Labs ha integrado incrustaciones de posición rotativa y capas de atención paralela. Estas técnicas permiten un mejor manejo de las relaciones espaciales en las imágenes y un procesamiento más eficiente de grandes conjuntos de datos.

Innovaciones arquitectónicas

Desglosemos algunos de los elementos arquitectónicos clave que contribuyen al rendimiento de Flujo:

1. Arquitectura híbrida: Al combinar bloques de difusión multimodal y paralela, Flujo puede procesar efectivamente tanto la información textual como visual, lo que conduce a una mejor alineación entre las promociones y las imágenes generadas.
2. Coincidencia de flujo: Este enfoque permite un entrenamiento más flexible y eficiente de los modelos generativos. Proporciona un marco unificado que abarca los modelos de difusión y otras técnicas generativas, lo que podría llevar a una generación de imágenes más robusta y versátil.
3. Incrustaciones de posición rotativa: Estas incrustaciones ayudan al modelo a comprender y mantener mejor las relaciones espaciales dentro de las imágenes, lo cual es crucial para generar contenido visual coherente y detallado.
4. Capas de atención paralela: Esta técnica permite un procesamiento más eficiente de los mecanismos de atención, que son críticos para comprender las relaciones entre diferentes elementos en las promociones de texto y las imágenes generadas.
5. Escalado a 12.000 millones de parámetros: El tamaño del modelo permite capturar y sintetizar patrones y relaciones más complejos, lo que podría llevar a una mayor calidad y diversidad de las salidas.

Benchmarkeando Flujo: Un nuevo estándar en síntesis de imágenes

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs afirma que FLUX.1 establece nuevos estándares en la síntesis de imágenes, superando a modelos populares como Midjourney v6.0, DALL·E 3 (HD) y SD3-Ultra en varios aspectos clave:

1. Calidad visual: Flujo apunta a producir imágenes con mayor fidelidad, detalles más realistas y un mejor atractivo estético en general.
2. Adherencia a la promoción: El modelo está diseñado para adherirse más estrechamente a las promociones de texto dadas, generando imágenes que reflejan con mayor precisión las intenciones del usuario.
3. Variabilidad de tamaño y proporción: Flujo admite una amplia gama de proporciones y resoluciones, desde 0,1 a 2,0 megapíxeles, ofreciendo flexibilidad para diversos casos de uso.
4. Tipografía: El modelo muestra capacidades mejoradas en la generación y representación de texto dentro de las imágenes, un desafío común para muchos modelos de imagen a texto.
5. Diversidad de salida: Flujo se ha afinado específicamente para preservar toda la diversidad de salida desde el preentrenamiento, ofreciendo una gama más amplia de posibilidades creativas.

Flujo vs. Midjourney: Un análisis comparativo

https://blackforestlabs.ai/announcing-black-forest-labs/

Ahora, abordemos la pregunta candente: ¿Es Flujo mejor que Midjourney? Para responder esto, debemos considerar varios factores:

Calidad de la imagen y estética

Tanto Flujo como Midjourney son conocidos por producir imágenes de alta calidad y visualmente impresionantes. Midjourney ha sido elogiado por su estilo artístico y capacidad para crear imágenes con un atractivo estético distintivo. Flujo, con su arquitectura avanzada y mayor cantidad de parámetros, apunta a igualar o superar este nivel de calidad.

Los ejemplos iniciales de Flujo muestran detalles impresionantes, texturas realistas y un fuerte dominio de la iluminación y la composición. Sin embargo, la naturaleza subjetiva del arte hace que sea difícil afirmar con certeza la superioridad en este área. Los usuarios pueden encontrar que cada modelo tiene sus fortalezas en diferentes estilos o tipos de imágenes.

Adherencia a la promoción

Un área en la que Flujo podría superar a Midjourney es en la adherencia a la promoción. Black Forest Labs ha enfatizado su enfoque en mejorar la capacidad del modelo para interpretar y ejecutar promociones de manera precisa. Esto podría resultar en imágenes generadas que reflejan más estrechamente las intenciones del usuario, especialmente para solicitudes complejas o matizadas.

Midjourney ha sido criticado ocasionalmente por tomar libertades creativas con las promociones, lo que puede llevar a resultados hermosos pero inesperados. El enfoque de Flujo puede ofrecer un control más preciso sobre la salida generada.

Velocidad y eficiencia

Con la introducción de FLUX.1 [schnell], Black Forest Labs está apuntando a una de las ventajas clave de Midjourney: la velocidad. Midjourney es conocido por sus tiempos de generación rápidos, lo que lo ha hecho popular para procesos creativos iterativos. Si Flujo puede igualar o superar esta velocidad mientras mantiene la calidad, podría ser un punto de venta significativo.

Accesibilidad y facilidad de uso

Midjourney ha ganado popularidad en parte debido a su interfaz de usuario amigable y su integración con Discord. Flujo, siendo más nuevo, puede necesitar tiempo para desarrollar interfaces igualmente accesibles. Sin embargo, la naturaleza de código abierto de los modelos FLUX.1 [schnell] y [dev] podría llevar a una amplia gama de herramientas y integraciones desarrolladas por la comunidad, potencialmente superando a Midjourney en términos de flexibilidad y opciones de personalización.

Capacidades técnicas

La arquitectura avanzada y el mayor tamaño del modelo de Flujo sugieren que podría tener más capacidad bruta para comprender promociones complejas y generar detalles intrincados. El enfoque de coincidencia de flujo y la arquitectura híbrida podrían permitir que Flujo maneje una gama más amplia de tareas y genere salidas más diversas.

Consideraciones éticas y mitigación de sesgos

Tanto Flujo como Midjourney enfrentan el desafío de abordar preocupaciones éticas en la generación de imágenes de IA, como sesgos, desinformación y problemas de derechos de autor. El énfasis de Black Forest Labs en la transparencia y su compromiso de hacer que los modelos estén ampliamente disponibles podrían potencialmente conducir a una supervisión comunitaria más robusta y mejoras más rápidas en estas áreas.

Implementación de código y despliegue

Usando Flujo con Diffusers

Los modelos de Flujo se pueden integrar fácilmente en flujos de trabajo existentes utilizando la biblioteca Hugging Face Diffusers. Aquí hay una guía paso a paso para usar FLUX.1 [dev] o FLUX.1 [schnell] con Diffusers:

1. Primero, instale o actualice la biblioteca Diffusers:

!pip install git+https://github.com/huggingface/diffusers.git

2. Luego, puede usar la FluxPipeline para ejecutar el modelo:

import torch
from diffusers import FluxPipeline

# Cargar el modelo
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# Habilitar el desvío de CPU para ahorrar VRAM (opcional)
pipe.enable_model_cpu_offload()

# Generar una imagen
prompt = "Un gato sosteniendo un cartel que dice hola mundo"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Guardar la imagen generada
image.save("flux-dev.png")

Desplegando Flujo como API con LitServe

Para aquellos que buscan desplegar Flujo como un servicio de API escalable, Black Forest Labs proporciona un ejemplo usando LitServe, un motor de inferencia de alto rendimiento. Aquí hay un desglose del proceso de despliegue:

Definir el servidor de modelo:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Cargar componentes del modelo
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

# Cuantizar a 8 bits para que quepa en una GPU L4
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

# Inicializar la tubería de Flujo
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()

def decode_request(self, request):
return request["prompt"]

def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image

def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# Iniciar el servidor
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)

Este código configura un servidor de API LitServe para Flujo, incluyendo la carga del modelo, el manejo de solicitudes, la generación de imágenes y la codificación de respuestas.

Iniciar el servidor:

python server.py

Usar el modelo API:

Puede probar la API usando un script de cliente simple:

import requests
import json

url = "http://localhost:8000/predict"
prompt = "un robot sentado en una silla pintando una imagen en un caballete de una ciudad futurista, arte pop"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)

print("Imagen generada y guardada como generated_image.png")

Características clave del despliegue

1. Arquitectura sin servidor: La configuración de LitServe permite un despliegue escalable y sin servidor que puede escalar a cero cuando no se utiliza.
2. API privada: Puede desplegar Flujo como una API privada en su propia infraestructura.
3. Soporte multi-GPU: La configuración está diseñada para funcionar de manera eficiente en múltiples GPU.
4. Cuantización: El código demuestra cómo cuantizar el modelo a 8 bits de precisión, lo que permite que se ejecute en hardware menos potente como las GPU L4 de NVIDIA.
5. Desvío de CPU: El método enable_model_cpu_offload() se utiliza para conservar la memoria de la GPU desviando partes del modelo a la CPU cuando no se utilizan.

Aplicaciones prácticas de Flujo

La versatilidad y el poder de Flujo abren un amplio rango de aplicaciones potenciales en diversas industrias:

1. Industrias creativas: Los diseñadores gráficos, ilustradores y artistas pueden usar Flujo para generar rápidamente arte conceptual, tableros de mood y fuentes de inspiración visual.
2. Marketing y publicidad: Los marketeros pueden crear visuales personalizadas para campañas, contenido de redes sociales y prototipos de productos con una velocidad y calidad sin precedentes.
3. Desarrollo de juegos: Los diseñadores de juegos pueden usar Flujo para prototipar rápidamente entornos, personajes y activos, agilizando el proceso de preproducción.
4. Arquitectura y diseño de interiores: Los arquitectos y diseñadores pueden generar visualizaciones realistas de espacios y estructuras basadas en descripciones textuales.
5. Educación: Los educadores pueden crear ayudas visuales personalizadas e ilustraciones para mejorar los materiales de aprendizaje y hacer que los conceptos complejos sean más accesibles.
6. Cine y animación: Los artistas de storyboards y animadores pueden usar Flujo para visualizar rápidamente escenas y personajes, acelerando el proceso de previsualización.

El futuro de Flujo y la generación de imagen a texto

Black Forest Labs ha dejado claro que Flujo es solo el comienzo de sus ambiciones en el espacio de IA generativa. Han anunciado planes para desarrollar sistemas generativos de texto a video competitivos, prometiendo capacidades de creación y edición precisas en alta definición y una velocidad sin precedentes.

Esta hoja de ruta sugiere que Flujo no es solo un producto independiente, sino parte de un ecosistema más amplio de herramientas de IA generativa. A medida que la tecnología evoluciona, podemos esperar ver:

1. Integración mejorada: Flujos de trabajo sin problemas entre la generación de imagen a texto y la generación de texto a video, permitiendo la creación de contenido más complejo y dinámico.
2. Personalización mejorada: Un control más detallado sobre el contenido generado, posiblemente a través de técnicas avanzadas de ingeniería de promociones o interfaces de usuario intuitivas.
3. Generación en tiempo real: A medida que los modelos como FLUX.1 [schnell] sigan mejorando, podemos ver capacidades de generación de imagen en tiempo real que podrían revolucionar la creación de contenido en vivo y los medios interactivos.
4. Generación transmodal: La capacidad de generar y manipular contenido a través de múltiples modalidades (texto, imagen, video, audio) de manera cohesiva e integrada.
5. Desarrollo de IA ético: Un enfoque continuo en el desarrollo de modelos de IA que no solo sean poderosos, sino también responsables y éticamente sólidos.

Conclusión: ¿Es Flujo mejor que Midjourney?

La pregunta de si Flujo es “mejor” que Midjourney no se puede responder con un simple sí o no. Ambos modelos representan la vanguardia de la tecnología de generación de imagen a texto, cada uno con sus propias fortalezas y características únicas.

Flujo, con su arquitectura avanzada y énfasis en la adherencia a la promoción, puede ofrecer un control más preciso y una calidad potencialmente más alta en ciertos escenarios. Sus variantes de código abierto también proporcionan oportunidades para la personalización y la integración que podrían ser muy valiosas para los desarrolladores y los investigadores.

Midjourney, por otro lado, tiene un historial comprobado, una gran y activa base de usuarios y un estilo artístico distintivo que muchos usuarios han llegado a amar. Su integración con Discord y su interfaz de usuario amigable lo han hecho muy accesible para creativos de todos los niveles de habilidad técnica.

En última instancia, el modelo “mejor” puede depender del caso de uso específico, las preferencias personales y las capacidades evolutivas de cada plataforma. Lo que está claro es que Flujo representa un paso significativo hacia adelante en el campo de la IA generativa, introduciendo técnicas innovadoras y empujando los límites de lo que es posible en la síntesis de imagen a texto.