Black Forest Labs 的 Flux：下一代文本到图像模型。它是否比 Midjourney 更好？

!pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers import FluxPipeline

# 加载模型
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# 启用 CPU 卸载以节省 VRAM（可选）
pipe.enable_model_cpu_offload()

# 生成图像
prompt = "一只猫拿着一块写着你好世界的牌子"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# 保存生成的图像
image.save("flux-dev.png")

这段代码演示了如何加载 FLUX.1 [dev] 模型，从文本提示生成图像，并保存结果。

使用 LitServe 部署 Flux 作为 API

对于那些希望将 Flux 作为可扩展的 API 服务进行部署的人，Black Forest Labs 提供了一个使用 LitServe 的示例，LitServe 是一个高性能推理引擎。以下是部署过程的分解：

定义模型服务器：

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# 加载模型组件
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

# 将模型量化为 8 位以适应 L4 GPU
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

# 初始化 Flux 流水线
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()

def decode_request(self, request):
return request["prompt"]

def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image

def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# 启动服务器
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)

这段代码设置了一个 LitServe API 用于 Flux，包括模型加载、请求处理、图像生成和响应编码。

启动服务器：

python server.py

使用模型 API：

您可以使用一个简单的客户端脚本来测试 API：

import requests
import json

url = "http://localhost:8000/predict"
prompt = "一个机器人坐在椅子上，在画架上画一幅未来城市风景的画，采用流行艺术风格"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)

print("图像已生成并保存为 generated_image.png")

部署的关键功能

1. 无服务器架构：LitServe 设置允许可扩展的无服务器部署，可以在不使用时扩展到零。
2. 私有 API：您可以将 Flux 作为私有 API 部署在自己的基础设施上。
3. 多 GPU 支持：设置旨在跨多个 GPU 高效工作。
4. 量化：代码演示了如何将模型量化为 8 位精度，以适应较弱的硬件，如 NVIDIA L4 GPU。
5. CPU 卸载：enable_model_cpu_offload() 方法用于通过将模型的某些部分卸载到 CPU 来节省 GPU 内存，当不需要时。

Flux 的实际应用

Flux 的多功能性和强大功能开启了广泛的潜在应用领域，涵盖各个行业：

1. 创意产业：平面设计师、插画家和艺术家可以使用 Flux 快速生成概念艺术、情绪板和视觉灵感。
2. 营销和广告：营销人员可以创建自定义的视觉效果用于活动、社交媒体内容和产品模拟，速度和质量都有所提高。
3. 游戏开发：游戏设计师可以使用 Flux 快速原型环境、角色和资产，从而简化了预生产过程。
4. 建筑和室内设计：建筑师和设计师可以根据文本描述生成空间和结构的逼真视觉效果。
5. 教育：教育工作者可以创建自定义的视觉辅助工具和插图来增强学习材料，使复杂的概念更容易理解。
6. 电影和动画：分镜头艺术家和动画师可以使用 Flux 快速可视化场景和角色，从而加快预可视化过程。

Flux 和文本到图像生成的未来

Black Forest Labs 已明确表示，Flux 仅仅是他们在生成 AI 空间的雄心壮志的开始。他们宣布了开发具有精确创建和编辑功能的竞争性生成文本到视频系统的计划，具有高分辨率和前所未有的速度。

这条路线图表明，Flux 不仅仅是一个独立的产品，而是更广泛的生成 AI 工具生态系统的一部分。随着技术的发展，我们可以期待看到：

1. 改进集成：文本到图像和文本到视频生成之间的无缝工作流程，使得更复杂和动态的内容创作成为可能。
2. 增强自定义：对生成内容的更精细控制，可能是通过高级提示工程技术或直观的用户界面实现的。
3. 实时生成：随着像 FLUX.1 [schnell] 这样的模型的改进，我们可能会看到实时图像生成的能力，这可能会改变实时内容创作和交互媒体。
4. 跨模态生成：在文本、图像、视频、音频等多个模态中生成和操作内容的能力，以一种连贯和集成的方式进行。
5. 负责任的 AI 开发：继续专注于开发不仅强大而且负责任和道德的 AI 模型。

结论：Flux 是否比 Midjourney 更好？

Flux 是否“更好”于 Midjourney 的问题并不是一个简单的“是”或“否”问题。两种模型都代表了文本到图像生成技术的前沿，每种都有其独特的优势和特点。

Flux凭借其先进的架构和对提示遵循的强调，可能在某些场景中提供更精确的控制和更高的质量。其开源变体还提供了定制和集成的机会，这对于开发人员和研究人员来说可能非常有价值。

另一方面，Midjourney拥有成熟的记录、庞大的活跃用户群体和独特的艺术风格，这些都让很多用户喜爱。其与Discord的集成和用户友好的界面使其对所有技术水平的创意人士都具有高度的可访问性。

最终，“更好的”模型可能取决于具体的用例、个人偏好以及每个平台不断演变的能力。很明显，Flux代表了该领域的一个重大飞跃，引入了创新技术，并推动了文本到图像合成的可能性边界。