Flux by Black Forest Labs: The Next Leap in Text-to-Image Models. Is it better than Midjourney?

Black Forest Labs, đội ngũ đứng sau mô hình Stable Diffusion đột phá, đã phát hành Flux – một bộ các mô hình tiên tiến nhất trong lĩnh vực hình ảnh được tạo bởi AI, hứa hẹn sẽ làm thay đổi khả năng của hình ảnh được tạo bởi AI. Nhưng liệu Flux thực sự đại diện cho một bước nhảy vĩ đại trong lĩnh vực này, và nó so sánh như thế nào với các nhà lãnh đạo trong ngành như Midjourney? Hãy cùng khám phá thế giới của Flux và khám phá tiềm năng của nó trong việc định hình lại tương lai của nghệ thuật và truyền thông được tạo bởi AI.

Sự Ra Đời Của Black Forest Labs

Black Forest Labs không chỉ là một công ty khởi nghiệp AI khác; nó là một tập hợp tài năng với thành tích phát triển các mô hình AI tạo sinh cơ bản. Đội ngũ bao gồm các nhà tạo ra VQGAN, Latent Diffusion, và gia đình mô hình Stable Diffusion đã làm bùng nổ thế giới nghệ thuật AI.

Black Forest Labs Open-Source FLUX.1

Với vòng tài trợ Series Seed thành công trị giá 31 triệu đô la do Andreessen Horowitz dẫn đầu và được hỗ trợ bởi các nhà đầu tư thiên thần nổi tiếng, Black Forest Labs đã đặt mình ở vị trí hàng đầu trong nghiên cứu AI tạo sinh. Sứ mệnh của họ rõ ràng: phát triển và cải tiến các mô hình học sâu tạo sinh tiên tiến nhất cho các phương tiện như hình ảnh và video, đồng thời đẩy ranh giới của sự sáng tạo, hiệu quả và đa dạng.

Giới Thiệu Bộ Mô Hình Flux

Black Forest Labs đã giới thiệu bộ mô hình text-to-image FLUX.1, được thiết kế để thiết lập các tiêu chuẩn mới về chi tiết hình ảnh, tuân thủ lời nhắc, đa dạng phong cách và phức tạp của cảnh. Bộ mô hình Flux bao gồm ba biến thể, mỗi biến thể được thiết kế cho các trường hợp sử dụng và cấp độ truy cập khác nhau:

1. FLUX.1 [pro]: Mô hình hàng đầu, cung cấp hiệu suất hàng đầu trong việc tạo hình ảnh với khả năng tuân thủ lời nhắc vượt trội, chất lượng hình ảnh, chi tiết hình ảnh và đa dạng đầu ra. Có sẵn thông qua API, nó được định vị là lựa chọn cao cấp cho sử dụng chuyên nghiệp và doanh nghiệp.
2. FLUX.1 [dev]: Mô hình được tinh chỉnh bằng cách sử dụng hướng dẫn, dành cho các ứng dụng phi thương mại. Nó được thiết kế để đạt được chất lượng và khả năng tuân thủ lời nhắc tương tự như phiên bản pro, đồng thời hiệu quả hơn.
3. FLUX.1 [schnell]: Mô hình nhanh nhất trong bộ, được tối ưu hóa cho phát triển cục bộ và sử dụng cá nhân. Nó được cung cấp miễn phí theo giấy phép Apache 2.0, làm cho nó có sẵn cho nhiều ứng dụng và thí nghiệm.

Tôi sẽ cung cấp một số ví dụ lời nhắc sáng tạo và độc đáo để展示 khả năng của FLUX.1. Những lời nhắc này sẽ làm nổi bật khả năng của mô hình trong việc xử lý văn bản, thành phần cảnh phức tạp và các yếu tố thách thức như tay.

• Trộn Phong Cách Nghệ Thuật Với Văn Bản: “Tạo một bức chân dung của Vincent van Gogh theo phong cách đặc trưng của ông, nhưng thay thế bộ râu của ông bằng những nét cọ vẽ xoay tạo thành từ những từ ‘Starry Night’ bằng chữ thảo.”

Black Forest Labs Open-Source FLUX.1

• Cảnh Hành Động Động Với Tích Hợp Văn Bản: “Một siêu anh hùng phá vỡ trang truyện tranh. Các dòng hành động và hiệu ứng âm thanh nên tạo thành tên ‘FLUX FORCE’ bằng chữ thảo động và mạnh mẽ.”

Black Forest Labs Open-Source FLUX.1

• Khái Niệm Siêu Thực Với Đặt Đối Tượng Chính Xác: “Góc gần của một con mèo màu nâu và trắng dưới ánh sáng mặt trời từ cửa sổ. Tập trung rõ vào kết cấu và màu mắt. Ánh sáng tự nhiên để bắt được sự lấp lánh và chiều sâu của mắt.”

Black Forest Labs Open-Source FLUX.1

Những lời nhắc này được thiết kế để thử thách khả năng của FLUX.1 trong việc xử lý văn bản, thành phần cảnh phức tạp và các yếu tố thách thức như tay, đồng thời展示 khả năng của mô hình trong việc tạo ra hình ảnh sáng tạo và độc đáo.

Sự Đột Phá Kỹ Thuật Đằng Sau Flux

Ở trung tâm của khả năng ấn tượng của Flux là một loạt các đổi mới kỹ thuật giúp nó khác biệt so với các tiền nhiệm và đồng nghiệp:

Mô Hình Lưu Lưu Được Cung Cấp Bởi Transformer Tại Quy Mô

Tất cả các mô hình FLUX.1 công khai được xây dựng trên kiến trúc lai kết hợp các khối khuếch tán song song và đa phương thức, mở rộng đến 12 tỷ tham số. Điều này đại diện cho một bước nhảy vĩ đại về kích thước và phức tạp của mô hình so với nhiều mô hình text-to-image hiện có.

Mô hình Flux cải tiến các mô hình khuếch tán hiện có bằng cách kết hợp khớp lưu lưu, một phương pháp tổng quát và đơn giản về mặt khái niệm để đào tạo các mô hình tạo sinh. Khớp lưu lưu cung cấp một khuôn khổ linh hoạt hơn cho mô hình tạo sinh, với các mô hình khuếch tán là một trường hợp đặc biệt trong cách tiếp cận rộng hơn này.

Để tăng cường hiệu suất của mô hình và hiệu quả về phần cứng, Black Forest Labs đã tích hợp các bản nhúng vị trí quay và các lớp chú ý song song. Những kỹ thuật này cho phép xử lý tốt hơn các mối quan hệ không gian trong hình ảnh và xử lý dữ liệu lớn hơn.

Đổi Mới Kiến Trúc

Hãy cùng phân tích một số yếu tố kiến trúc chính đóng góp vào hiệu suất của Flux:

1. Kiến Trúc Lai: Bằng cách kết hợp các khối khuếch tán đa phương thức và song song, Flux có thể xử lý hiệu quả cả thông tin văn bản và hình ảnh, dẫn đến sự phù hợp tốt hơn giữa lời nhắc và hình ảnh được tạo ra.
2. Khớp Lưu Lưu: Cách tiếp cận này cho phép đào tạo mô hình tạo sinh linh hoạt và hiệu quả hơn. Nó cung cấp một khuôn khổ thống nhất bao gồm các mô hình khuếch tán và các kỹ thuật tạo sinh khác, có thể dẫn đến việc tạo ra hình ảnh mạnh mẽ và đa dạng hơn.
3. Bản Nhúng Vị Trí Quay: Những bản nhúng này giúp mô hình hiểu và duy trì tốt hơn các mối quan hệ không gian trong hình ảnh, điều này quan trọng để tạo ra nội dung hình ảnh nhất quán và chi tiết.
4. Các Lớp Chú Ý Song Song: Kỹ thuật này cho phép xử lý hiệu quả hơn các cơ chế chú ý, điều quan trọng để hiểu mối quan hệ giữa các yếu tố trong cả lời nhắc văn bản và hình ảnh được tạo ra.
5. Tăng Quy Mô Lên 12B Tham Số: Kích thước khổng lồ của mô hình cho phép nó nắm bắt và tổng hợp các mẫu và mối quan hệ phức tạp hơn, có thể dẫn đến chất lượng và đa dạng đầu ra cao hơn.

Đánh Giá Flux: Một Tiêu Chuẩn Mới Trong Tổng Hợp Hình Ảnh

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs tuyên bố rằng FLUX.1 thiết lập các tiêu chuẩn mới trong tổng hợp hình ảnh, vượt qua các mô hình phổ biến như Midjourney v6.0, DALL·E 3 (HD) và SD3-Ultra trong một số khía cạnh chính:

1. Chất Lượng Hình Ảnh: Flux nhằm tạo ra hình ảnh với độ trung thực cao hơn, chi tiết thực tế hơn và thẩm mỹ tổng thể tốt hơn.
2. Tuân Thủ Lời Nhắc: Mô hình được thiết kế để tuân thủ chặt chẽ hơn lời nhắc văn bản, tạo ra hình ảnh phản ánh chính xác hơn ý định của người dùng.
3. Biến Thể Kích Cỡ/Hình Dạng: Flux hỗ trợ nhiều tỷ lệ và độ phân giải khác nhau, từ 0,1 đến 2,0 megapixel, cung cấp tính linh hoạt cho các trường hợp sử dụng khác nhau.
4. Thiết Kế Typography: Mô hình cho thấy khả năng tạo và kết xuất văn bản trong hình ảnh được cải thiện, một thách thức phổ biến đối với nhiều mô hình text-to-image.
5. Đa Dạng Đầu Ra: Flux được tinh chỉnh đặc biệt để bảo tồn toàn bộ đa dạng đầu ra từ quá trình tiền đào tạo, cung cấp nhiều khả năng sáng tạo hơn.

Flux So Với Midjourney: Phân Tích So Sánh

https://blackforestlabs.ai/announcing-black-forest-labs/

Bây giờ, hãy giải quyết câu hỏi đang cháy: Liệu Flux có tốt hơn Midjourney không? Để trả lời điều này, chúng ta cần xem xét một số yếu tố:

Chất Lượng Hình Ảnh và Thẩm Mỹ

Cả Flux và Midjourney đều được biết đến với việc tạo ra hình ảnh chất lượng cao, trực quan tuyệt vời. Midjourney đã được ca ngợi vì khả năng tạo ra hình ảnh có phong cách nghệ thuật và khả năng tạo ra hình ảnh với thẩm mỹ đặc trưng. Flux, với kiến trúc tiên tiến và số tham số lớn hơn, nhằm mục đích đạt được hoặc vượt qua mức chất lượng này.

Các ví dụ đầu tiên từ Flux cho thấy chi tiết ấn tượng, kết cấu thực tế và hiểu biết mạnh mẽ về ánh sáng và bố cục. Tuy nhiên, bản chất chủ quan của nghệ thuật khiến cho việc khẳng định sự vượt trội trong lĩnh vực này trở nên khó khăn. Người dùng có thể tìm thấy rằng mỗi mô hình có điểm mạnh trong các phong cách hoặc loại hình ảnh khác nhau.

Tuân Thủ Lời Nhắc

Một lĩnh vực mà Flux có thể vượt qua Midjourney là tuân thủ lời nhắc. Black Forest Labs đã nhấn mạnh sự tập trung của họ vào việc cải thiện khả năng của mô hình trong việc giải thích và thực hiện chính xác lời nhắc. Điều này có thể dẫn đến hình ảnh được tạo ra phản ánh ý định của người dùng một cách chính xác hơn, đặc biệt là đối với các yêu cầu phức tạp hoặc tinh vi.

Midjourney đã từng bị chỉ trích vì việc lấy tự do sáng tạo với lời nhắc, dẫn đến kết quả đẹp nhưng không mong đợi. Flux có thể cung cấp sự kiểm soát chính xác hơn đối với đầu ra được tạo ra.

Tốc Độ và Hiệu Suất

Với việc giới thiệu FLUX.1 [schnell], Black Forest Labs đang nhắm vào một trong những lợi thế chính của Midjourney: tốc độ. Midjourney được biết đến với thời gian tạo hình ảnh nhanh, điều này đã làm cho nó trở nên phổ biến cho các quy trình sáng tạo lặp lại. Nếu Flux có thể匹 với hoặc vượt qua tốc độ này trong khi duy trì chất lượng, nó có thể là một điểm bán hàng quan trọng.

Khả Năng Tiếp Cận và Dễ Sử Dụng

Midjourney đã đạt được phổ biến một phần do giao diện người dùng thân thiện và tích hợp với Discord. Flux, là mới hơn, có thể cần thời gian để phát triển các giao diện tiếp cận tương tự. Tuy nhiên, bản chất mã nguồn mở của mô hình FLUX.1 [schnell] và [dev] có thể dẫn đến một loạt các công cụ và tích hợp được phát triển bởi cộng đồng, có khả năng vượt qua Midjourney về tính linh hoạt và tùy chỉnh.

Khả Năng Kỹ Thuật

Kiến trúc tiên tiến và kích thước mô hình lớn hơn của Flux gợi ý rằng nó có thể có khả năng thô hơn trong việc hiểu lời nhắc phức tạp và tạo ra chi tiết tinh vi. Cách tiếp cận khớp lưu lưu và kiến trúc lai có thể cho phép Flux xử lý một loạt các nhiệm vụ và tạo ra đầu ra đa dạng hơn.

Xét Về Đạo Đức và Giảm Thiểu Sự偏見

Cả Flux và Midjourney đều phải đối mặt với thách thức của việc giải quyết các vấn đề đạo đức trong hình ảnh được tạo bởi AI, chẳng hạn như sự偏見, thông tin sai lệch và vấn đề bản quyền. Sự nhấn mạnh của Black Forest Labs vào tính minh bạch và cam kết làm cho mô hình dễ tiếp cận có thể dẫn đến sự giám sát của cộng đồng mạnh mẽ hơn và cải tiến nhanh hơn trong những lĩnh vực này.

Triển Khai Flux

Sử Dụng Flux Với Diffusers

Mô hình Flux có thể được tích hợp dễ dàng vào các quy trình công việc hiện có bằng cách sử dụng thư viện Diffusers của Hugging Face. Dưới đây là hướng dẫn từng bước để sử dụng FLUX.1 [dev] hoặc FLUX.1 [schnell] với Diffusers:

1. Trước tiên, cài đặt hoặc nâng cấp thư viện Diffusers:

!pip install git+https://github.com/huggingface/diffusers.git

2. Sau đó, bạn có thể sử dụng FluxPipeline để chạy mô hình:

import torch
from diffusers import FluxPipeline

# Tải mô hình
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# Kích hoạt offloading CPU để tiết kiệm VRAM (tùy chọn)
pipe.enable_model_cpu_offload()

# Tạo hình ảnh
prompt = "Một con mèo đang cầm một biển hiệu có ghi chữ hello world"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Lưu hình ảnh được tạo
image.save("flux-dev.png")

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Tải các thành phần mô hình
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

# Quantize đến 8-bit để phù hợp với GPU L4
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

# Khởi tạo đường ống Flux
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()

def decode_request(self, request):
return request["prompt"]

def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image

def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# Khởi động máy chủ
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)

python server.py

import requests
import json

url = "http://localhost:8000/predict"
prompt = "Một robot đang ngồi trên một chiếc ghế và vẽ một bức tranh trên một giá vẽ về một thành phố tương lai, phong cách pop art"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)

print("Hình ảnh được tạo và lưu thành generated_image.png")