Flux của Black Forest Labs: Một bước nhảy vĩ đại trong các mô hình Text-to-Image. Liệu nó có tốt hơn Midjourney không?

Black Forest Labs, đội ngũ đứng sau mô hình Stable Diffusion đột phá, đã phát hành Flux – một bộ mô hình tiên tiến nhất trong lĩnh vực hình ảnh được tạo ra bởi AI. Nhưng liệu Flux thực sự đại diện cho một bước nhảy vĩ đại trong lĩnh vực này, và nó so sánh với các nhà lãnh đạo trong ngành như Midjourney như thế nào? Hãy cùng khám phá sâu vào thế giới của Flux và khám phá tiềm năng của nó trong việc định hình lại tương lai của nghệ thuật và truyền thông được tạo ra bởi AI.

Sự ra đời của Black Forest Labs

Black Forest Labs không chỉ là một startup AI khác; nó là một tập hợp tài năng với thành tích phát triển các mô hình AI tạo ra thế hệ. Đội ngũ bao gồm những người tạo ra VQGAN, Latent Diffusion và gia đình mô hình Stable Diffusion đã làm bùng nổ thế giới nghệ thuật AI.

Black Forest Labs Open-Source FLUX.1

Với vòng tài trợ Series Seed thành công trị giá 31 triệu đô la do Andreessen Horowitz dẫn đầu và được hỗ trợ bởi các nhà đầu tư thiên thần nổi tiếng, Black Forest Labs đã đặt mình ở vị trí hàng đầu trong nghiên cứu AI tạo ra. Sứ mệnh của họ rõ ràng: phát triển và cải tiến các mô hình học sâu tạo ra thế hệ tiên tiến cho các phương tiện truyền thông như hình ảnh và video, đồng thời đẩy ranh giới của sự sáng tạo, hiệu quả và đa dạng.

Giới thiệu gia đình mô hình Flux

Black Forest Labs đã giới thiệu bộ mô hình FLUX.1, được thiết kế để đặt ra các tiêu chuẩn mới trong chi tiết hình ảnh, sự tuân thủ lời nhắc, đa dạng phong cách và phức tạp của cảnh. Gia đình Flux bao gồm ba biến thể, mỗi biến thể được thiết kế cho các trường hợp sử dụng và cấp độ tiếp cận khác nhau:

1. FLUX.1 [pro]: Mô hình hàng đầu, cung cấp hiệu suất hàng đầu trong việc tạo ra hình ảnh với sự tuân thủ lời nhắc vượt trội, chất lượng hình ảnh, chi tiết hình ảnh và đa dạng đầu ra. Có sẵn thông qua API, nó được định vị là lựa chọn cao cấp cho sử dụng chuyên nghiệp và doanh nghiệp.
2. FLUX.1 [dev]: Mô hình được tinh chỉnh cho các ứng dụng phi thương mại. Nó được thiết kế để đạt được chất lượng và khả năng tuân thủ lời nhắc tương tự như phiên bản pro trong khi hiệu quả hơn.
3. FLUX.1 [schnell]: Mô hình nhanh nhất trong bộ, được tối ưu hóa cho phát triển cục bộ và sử dụng cá nhân. Nó được cung cấp miễn phí theo giấy phép Apache 2.0, làm cho nó có sẵn cho nhiều ứng dụng và thí nghiệm khác nhau.

Tôi sẽ cung cấp một số ví dụ lời nhắc sáng tạo và độc đáo để展示 khả năng của FLUX.1. Những lời nhắc này sẽ nhấn mạnh khả năng của mô hình trong việc xử lý văn bản, thành phần phức tạp và các yếu tố thách thức như tay.

• Kết hợp phong cách nghệ thuật với văn bản: “Tạo một bức chân dung của Vincent van Gogh theo phong cách đặc trưng của ông, nhưng thay thế râu của ông bằng những nét vẽ xoắn ốc tạo thành từ ‘Đêm sao’ bằng chữ viết tay.”

Black Forest Labs Open-Source FLUX.1

• Cảnh hành động động với tích hợp văn bản: “Một siêu nhân đang phá vỡ một trang truyện tranh. Các đường hành động và hiệu ứng âm thanh nên tạo thành tên ‘FLUX FORCE’ bằng kiểu chữ động và phong cách.”

Black Forest Labs Open-Source FLUX.1

• Khái niệm siêu thực với đặt vật chính xác: “Góc cận cảnh một con mèo màu nâu và trắng dưới ánh sáng mặt trời qua cửa sổ. Tập trung vào kết cấu và màu sắc của mắt. Ánh sáng tự nhiên để bắt được sự lấp lánh và chiều sâu của mắt.”

Black Forest Labs Open-Source FLUX.1

Những lời nhắc này được thiết kế để thách thức khả năng của FLUX.1 trong việc kết xuất văn bản, thành phần cảnh phức tạp và tạo ra các vật thể chi tiết, đồng thời展示 khả năng sáng tạo và độc đáo của mô hình trong việc tạo ra hình ảnh.

Đổi mới kỹ thuật đằng sau Flux

Ở trung tâm của khả năng ấn tượng của Flux là một loạt đổi mới kỹ thuật giúp nó khác biệt với các thế hệ trước và các mô hình cùng thời:

Mô hình dòng chảy được hỗ trợ bởi Transformer ở quy mô lớn

Tất cả các mô hình FLUX.1 công khai đều được xây dựng trên kiến trúc lai kết hợp các khối Transformer song song và khối khuếch tán đa phương tiện, được mở rộng đến 12 tỷ tham số. Điều này đại diện cho một bước nhảy vĩ đại về kích thước và phức tạp của mô hình so với nhiều mô hình hình ảnh-văn bản hiện có.

Các mô hình Flux cải tiến các mô hình khuếch tán hiện có bằng cách kết hợp phương pháp khớp dòng chảy, một phương pháp tổng quát và đơn giản về mặt khái niệm để đào tạo các mô hình tạo ra. Khớp dòng chảy cung cấp một khuôn khổ linh hoạt hơn cho mô hình tạo ra, với các mô hình khuếch tán là một trường hợp đặc biệt trong cách tiếp cận rộng hơn này.

Để cải thiện hiệu suất của mô hình và hiệu quả của phần cứng, Black Forest Labs đã tích hợp các bản nhúng vị trí quay và các lớp chú ý song song. Những kỹ thuật này cho phép xử lý tốt hơn các mối quan hệ không gian trong hình ảnh và xử lý dữ liệu lớn hiệu quả hơn.

Đổi mới kiến trúc

Hãy phân tích một số yếu tố kiến trúc chính đóng góp vào hiệu suất của Flux:

1. Kiến trúc lai: Bằng cách kết hợp các khối Transformer đa phương tiện và khối khuếch tán song song, Flux có thể xử lý hiệu quả cả thông tin văn bản và hình ảnh, dẫn đến sự kết hợp tốt hơn giữa lời nhắc và hình ảnh được tạo ra.
2. Khớp dòng chảy: Cách tiếp cận này cho phép đào tạo các mô hình tạo ra linh hoạt và hiệu quả hơn. Nó cung cấp một khuôn khổ thống nhất bao gồm các mô hình khuếch tán và các kỹ thuật tạo ra khác, có thể dẫn đến việc tạo ra hình ảnh mạnh mẽ và đa dạng hơn.
3. Bản nhúng vị trí quay: Những bản nhúng này giúp mô hình hiểu và duy trì tốt hơn các mối quan hệ không gian trong hình ảnh, điều quan trọng để tạo ra nội dung hình ảnh hợp lý và chi tiết.
4. Các lớp chú ý song song: Kỹ thuật này cho phép xử lý các cơ chế chú ý một cách hiệu quả hơn, điều quan trọng để hiểu mối quan hệ giữa các yếu tố trong cả lời nhắc văn bản và hình ảnh được tạo ra.
5. Quy mô 12 tỷ tham số: Kích thước lớn của mô hình cho phép nó nắm bắt và tổng hợp các mẫu và mối quan hệ phức tạp hơn, có thể dẫn đến chất lượng và đa dạng đầu ra cao hơn.

So sánh Flux: Một tiêu chuẩn mới trong tổng hợp hình ảnh

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs tuyên bố rằng FLUX.1 đặt ra các tiêu chuẩn mới trong tổng hợp hình ảnh, vượt qua các mô hình phổ biến như Midjourney v6.0, DALL·E 3 (HD) và SD3-Ultra trong một số khía cạnh chính:

1. Chất lượng hình ảnh: Flux nhằm mục đích tạo ra hình ảnh với độ trung thực cao hơn, chi tiết thực tế hơn và hấp dẫn hơn về mặt thẩm mỹ.
2. Tuân thủ lời nhắc: Mô hình được thiết kế để tuân thủ lời nhắc một cách chính xác hơn, tạo ra hình ảnh phản ánh chính xác ý định của người dùng.
3. Biến thể kích thước/tỷ lệ: Flux hỗ trợ một loạt các tỷ lệ và độ phân giải khác nhau, từ 0,1 đến 2,0 megapixel, cung cấp sự linh hoạt cho nhiều trường hợp sử dụng.
4. Phông chữ: Mô hình cho thấy khả năng tạo và kết xuất văn bản trong hình ảnh tốt hơn, một thách thức phổ biến đối với nhiều mô hình hình ảnh-văn bản.
5. Đa dạng đầu ra: Flux được tinh chỉnh để bảo tồn toàn bộ đa dạng đầu ra từ quá trình tiền đào tạo, cung cấp nhiều khả năng sáng tạo hơn.

Flux so với Midjourney: Phân tích so sánh

https://blackforestlabs.ai/announcing-black-forest-labs/

Bây giờ, hãy giải quyết câu hỏi đang cháy: Liệu Flux có tốt hơn Midjourney không? Để trả lời, chúng ta cần xem xét một số yếu tố:

Chất lượng hình ảnh và thẩm mỹ

Cả Flux và Midjourney đều được biết đến với việc tạo ra hình ảnh chất lượng cao, hấp dẫn về mặt thị giác. Midjourney đã được ca ngợi vì phong cách nghệ thuật và khả năng tạo ra hình ảnh có thẩm mỹ riêng biệt. Flux, với kiến trúc tiên tiến và số lượng tham số lớn hơn, nhằm mục đích đạt được hoặc vượt qua mức chất lượng này.

Các ví dụ đầu tiên từ Flux cho thấy chi tiết ấn tượng, kết cấu thực tế và sự hiểu biết mạnh mẽ về ánh sáng và bố cục. Tuy nhiên, bản chất chủ quan của nghệ thuật khiến cho việc tuyên bố sự vượt trội trong lĩnh vực này trở nên khó khăn. Người dùng có thể thấy rằng mỗi mô hình có điểm mạnh trong các phong cách hoặc loại hình ảnh khác nhau.

Tuân thủ lời nhắc

Một lĩnh vực mà Flux có thể vượt qua Midjourney là tuân thủ lời nhắc. Black Forest Labs đã nhấn mạnh sự tập trung của họ vào việc cải thiện khả năng của mô hình trong việc giải thích và thực hiện lời nhắc một cách chính xác. Điều này có thể dẫn đến hình ảnh được tạo ra phản ánh chính xác hơn ý định của người dùng, đặc biệt là đối với các yêu cầu phức tạp hoặc tinh vi.

Midjourney đôi khi bị chỉ trích vì lấy tự do sáng tạo với lời nhắc, dẫn đến kết quả đẹp nhưng không mong đợi. Cách tiếp cận của Flux có thể cung cấp sự kiểm soát chính xác hơn đối với đầu ra được tạo ra.

Tốc độ và hiệu quả

Với việc giới thiệu FLUX.1 [schnell], Black Forest Labs đang nhắm vào một trong những lợi thế chính của Midjourney: tốc độ. Midjourney được biết đến với thời gian tạo ra nhanh, điều này đã làm cho nó phổ biến cho các quy trình sáng tạo lặp lại. Nếu Flux có thể匹 với hoặc vượt qua tốc độ này trong khi duy trì chất lượng, nó có thể là một điểm bán hàng quan trọng.

Khả năng tiếp cận và dễ sử dụng

Midjourney đã đạt được sự phổ biến một phần do giao diện người dùng thân thiện và tích hợp với Discord. Flux, là một mô hình mới hơn, có thể cần thời gian để phát triển các giao diện tương tự. Tuy nhiên, bản chất mã nguồn mở của mô hình FLUX.1 [schnell] và [dev] có thể dẫn đến một loạt các công cụ và tích hợp được phát triển bởi cộng đồng, có thể vượt qua Midjourney về tính linh hoạt và tùy chỉnh.

Khả năng kỹ thuật

Kiến trúc tiên tiến và số lượng tham số lớn hơn của Flux gợi ý rằng nó có thể có khả năng thô hơn trong việc hiểu lời nhắc phức tạp và tạo ra các chi tiết tinh vi. Cách tiếp cận khớp dòng chảy và kiến trúc lai có thể cho phép Flux xử lý một loạt các nhiệm vụ và tạo ra đầu ra đa dạng hơn.

Các vấn đề đạo đức và giảm thiểu thiên vị

Cả Flux và Midjourney đều phải đối mặt với thách thức của việc giải quyết các vấn đề đạo đức trong hình ảnh được tạo ra bởi AI, chẳng hạn như thiên vị, thông tin sai lệch và vấn đề bản quyền. Sự nhấn mạnh của Black Forest Labs vào tính minh bạch và cam kết của họ trong việc làm cho các mô hình được tiếp cận rộng rãi có thể dẫn đến sự giám sát của cộng đồng mạnh mẽ hơn và cải thiện nhanh hơn trong những lĩnh vực này.

Triển khai mã và triển khai

Sử dụng Flux với Diffusers

Các mô hình Flux có thể được tích hợp dễ dàng vào các quy trình làm việc hiện có bằng cách sử dụng thư viện Hugging Face Diffusers. Dưới đây là hướng dẫn từng bước để sử dụng FLUX.1 [dev] hoặc FLUX.1 [schnell] với Diffusers:

1. Trước tiên, hãy cài đặt hoặc nâng cấp thư viện Diffusers:

!pip install git+https://github.com/huggingface/diffusers.git

2. Sau đó, bạn có thể sử dụng FluxPipeline để chạy mô hình:

import torch
from diffusers import FluxPipeline

<p># Tải mô hình
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)</p>

<p># Bật tắt CPU để tiết kiệm VRAM (tùy chọn)
pipe.enable_model_cpu_offload()</p>

<p># Tạo hình ảnh
prompt = "Một con mèo đang cầm một tấm biển có chữ hello world"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]</p>

<p># Lưu hình ảnh được tạo
image.save("flux-dev.png")

Triển khai Flux như một API với LitServe

Đối với những người muốn triển khai Flux như một dịch vụ API có thể mở rộng, Black Forest Labs cung cấp một ví dụ sử dụng LitServe, một công cụ suy luận hiệu suất cao. Dưới đây là phân tích quá trình triển khai:

Định nghĩa máy chủ mô hình:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

<p>class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# Tải các thành phần mô hình
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)</p>

<p># Quantize đến độ chính xác 8-bit để phù hợp với GPU L4
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)</p>

<p># Khởi tạo đường ống Flux
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()</p>

<p>def decode_request(self, request):
return request["prompt"]</p>

<p>def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image</p>

<p>def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})</p>

<p># Khởi động máy chủ
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)</p>

Mã đoạn này thiết lập một máy chủ API LitServe cho Flux, bao gồm tải mô hình, xử lý yêu cầu, tạo hình ảnh và mã hóa phản hồi.

Khởi động máy chủ:

python server.py

Sử dụng API mô hình:

Bạn có thể thử nghiệm API bằng một đoạn mã khách đơn giản:

import requests
import json

<p>url = "http://localhost:8000/predict"
prompt = "Một robot đang ngồi trên một chiếc ghế và vẽ một bức tranh trên một giá vẽ về một thành phố tương lai, phong cách pop art"</p>

<p>response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)</p>

<p>print("Hình ảnh được tạo và lưu dưới dạng generated_image.png")</p>

Các tính năng chính của triển khai

1. Kiến trúc không máy chủ: Thiết lập LitServe cho phép triển khai có thể mở rộng, có thể giảm xuống mức không sử dụng.
2. API riêng: Bạn có thể triển khai Flux như một API riêng trên cơ sở hạ tầng của mình.
3. Hỗ trợ nhiều GPU: Thiết lập được thiết kế để hoạt động hiệu quả trên nhiều GPU.
4. Quantization: Mã đoạn này chứng tỏ cách quantize mô hình xuống độ chính xác 8-bit, cho phép nó chạy trên phần cứng ít mạnh mẽ hơn như GPU L4 của NVIDIA.
5. Tắt CPU: Phương thức enable_model_cpu_offload() được sử dụng để tiết kiệm bộ nhớ GPU bằng cách tắt các phần của mô hình sang CPU khi không sử dụng.

Ứng dụng thực tế của Flux

Sự đa năng và sức mạnh của Flux mở ra một loạt các ứng dụng tiềm năng trên nhiều ngành công nghiệp:

1. Ngành công nghiệp sáng tạo: Các nhà thiết kế đồ họa, họa sĩ minh họa và nghệ sĩ có thể sử dụng Flux để tạo nhanh concept art, bảng màu và nguồn cảm hứng hình ảnh.
2. Tiếp thị và quảng cáo: Các nhà tiếp thị có thể tạo ra các hình ảnh tùy chỉnh cho các chiến dịch, nội dung truyền thông xã hội và mô hình sản phẩm với tốc độ và chất lượng chưa từng có.
3. Phát triển trò chơi: Các nhà thiết kế trò chơi có thể sử dụng Flux để nhanh chóng tạo mẫu các môi trường, nhân vật và tài sản, giúp đẩy nhanh quá trình tiền sản xuất.
4. Kiến trúc và thiết kế nội thất: Các kiến trúc sư và nhà thiết kế có thể tạo ra các hình ảnh thực tế của không gian và cấu trúc dựa trên mô tả văn bản.
5. Giáo dục: Các giáo viên có thể tạo ra các tài liệu trực quan tùy chỉnh và minh họa để nâng cao tài liệu học tập và làm cho các khái niệm phức tạp trở nên dễ tiếp cận hơn.
6. Phim và hoạt hình: Các nghệ sĩ storyboard và animator có thể sử dụng Flux để nhanh chóng hình dung các cảnh và nhân vật, đẩy nhanh quá trình tiền hình ảnh.

Tương lai của Flux và tổng hợp hình ảnh-văn bản

Black Forest Labs đã làm rõ rằng Flux chỉ là bước đầu tiên trong tham vọng của họ trong không gian AI tạo ra. Họ đã thông báo kế hoạch phát triển các hệ thống tạo ra văn bản-sang-video cạnh tranh, hứa hẹn khả năng tạo và chỉnh sửa chính xác ở độ phân giải cao và tốc độ chưa từng có.

Con đường này gợi ý rằng Flux không chỉ là một sản phẩm độc lập mà là một phần của hệ sinh thái các công cụ AI tạo ra rộng lớn hơn. Khi công nghệ tiến bộ, chúng ta có thể thấy:

1. Tích hợp cải tiến: Các quy trình làm việc liền mạch giữa tổng hợp hình ảnh-văn bản và văn bản-sang-video, cho phép tạo nội dung phức tạp và động hơn.
2. Tùy chỉnh nâng cao: Kiểm soát tinh chỉnh hơn đối với nội dung được tạo, có thể thông qua các kỹ thuật kỹ thuật lời nhắc tiên tiến hoặc giao diện người dùng trực quan.
3. Tổng hợp thời gian thực: Khi các mô hình như FLUX.1 [schnell] tiếp tục cải tiến, chúng ta có thể thấy khả năng tạo hình ảnh thời gian thực có thể cách mạng hóa việc tạo nội dung trực tiếp và truyền thông tương tác.
4. Tổng hợp đa phương tiện: Khả năng tạo và xử lý nội dung trên nhiều phương tiện (văn bản, hình ảnh, video, âm thanh) một cách thống nhất và tích hợp.
5. Phát triển AI có trách nhiệm: Tiếp tục tập trung vào việc phát triển các mô hình AI không chỉ mạnh mẽ mà còn có trách nhiệm và đạo đức.

Kết luận: Flux có tốt hơn Midjourney không?

Câu hỏi về việc liệu Flux có “tốt hơn” Midjourney không dễ dàng được trả lời bằng một câu “có” hoặc “không” đơn giản. Cả hai mô hình đều đại diện cho công nghệ hàng đầu trong lĩnh vực tổng hợp hình ảnh-văn bản, mỗi mô hình có điểm mạnh và đặc điểm riêng.

Flux, với kiến trúc tiên tiến và tập trung vào tuân thủ lời nhắc, có thể cung cấp kiểm soát chính xác hơn và chất lượng có thể cao hơn trong một số kịch bản. Các biến thể mã nguồn mở của nó cũng cung cấp cơ hội cho tùy chỉnh và tích hợp có thể rất có giá trị cho các nhà phát triển và nhà nghiên cứu.

Midjourney, mặt khác, có một hồ sơ theo dõi đã được chứng minh, một cơ sở người dùng lớn và phong cách nghệ thuật đặc trưng mà nhiều người dùng đã yêu thích. Tích hợp của nó với Discord và giao diện người dùng thân thiện đã làm cho nó dễ tiếp cận với các nhà sáng tạo thuộc mọi trình độ kỹ thuật.

Cuối cùng, mô hình “tốt hơn” có thể phụ thuộc vào trường hợp sử dụng cụ thể, sở thích cá nhân và khả năng phát triển của mỗi nền tảng. Điều rõ ràng là Flux đại diện cho một bước tiến quan trọng trong lĩnh vực AI tạo ra, giới thiệu các kỹ thuật đổi mới và đẩy ranh giới của những gì có thể trong tổng hợp hình ảnh-văn bản.