Black Forest Labs의 Flux: 텍스트-이미지 모델의 다음 도약은 Midjourney보다 나을까?

!pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers import FluxPipeline

# 모델을 로드합니다:
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# CPU 오프로딩을 사용하여 VRAM을節約합니다(선택 사항):
pipe.enable_model_cpu_offload()

# 이미지를 생성합니다:
prompt = "고양이가 HELLO WORLD라는 표지를 잡고 있는 그림"
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
output_type="pil",
num_inference_steps=50,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# 생성된 이미지를 저장합니다:
image.save("flux-dev.png")

이 코드 조각은 FLUX.1 [dev] 모델을 로드하고, 텍스트 프롬프트에서 이미지를 생성하고, 결과를 저장하는 방법을 보여줍니다.

LitServe를 사용한 Flux 배포

Flux를 확장 가능하고 서버리스 API 서비스로 배포하려는 사람들을 위해, Black Forest Labs는 LitServe를 사용하는 예를 제공합니다. 배포 프로세스를 살펴보겠습니다:

모델 서버 정의:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
def setup(self, device):
# 모델 구성 요소를 로드합니다:
scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

# 모델을 8비트로 양자화하여 L4 GPU에서 실행할 수 있도록 합니다:
quantize(transformer, weights=qfloat8)
freeze(transformer)
quantize(text_encoder_2, weights=qfloat8)
freeze(text_encoder_2)

# Flux 파이프라인을 초기화합니다:
self.pipe = FluxPipeline(
scheduler=scheduler,
text_encoder=text_encoder,
tokenizer=tokenizer,
text_encoder_2=None,
tokenizer_2=tokenizer_2,
vae=vae,
transformer=None,
)
self.pipe.text_encoder_2 = text_encoder_2
self.pipe.transformer = transformer
self.pipe.enable_model_cpu_offload()

def decode_request(self, request):
return request["prompt"]

def predict(self, prompt):
image = self.pipe(
prompt=prompt,
width=1024,
height=1024,
num_inference_steps=4,
generator=torch.Generator().manual_seed(int(time.time())),
guidance_scale=3.5,
).images[0]
return image

def encode_response(self, image):
buffered = BytesIO()
image.save(buffered, format="PNG")
return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# 서버를 시작합니다:
if __name__ == "__main__":
api = FluxLitAPI()
server = ls.LitServer(api, timeout=False)
server.run(port=8000)

이 코드는 LitServe를 사용하여 Flux를 확장 가능하고 서버리스 API 서비스로 배포하는 방법을 보여줍니다.

서버 시작:

python server.py

모델 API 사용:

API를 테스트하려면 다음 클라이언트 스크립트를 사용할 수 있습니다:

import requests
import json

url = "http://localhost:8000/predict"
prompt = "로봇이 의자에 앉아 그림을 그리며, 미래의 도시 풍경을 그리는 장면"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
f.write(response.content)

print("이미지가 생성되어 generated_image.png로 저장되었습니다.")

배포의 주요 기능

1. 서버리스 아키텍처: LitServe 설정은 확장 가능하고 서버리스인 API를 제공합니다. 이는 사용하지 않을 때 스케일 아웃할 수 있습니다.
2. 개인용 API: Flux를 자신의 인프라에서 개인용 API로 배포할 수 있습니다.
3. 다중 GPU 지원: 설정은 여러 개의 GPU에서 효율적으로 작동하도록 설계되었습니다.
4. 양자화: 코드는 모델을 8비트로 양자화하여 L4 GPU와 같은 менее 강력한 하드웨어에서 실행할 수 있도록 하는 방법을 보여줍니다.
5. CPU 오프로딩: enable_model_cpu_offload() 메서드는 GPU 메모리를 보존하기 위해 모델의 일부를 CPU로 오프로드하는 데 사용됩니다.

Flux의 실제 적용

Flux의 다용도성과 강력함으로 인해 다양한 산업에서 폭넓은 적용 범위가 열립니다:

1. 창의적 산업: 그래픽 디자이너, 일러스트레이터, 아티스트는 Flux를 사용하여 개념 아트, 무드 보드, 시각적 영감을 빠르게 생성할 수 있습니다.
2. 마케팅 및 광고: 마케터는 캠페인, 소셜 미디어 콘텐츠, 제품 모ック업을 위한 맞춤 시각적 콘텐츠를 이전에 없던 속도와 품질로 생성할 수 있습니다.
3. 게임 개발: 게임 디자이너는 Flux를 사용하여 환경, 캐릭터, 자산을 빠르게 프로토 타입으로 만들 수 있으며, 프리 프로덕션 프로세스를 간소화할 수 있습니다.
4. 건축 및 인테리어 디자인: 건축가와 디자이너는 텍스트 설명에 따라 공간과 구조의 현실적인 시각화를 생성할 수 있습니다.
5. 교육: 교육자는 Flux를 사용하여 맞춤형 시각적 도구와 일러스트레이션을 생성하여 학습 자료를 향상시키고, 복잡한 개념을 더 쉽게 이해할 수 있습니다.
6. 영화 및 애니메이션: 스토리보드 아티스트와 애니메이터는 Flux를 사용하여 장면과 캐릭터를 빠르게 시각화하여 프리 비주얼라이제이션 프로세스를 가속화할 수 있습니다.

Flux와 텍스트-이미지 생성의 미래

Black Forest Labs는 Flux가 생성형 AI 공간에서 그들의 야망의 시작에 불과하다고 명확히 했습니다. 그들은 경쟁력 있는 생성형 텍스트-비디오 시스템을 개발하고, 정교한 생성 및 편집 능력을 고해상도와 이전에 없던 속도로 제공할 계획을 발표했습니다.

이 로드맵은 Flux가 독립된 제품이 아니라, 더广い 생성형 AI 도구 생태계의 일부임을 시사합니다. 기술이 발전함에 따라, 우리는 다음을 기대할 수 있습니다:

1. 향상된 통합: 텍스트-이미지 및 텍스트-비디오 생성 사이의無缝한 워크플로우가 가능해집니다.
2. 개선된 사용자 지정: 생성된 콘텐츠에 대한 더 세부적인 제어가 가능해집니다. 이는 고급 프롬프트 엔지니어링 기술이나 사용자 친화적 인터페이스를 통해 가능할 수 있습니다.
3. 실시간 생성: FLUX.1 [schnell]과 같은 모델이 계속해서 개선됨에 따라, 실시간 이미지 생성 능력이 가능해질 수 있습니다. 이는 라이브 콘텐츠 생성과 상호작용형 미디어를 혁신할 수 있습니다.
4. 크로스 모달 생성: 텍스트, 이미지, 비디오, 오디오와 같은 여러 모달리티에서 콘텐츠를 생성하고 조작할 수 있는 능력이 있습니다.
5. 윤리적 AI 개발: 강력하지만 책임감 있고 윤리적으로 개발된 AI 모델에 대한 지속적인 초점입니다.

결론: Flux는 Midjourney보다 낫는가?

Flux가 Midjourney보다 낫는가라는 질문에 대한答案은 간단한 예나 아니요로 요약하기 어렵습니다. 두 모델은 모두 텍스트-이미지 생성 기술의 최전선에 있으며, 각기 고유한 강점과 특징을 가지고 있습니다.

Flux는 고급 아키텍처와 프롬프트 순종에 대한 강조로 인해 특정 시나리오에서 더 정확한 제어와 더 높은 품질을 제공할 수 있습니다. 오픈 소스 변형은 개발자와 연구자에게 유용한 사용자 지정 및 통합 옵션을 제공합니다.

Midjourney는 입증된 기록, 대규모 사용자 기반, 그리고 많은 사용자가 사랑하는独特한 예술적 스타일을 가지고 있습니다. Discord와의 통합 및 사용자 친화적 인터페이스는 모든 기술 수준의 창의적인 사람들에게 매우 접근성이 좋습니다.

궁극적으로, “더 나은” 모델은 특정 사용 사례, 개인적 선호도, 그리고 플랫폼의 발전에 따라 다를 수 있습니다. 명확한 것은 Flux가 생성형 AI 분야에서 중요한 발전을 나타내며, 텍스트-이미지 합성의 경계를 넓히고, 새로운 가능성을 열어줌을 알 수 있습니다.