Black Forest Labs'dan Flux: Metinden Görüntüye Modellerde Bir Sonraki Atılım. Midjourney'den daha mı iyi?

Kara Orman LaboratuvarlarıÇığır açan Stabil Difüzyon modelinin arkasındaki ekip, Akı – Yapay zeka destekli görsellerin yeteneklerini yeniden tanımlamayı vaat eden, son teknoloji ürünü bir model paketi. Peki Flux, bu alanda gerçekten bir sıçramayı temsil ediyor mu ve Midjourney gibi sektör liderleriyle nasıl karşılaştırılıyor? Flux dünyasına derinlemesine dalalım ve yapay zeka destekli sanat ve medyanın geleceğini yeniden şekillendirme potansiyelini keşfedelim.

Kara Orman Laboratuvarlarının Doğuşu

Black Forest Labs sıradan bir yapay zeka girişimi değil; temel üretken yapay zeka modelleri geliştirme konusunda geçmişi olan yetenekli bir güç merkezi. Ekipte, yapay zeka sanat dünyasını kasıp kavuran VQGAN, Latent Diffusion ve Stable Diffusion model ailesinin yaratıcıları da yer alıyor.

Kara Orman Laboratuvarları Açık Kaynak FLUX.1

Başarılı bir Seri Tohum finansman turu ile Andreessen Horowitz liderliğindeki 31 milyon dolar ve önemli melek yatırımcıların desteğiyle Black Forest Labs kendisini üretken yapay zeka araştırmalarında ön sıralarda konumlandırdı. Görevleri açık: Yaratıcılığın, verimliliğin ve çeşitliliğin sınırlarını zorlarken, görseller ve videolar gibi medya için son teknoloji ürünü üretken derin öğrenme modellerini geliştirmek ve ilerletmek.

Flux Model Ailesinin Tanıtılması

Black Forest Labs, görüntü ayrıntılarında, hızlı uyumda, stil çeşitliliğinde ve sahne karmaşıklığında yeni ölçütler belirlemek üzere tasarlanan FLUX.1 metinden görüntüye model paketini tanıttı. Flux ailesi, her biri farklı kullanım senaryolarına ve erişilebilirlik düzeylerine göre uyarlanmış üç değişkenden oluşur:

1. FLUX.1 [pro]: Üstün istem takibi, görsel kalite, görüntü ayrıntısı ve çıktı çeşitliliğiyle görüntü oluşturmada üst düzey performans sunan amiral gemisi modeli. Bir API aracılığıyla sunulan bu model, profesyonel ve kurumsal kullanım için birinci sınıf bir seçenek olarak konumlandırılmıştır.
2. FLUX.1 [geliştirme]: Ticari olmayan uygulamalar için açık ağırlıkta, kılavuzdan arındırılmış bir model. Pro sürümüyle benzer kalite ve hızlı uyum yeteneklerine ulaşmak ve daha verimli olmak üzere tasarlanmıştır.
3. FLUX.1 [schnell]: Paketin en hızlı modeli, yerel geliştirme ve kişisel kullanım için optimize edilmiştir. Apache 2.0 lisansı altında herkese açık olarak sunulduğu için çok çeşitli uygulama ve deneyler için erişilebilirdir.

FLUX.1'in yeteneklerini sergileyen bazı benzersiz ve yaratıcı örnek komutlar sunacağım. Bu komutlar, modelin metin, karmaşık kompozisyonlar ve eller gibi zorlu unsurları ele alma konusundaki güçlü yönlerini vurgulayacak.

• Sanatsal Stilin Metinle Harmanı: “Vincent van Gogh'un kendine özgü stilinde bir portresini yaratın, ancak sakalını, 'Yıldızlı Gece' kelimelerini el yazısıyla oluşturan dönen fırça darbeleriyle değiştirin.”

Kara Orman Laboratuvarları Açık Kaynak FLUX.1

• Metin Entegrasyonlu Dinamik Aksiyon Sahnesi: "Çizgi roman sayfasından fırlayan bir süper kahraman. Aksiyon replikleri ve ses efektleri, kahramanın adı olan 'FLUX FORCE'yi kalın ve dinamik bir tipografiyle oluşturmalı."

Kara Orman Laboratuvarları Açık Kaynak FLUX.1

• Hassas Nesne Yerleştirmeli Gerçeküstü Konsept: “Pencere güneş ışığı altında kahverengi ve beyaz renklere sahip sevimli bir kedinin yakın çekimi. Göz dokusuna ve rengine keskin odaklanma. Otantik göz parlaklığını ve derinliği yakalamak için doğal aydınlatma.”

Kara Orman Laboratuvarları Açık Kaynak FLUX.1

Bu istemler, FLUX.1'in metin oluşturma, karmaşık sahne kompozisyonu ve ayrıntılı nesne oluşturma yeteneklerini zorlamanın yanı sıra yaratıcı ve benzersiz görüntü oluşturma potansiyelini de sergilemek üzere tasarlanmıştır.

Flux'un Arkasındaki Teknik Yenilikler

Flux'un etkileyici yeteneklerinin merkezinde, onu öncüllerinden ve çağdaşlarından ayıran bir dizi teknik yenilik yer almaktadır:

Uygun Ölçekte Transformatörle Güçlendirilen Akış Modelleri

Tüm genel FLUX.1 modelleri, etkileyici 12 milyar parametreye ölçeklendirilmiş, multimodal ve paralel difüzyon transformatör bloklarını birleştiren hibrit bir mimari üzerine inşa edilmiştir. Bu, mevcut birçok metinden resme modeline kıyasla model boyutunda ve karmaşıklığında önemli bir sıçramayı temsil ediyor.

Flux modelleri, üretken modellerin eğitimi için genel ve kavramsal olarak basit bir yöntem olan akış eşleştirmeyi birleştirerek önceki son teknoloji ürünü difüzyon modellerini geliştirir. Akış eşleştirme, üretken modelleme için daha esnek bir çerçeve sağlar; yayılma modelleri bu daha geniş yaklaşım içinde özel bir durumdur.

Model performansını ve donanım verimliliğini artırmak için Black Forest Labs, döner konumsal yerleştirmeleri ve paralel dikkat katmanlarını entegre etti. Bu teknikler, görüntülerdeki mekansal ilişkilerin daha iyi ele alınmasına ve büyük ölçekli verilerin daha verimli işlenmesine olanak tanır.

Mimari Yenilikler

Flux'un performansına katkıda bulunan bazı temel mimari unsurları inceleyelim:

1. Hibrit Mimari: Multimodal ve paralel difüzyon transformatör bloklarını birleştirerek Flux, hem metinsel hem de görsel bilgileri etkili bir şekilde işleyebilir, bu da istemler ve oluşturulan görüntüler arasında daha iyi hizalamaya yol açar.
2. Akış Eşleştirme: Bu yaklaşım, üretken modellerin daha esnek ve etkili bir şekilde eğitilmesine olanak tanır. Difüzyon modellerini ve diğer üretken teknikleri kapsayan birleşik bir çerçeve sağlayarak potansiyel olarak daha sağlam ve çok yönlü görüntü oluşturmaya yol açar.
3. Döner Konumsal Gömmeler: Bu yerleştirmeler, modelin görüntüler içindeki mekansal ilişkileri daha iyi anlamasına ve sürdürmesine yardımcı olur; bu, tutarlı ve ayrıntılı görsel içerik oluşturmak için çok önemlidir.
4. Paralel Dikkat Katmanları: Bu teknik, hem metin istemlerinde hem de oluşturulan görüntülerde farklı öğeler arasındaki ilişkilerin anlaşılmasında kritik öneme sahip olan dikkat mekanizmalarının daha verimli işlenmesine olanak tanır.
5. 12B Parametrelerine Ölçeklendirme: Modelin büyüklüğü, daha karmaşık modelleri ve ilişkileri yakalamasına ve sentezlemesine olanak tanıyarak, potansiyel olarak daha yüksek kaliteye ve daha çeşitli çıktılara yol açar.

Karşılaştırmalı Flux: Görüntü Sentezinde Yeni Bir Standart

https://blackforestlabs.ai/announcing-black-forest-labs/

Black Forest Labs, FLUX.1'in görüntü sentezinde yeni standartlar belirlediğini ve aşağıdaki gibi popüler modelleri geride bıraktığını iddia ediyor: yolculuk v6.0, DALL·E 3 (HD) ve SD3-Ultra'nın çeşitli önemli yönleri:

1. Görsel kalite: Flux, daha yüksek kaliteye, daha gerçekçi ayrıntılara ve daha iyi genel estetik çekiciliğe sahip görüntüler üretmeyi amaçlar.
2. İstemi Takip Etme:Model, verilen metin istemlerine daha sıkı bağlı kalacak ve kullanıcının niyetlerini daha doğru yansıtan görseller üretecek şekilde tasarlanmıştır.
3. Boyut/En Boy Değişkenliği: Flux, 0.1'den 2.0 megapiksele kadar çok çeşitli en boy oranlarını ve çözünürlükleri destekler ve çeşitli kullanım durumları için esneklik sunar.
4. matbaacılık: Model, birçok metinden görüntüye modelinde ortak bir zorluk olan, görüntüler içinde metin oluşturma ve işleme konusunda gelişmiş yetenekler göstermektedir.
5. Çıktı Çeşitliliği: Flux, ön eğitimden elde edilen tüm çıktı çeşitliliğini korumak için özel olarak ince ayarlanmıştır ve daha geniş bir yelpazede yaratıcı olanaklar sunar.

Flux ve Midjourney: Karşılaştırmalı Bir Analiz

https://blackforestlabs.ai/announcing-black-forest-labs/

Şimdi, şu yakıcı soruyu ele alalım: Flux, Flux'tan daha mı iyi? yolculuk? Buna cevap vermek için birkaç faktörü göz önünde bulundurmamız gerekiyor:

Görüntü Kalitesi ve Estetik

Hem Flux hem de Midjourney, yüksek kaliteli, görsel açıdan büyüleyici görüntüler üretmesiyle tanınır. Midjourney, sanatsal yeteneği ve farklı bir estetik çekiciliğe sahip görüntüler yaratma yeteneği nedeniyle övgüyle karşılandı. Flux, gelişmiş mimarisi ve daha büyük parametre sayısıyla bu kalite seviyesine ulaşmayı veya aşmayı amaçlamaktadır.

Flux'un ilk örnekleri etkileyici ayrıntıları, gerçekçi dokuları ve güçlü bir ışık ve kompozisyon anlayışını gösteriyor. Ancak sanatın öznel doğası bu alanda kesin bir üstünlük iddiasını zorlaştırmaktadır. Kullanıcılar, her modelin farklı stil veya görüntü türlerinde güçlü yönleri olduğunu görebilir.

Hızlı Uyum

Flux'un potansiyel olarak öne çıktığı bir alan yolculuk Black Forest Labs, modelin verilen komutları doğru bir şekilde yorumlama ve uygulama becerisini geliştirmeye odaklanmıştır. Bu, özellikle karmaşık veya ayrıntılı istekler için kullanıcının niyetleriyle daha yakından eşleşen görüntülerin oluşturulmasıyla sonuçlanabilir.

yolculuk Flux, bazen istemlerle yaratıcı özgürlükler kullandığı ve bunun güzel ama beklenmedik sonuçlara yol açabildiği için eleştirilmiştir. Flux'ın yaklaşımı, üretilen çıktı üzerinde daha hassas bir kontrol sunabilir.

Hız ve Verimlilik

Black Forest Labs, FLUX.1 [schnell]'in tanıtımıyla Midjourney'nin temel avantajlarından biri olan hızı hedefliyor. Midjourney, hızlı üretim süreleriyle tanınıyor ve bu da onu yinelemeli yaratıcı süreçler için popüler hale getiriyor. Flux, kaliteyi korurken bu hızı yakalayabilir veya aşabilirse, bu önemli bir satış noktası olabilir.

Erişilebilirlik ve Kullanım Kolaylığı

Midjourney, kısmen kullanıcı dostu arayüzü ve Discord ile entegrasyonu nedeniyle popülerlik kazandı. Flux daha yeni olduğundan benzer şekilde erişilebilir arayüzler geliştirmek için zamana ihtiyaç duyabilir. Bununla birlikte, FLUX.1 [schnell] ve [dev] modellerinin açık kaynak yapısı, topluluk tarafından geliştirilen çok çeşitli araçlara ve entegrasyonlara yol açabilir ve potansiyel olarak esneklik ve özelleştirme seçenekleri açısından Midjourney'i geride bırakabilir.

Teknik yetenekler

Flux'ın gelişmiş mimarisi ve daha büyük model boyutu, karmaşık komutları anlama ve ayrıntılı bilgiler üretme konusunda daha fazla ham kapasiteye sahip olabileceğini düşündürmektedir. Akış eşleştirme yaklaşımı ve hibrit mimarisi, Flux'ın daha geniş bir görev yelpazesini yönetmesine ve daha çeşitli çıktılar üretmesine olanak tanıyabilir.

Etik Hususlar ve Önyargıların Azaltılması

Hem Flux hem de Midjourney, yapay zeka tarafından üretilen görüntülerde önyargı, yanlış bilgi ve telif hakkı sorunları gibi etik kaygıları ele alma zorluğuyla karşı karşıya. Black Forest Labs'ın şeffaflığa verdiği önem ve modelleri geniş çapta erişilebilir kılma taahhüdü, daha güçlü bir topluluk denetimine ve bu alanlarda daha hızlı iyileştirmelere yol açabilir.

Kodun Uygulanması ve Dağıtımı

Flux'u Difüzörlerle Kullanmak

Flux modelleri, mevcut iş akışlarına kolayca entegre edilebilir. Sarılma Yüz Difüzörleri kitaplığıİşte FLUX.1 [dev] veya FLUX.1 [schnell]'i Difüzörlerle kullanmaya yönelik adım adım bir kılavuz:

1. Öncelikle Difüzörler kitaplığını kurun veya yükseltin:

!pip install git+https://github.com/huggingface/diffusers.git

2. Daha sonra, FluxPipeline modeli çalıştırmak için:

import torch
from diffusers import FluxPipeline

# Load the model
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)

# Enable CPU offloading to save VRAM (optional)
pipe.enable_model_cpu_offload()

# Generate an image
prompt = "A cat holding a sign that says hello world"
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    output_type="pil",
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Save the generated image
image.save("flux-dev.png")

Flux'u LitServe ile API olarak dağıtma

Flux'ı ölçeklenebilir bir API hizmeti olarak dağıtmak isteyenler için Black Forest Labs, yüksek performanslı bir çıkarım motoru olan LitServe'i kullanan bir örnek sunuyor. Dağıtım sürecinin bir dökümü şöyle:

Model sunucusunu tanımlayın:

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast

class FluxLitAPI(ls.LitAPI):
    def setup(self, device):
        # Load model components
        scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
        text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
        tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
        text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
        tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
        vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
        transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)

        # Quantize to 8-bit to fit on an L4 GPU
        quantize(transformer, weights=qfloat8)
        freeze(transformer)
        quantize(text_encoder_2, weights=qfloat8)
        freeze(text_encoder_2)

        # Initialize the Flux pipeline
        self.pipe = FluxPipeline(
            scheduler=scheduler,
            text_encoder=text_encoder,
            tokenizer=tokenizer,
            text_encoder_2=None,
            tokenizer_2=tokenizer_2,
            vae=vae,
            transformer=None,
        )
        self.pipe.text_encoder_2 = text_encoder_2
        self.pipe.transformer = transformer
        self.pipe.enable_model_cpu_offload()

    def decode_request(self, request):
        return request["prompt"]

    def predict(self, prompt):
        image = self.pipe(
            prompt=prompt, 
            width=1024,
            height=1024,
            num_inference_steps=4, 
            generator=torch.Generator().manual_seed(int(time.time())),
            guidance_scale=3.5,
        ).images[0]
        return image

    def encode_response(self, image):
        buffered = BytesIO()
        image.save(buffered, format="PNG")
        return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})

# Start the server
if __name__ == "__main__":
    api = FluxLitAPI()
    server = ls.LitServer(api, timeout=False)
    server.run(port=8000)

Bu kod, model yükleme, istek işleme, görüntü oluşturma ve yanıt kodlamayı içeren Flux için bir LitServe API'si kurar.

Sunucuyu başlatın:

</pre>
python server.py
<pre>

Model API'sini kullanın:

Basit bir istemci komut dosyası kullanarak API'yi test edebilirsiniz:

import requests
import json

url = "http://localhost:8000/predict"
prompt = "a robot sitting in a chair painting a picture on an easel of a futuristic cityscape, pop art"

response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
    f.write(response.content)

print("Image generated and saved as generated_image.png")

Dağıtımın Temel Özellikleri

1. Sunucusuz Mimari: LitServe kurulum, kullanılmadığında sıfıra kadar ölçeklenebilen ölçeklenebilir, sunucusuz dağıtıma olanak tanır.
2. Özel API: Flux'u kendi altyapınızda özel bir API olarak dağıtabilirsiniz.
3. Çoklu GPU Desteği: Kurulum birden fazla GPU'da verimli çalışacak şekilde tasarlanmıştır.
4. niceleme: Kod, modelin NVIDIA L8 GPU'lar gibi daha az güçlü donanımlarda çalışmasına olanak tanıyacak şekilde 4 bit hassasiyete nasıl nicelleştirileceğini gösterir.
5. CPU Boşaltma: enable_model_cpu_offload() yöntemi, kullanılmadığı zaman modelin parçalarını CPU'ya aktararak GPU belleğini korumak için kullanılır.

Akının Pratik Uygulamaları

Flux'un çok yönlülüğü ve gücü, çeşitli endüstrilerde geniş bir potansiyel uygulama yelpazesinin önünü açar:

1. yaratıcı Endüstriler: Grafik tasarımcıları, illüstratörler ve sanatçılar, hızlı bir şekilde konsept sanatı, ruh hali panoları ve görsel ilhamlar oluşturmak için Flux'u kullanabilir.
2. Pazarlama ve Reklamcılık: Pazarlamacılar kampanyalar, sosyal medya içerikleri ve ürün maketleri için benzeri görülmemiş bir hız ve kalitede özel görseller oluşturabilir.
3. oyun Geliştirme: Oyun tasarımcıları Flux'u kullanarak ortamların, karakterlerin ve varlıkların hızlı bir şekilde prototipini oluşturabilir ve üretim öncesi süreci kolaylaştırabilir.
4. Mimarlık ve İç Tasarım: Mimarlar ve tasarımcılar, metinsel açıklamalara dayalı olarak mekanların ve yapıların gerçekçi görselleştirmelerini oluşturabilirler.
5. Eğitim: Eğitimciler, öğrenme materyallerini geliştirmek ve karmaşık kavramları daha erişilebilir hale getirmek için özel görsel yardımlar ve çizimler oluşturabilir.
6. Film ve Animasyon: Storyboard sanatçıları ve animatörler, sahneleri ve karakterleri hızlı bir şekilde görselleştirmek için Flux'u kullanabilir ve ön görselleştirme sürecini hızlandırabilir.

Flux ve Metinden Görüntüye Üretimin Geleceği

Black Forest Labs, Flux'un üretken yapay zeka alanındaki hedeflerinin sadece başlangıcı olduğunu açıkça belirtti. ilan planları Yüksek tanımlı ve benzeri görülmemiş bir hızda hassas oluşturma ve düzenleme yetenekleri vaat eden rekabetçi üretken metinden videoya sistemler geliştirmek.

Bu yol haritası, Flux'un yalnızca bağımsız bir ürün olmadığını, aynı zamanda üretken yapay zeka araçlarından oluşan daha geniş bir ekosistemin parçası olduğunu öne sürüyor. Teknoloji geliştikçe şunları görmeyi bekleyebiliriz:

1. Gelişmiş Entegrasyon: Metinden görüntüye ve metinden videoya oluşturma arasındaki kesintisiz iş akışları, daha karmaşık ve dinamik içerik oluşturmaya olanak tanır.
2. Gelişmiş Özelleştirme: Muhtemelen gelişmiş hızlı mühendislik teknikleri veya sezgisel kullanıcı arayüzleri aracılığıyla, oluşturulan içerik üzerinde daha ayrıntılı kontrol.
3. Gerçek Zamanlı Nesil: FLUX.1 [schnell] gibi modeller gelişmeye devam ettikçe, canlı içerik oluşturma ve etkileşimli medyada devrim yaratabilecek gerçek zamanlı görüntü oluşturma yeteneklerini görebiliriz.
4. Çapraz Model Üretimi: Birden fazla modalitede (metin, resim, video, ses) tutarlı ve entegre bir şekilde içerik oluşturma ve değiştirme yeteneği.
5. Etik Yapay Zeka Geliştirme: Yalnızca güçlü değil, aynı zamanda sorumlu ve etik açıdan sağlam yapay zeka modelleri geliştirmeye odaklanmaya devam edilmesi.

Sonuç: Flux Yolculuğun Ortasından Daha mı İyi?

Flux'un Midjourney'den "daha iyi" olup olmadığı sorusu basit bir evet veya hayırla kolayca yanıtlanamaz. Her iki model de metinden görüntüye üretim teknolojisinin en son noktasını temsil ediyor ve her birinin kendine has güçlü yönleri ve benzersiz özellikleri var.

Flux, gelişmiş mimarisi ve hızlı uyumun vurgulanmasıyla, belirli senaryolarda daha hassas kontrol ve potansiyel olarak daha yüksek kalite sunabilir. Açık kaynak çeşitleri aynı zamanda geliştiriciler ve araştırmacılar için oldukça değerli olabilecek özelleştirme ve entegrasyon fırsatları da sunuyor.

yolculukÖte yandan kanıtlanmış bir performans geçmişine, geniş ve aktif bir kullanıcı tabanına ve birçok kullanıcının sevdiği kendine özgü bir sanatsal tarza sahiptir. Discord ile entegrasyonu ve kullanıcı dostu arayüzü, onu tüm teknik beceri seviyelerindeki yaratıcılar için oldukça erişilebilir hale getirdi.

Sonuç olarak, "daha iyi" model, belirli kullanım senaryosuna, kişisel tercihlere ve her platformun gelişen yeteneklerine bağlı olabilir. Açık olan şu ki, Flux, yaratıcı yapay zeka alanında önemli bir adım atmış, yenilikçi teknikler sunmuş ve metinden görüntüye sentezlemede mümkün olanın sınırlarını zorlamıştır.