Yapay zeka modelleri ve platformları

Stability AI, DeepFloyd IF Metin-Resim Modelini Yayınlar

Alex McFarland
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarDeepFloyd IF, T5-XXL-1.1 metin kodlayıcıyı kullanarak görseller içinde tutarlı metin…
Daha fazla göster
  • DeepFloyd IF, T5-XXL-1.1 metin kodlayıcıyı kullanarak görseller içinde tutarlı metin üretir.
  • Model, COCO veri kümesinde 6.66 sıfır atışlı FID puanı elde eder.
  • Stability AI, DeepFloyd IF'i başlangıçta ticari olmayan bir araştırma lisansı altında yayınladı.

Stability AI ve çok modlu AI araştırma laboratuvarı DeepFloyd, DeepFloyd IF adlı bir metin-resim kademeli piksel difüzyon modelinin araştırma yayınını duyurdu. Model başlangıçta ticari olmayan, araştırma izni veren bir lisans altında yayınlanıyor, ancak gelecekte açık kaynaklı bir yayın planlanıyor.

DeepFloyd IF birkaç dikkat çekici özelliklere sahip:

  1. Metin istemlerini derinlemesine anlama: Model, T5-XXL-1.1’i bir metin kodlayıcı olarak kullanıyor ve birçok metin-görüntü çapraz dikkat katmanı ile birlikte çalışıyor, böylece istemler ve görüntüler arasında daha iyi bir hizalama sağlanıyor.
  2. Ürettiği görüntülerdeki tutarlı ve net metin: DeepFloyd IF, çeşitli özelliklere ve uzaysal ilişkilere sahip nesneleri içeren görüntüler üretebiliyor.
  3. Yüksek düzeyde fotoğraf gerçekçiliği: Model, COCO veri kümesinde etkileyici bir sıfır-atış FID puanı olan 6.66’ya ulaştı.
  4. En boy oranı değişimi: Model, dikey, yatay ve standart kare biçimler dahil standart dışı en boy oranlarına sahip görüntüler üretebiliyor.
  5. Sıfır-atış görüntü-görüntü çevirileri: Model, bir görüntünün stilini, desenlerini ve ayrıntılarını değiştirebilirken temel formunu koruyor.

Aşağıda DeepFloyd IF tarafından oluşturulan bazı örnek kavramlar yer alıyor:

DeepFloyd IF’nin modüler, kademeli, piksel difüzyon tasarımı, birbirleriyle sinerjik olarak çalışan birkaç nöral modülden oluşuyor. Model, piksel alanında çalışıyor ve yüksek çözünürlüklü verileri, farklı çözünürlüklerde ayrı ayrı eğitilen modeller kullanarak kaskad bir şekilde işliyor. Bu, düşük çözünürlüklü örnekler üreten bir temel model ve yüksek çözünürlüklü görüntüler üreten ardışık süper çözünürlük modellerini içerir.

Model, 1 milyar (görüntü, metin) çifti içeren özel yüksek kaliteli LAION-A veri kümesinde eğitildi. Bu veri kümesi, LAION-5B veri kümesinin İngilizce bölümünün bir alt kümesidir. DeepFloyd’un özel filtreleri, su işareti içeren, NSFW ve diğer uygun olmayan içerikleri kaldırmak için kullanıldı.

DeepFloyd IF’nin süreci

DeepFloyd IF başlangıçta araştırma lisansı altında yayınlanıyor. Araştırmacılar, sanat, tasarım, hikaye anlatımı, sanal gerçeklik ve erişilebilirlik gibi alanlarda yeni uygulamaların geliştirilmesini teşvik etmeyi amaçlıyorlar. Potansiyel araştırmaları teşvik etmek için birkaç teknik, akademik ve etik araştırma soruları önerdiler.

Teknik araştırma soruları şunları içerir:

  • IF modelinin performansını, ölçeklenebilirliğini ve verimliliğini artırmak için optimizasyonu.
  • Örnekleme, yönlendirme veya modelin ince ayarını geliştirerek çıktı kalitesini iyileştirmek.
  • Stable Diffusion çıkışını değiştirmek için kullanılan teknikleri DeepFloyd IF’ye uygulamak.

Akademik araştırma soruları şunları içerir:

  • Aktarım öğreniminde ön eğitimin rolünü keşfetmek.
  • Modelin görüntü oluşturma üzerindeki kontrolünü artırmak.
  • Çoklu modaliteyi entegre ederek modelin yeteneklerini metin-resim sentezinin ötesine taşımak.
  • Üretilen görüntülerin görsel özelliklerinin anlaşılmasını iyileştirmek için modelin yorumlanabilirliğini değerlendirmek.

Etik araştırma soruları şunları içerir:

  • DeepFloyd IF’deki önyargıları tanımlamak ve azaltmak.
  • Modelin sosyal medya ve içerik oluşturma üzerindeki etkisini değerlendirmek.
  • Modeli kullanarak etkili bir sahte görüntü dedektörü geliştirmek.

Modelin ağırlıklarına erişmek için kullanıcıların DeepFloyd’un Hugging Face alanına giderek lisansı kabul etmesi gerekiyor. Daha fazla bilgi için modelin web sitesini ziyaret edebilir, GitHub deposunu, Gradio demosunu inceleyebilir veya DeepFloyd’un Linktree aracılığıyla kamuya açık tartışmalara katılabilirsiniz.

Alex, Unite.AI’nin AI destekli haber operasyonlarını yönetiyor, gazetecilik, araştırma ve otomasyonu birleştirerek yapay zekanın zamanında ve ölçeklenebilir şekilde kapsanmasını destekliyor. Çalışması, ortaya çıkan AI gelişmelerinin verimli bir şekilde ortaya konulmasını sağlarken, yayının editöryel standartlarını korumasına yardımcı olur.