Anderson’un Açısı
Google Imagic ve Runway Erase and Replace ile Yapay Zekâ Destekli Nesne Düzenleme

Öne çıkan noktalarImagic, Runway'in yalnızca değiştirmeye yönelik Erase and Replace özelliğinden farklı…
Daha fazla göster
- Imagic, Runway'in yalnızca değiştirmeye yönelik Erase and Replace özelliğinden farklı olarak, ayrıntılı nesne düzenlemeleri için difüzyon modellerini ince ayarlar.
- Runway'in Erase and Replace özelliği nesneleri hızlıca değiştirir ancak mevcut içeriği düzenleyemez, yalnızca değiştirebilir.
- Imagic'in görüntü başına optimizasyonu çift TPUV4 yongalarında sekiz dakika sürer ve bu da onu API kullanımıyla sınırlar.
Bu hafta, iki yeni ancak birbirine zıt AI destekli grafik algoritması, son kullanıcıların fotoğraflardaki nesnelerde son derece ayrıntılı ve etkili değişiklikler yapmalarına yeni yollar sunuyor.
İlk olarak, Google Research tarafından, İsrail Teknoloji Enstitüsü ve Weizmann Bilim Enstitüsü iş birliğiyle geliştirilen Imagic geliyor. Imagic, difüzyon modellerinin ince ayarıyla metin koşullandırmalı, ayrıntılı nesne düzenleme imkanı sunuyor.

İstediğinizi değiştirin, geri kalanını aynı bırakın: Imagic yalnızca değiştirmek istediğiniz kısımları ayrıntılı olarak düzenlemeyi vadediyor. Kaynak: https://arxiv.org/pdf/2210.09276.pdf
Stable Diffusion ile yeniden render yaparken yalnızca tek bir öğeyi değiştirmeye çalışan herkes, başarılı bir düzenlemenin ardından sistemin beğendiğiniz beş şeyi de değiştirdiğini çok iyi bilir. Bu eksiklik, birçok yetenekli SD meraklısının bu tür ‘yan etkileri’ düzeltmek için Stable Diffusion ve Photoshop arasında sürekli geçiş yapmasına neden oluyor. Bu açıdan bakıldığında, Imagic’in başarıları dikkat çekici görünüyor.
Yazı yazıldığı sırada Imagic henüz bir tanıtım videosuna bile sahip değil ve Google’ın tedbirli tutumu nedeniyle, sınırsız görüntü sentez araçlarını yayınlamaya karşı temkinli olması, sistemi ne ölçüde test edebileceğimiz konusunda belirsizlik yaratıyor.
İkinci sunum ise Runway ML’in daha erişilebilir Erase and Replace özelliği; bu, ‘AI Magic Tools’ bölümündeki yeni bir özellik. Bu bölüm, yalnızca çevrimiçi çalışan, makine öğrenmesi tabanlı görsel efekt araçları paketinde bulunuyor.

Runway ML’in Erase and Replace özelliği, metinle video düzenleme sisteminin ön gösteriminde daha önce görülmüştü.
Önce Runway’in sunduğu çözüme bakalım.
Sil ve Değiştir
Imagic gibi, Sil ve Değiştir sadece sabit görüntülerle çalışır, ancak Runway ön izleme yaptığı aynı işlevi henüz yayınlanmamış bir metin‑video düzenleme çözümünde de gösterdi:

Yeni Erase and Replace herkes tarafından görüntüler üzerinde denenebilir, ancak video sürümü henüz kamuya açık değil. Kaynak: https://twitter.com/runwayml/status/1568220303808991232
Runway ML, Sil ve Değiştir’in arkasındaki teknolojilerin ayrıntılarını yayınlamamış olsa da, bir ev bitkisini makul derecede inandırıcı bir Ronald Reagan büstüyle değiştirme hızı, Stable Diffusion gibi bir difüzyon modelinin (ya da çok daha az olası bir lisanslı DALL‑E 2) Sil ve Değiştir’de seçtiğiniz nesneyi yeniden yaratma motoru olduğunu gösteriyor.

Bir ev bitkisini The Gipper’ın büstüyle değiştirmek bu kadar hızlı değil, ama yine de oldukça hızlı. Kaynak: https://app.runwayml.com/
Sistemde DALL‑E 2 tipi kısıtlamalar bulunuyor – Sil ve Değiştir filtrelerini işaretleyen görüntüler veya metinler, daha fazla ihlal durumunda hesap askıya alınabilir uyarısı tetikleyebilir – bu, OpenAI’nın DALL‑E 2 için yürüttüğü politikalara neredeyse aynen bir kopya.
Sonuçların birçoğu Stable Diffusion’ın tipik pürüzlü kenarlarından yoksun. Runway ML, SD’nin yatırımcıları ve araştırma ortaklarıdır ve muhtemelen açık kaynak 1.4 kontrol noktası ağırlıklarından daha üstün bir özel model eğitmiş olabilir (diğer birçok geliştirme grubu, hobi ve profesyonel olarak Stable Diffusion modellerini eğitiyor veya ince ayar yapıyor).

Runway ML’in Erase and Replace özelliğinde sıradan bir masayı buzdan yapılmış masayla değiştirmek.
Imagic gibi (aşağıya bakınız), Sil ve Değiştir de bir nevi ‘nesne‑odaklı’dır – görüntünün ‘boş’ bir kısmını silip metin komutunuzun sonucuyla dolduramazsınız; bu durumda sistem, maskenin görüş hattı boyunca en yakın görünen nesneyi (örneğin bir duvar ya da televizyon) izler ve dönüşümü oraya uygular.

Adından da anlaşılacağı gibi Erase and Replace ile boş alana nesne ekleyemezsiniz. Burada en ünlü Sith lordunu çağırma girişimi, değiştirilecek alanın çizildiği yere yakın biçimde TV’de tuhaf bir Vader duvar resmi oluşturuyor.
Sil ve Değiştir’in telif hakkı korumalı görüntüleri kullanma konusunda kaçınan bir tutum sergilediğini (DALL‑E 2’de hâlâ büyük ölçüde engellenen, ancak farklı başarı oranlarıyla gerçekleşen) ya da arka uç render motorunda kullanılan modelin bu tür durumlar için optimize edilmemiş olup olmadığını söylemek zor.

Biraz müstehcen olan Nicole Kidman duvar resmi, muhtemelen difüzyon tabanlı modelin gerçekçi yüzleri veya cüretkâr içerikleri oluşturmayı sistematik biçimde reddeden eski DALL-E 2 yaklaşımına sahip olmadığını gösteriyor. Telifli eserleri yansıtma girişimlerinin sonuçları belirsizden (xenomorph) saçmaya (demir taht) uzanıyor. Kaynak görüntü sağ altta küçük olarak gösteriliyor.
Sil ve Değiştir’in değiştirebildiği nesneleri izole etmek için hangi yöntemleri kullandığını bilmek ilginç olurdu. Muhtemelen görüntü, nesne tanıma ve ardından anlamsal segmentasyonla ayrılmış öğeleri elde etmek için CLIP‘in bir türeviyle işleniyor. Bu işlemlerin hiçbiri, yaygın bir Stable Diffusion kurulumunda bu kadar iyi çalışmıyor.
Ancak hiçbir şey mükemmel değil – bazen sistem silip yerine koymuyor, hatta (yukarıdaki görselde gördüğümüz gibi) alttaki render mekanizması metin komutunun ne anlama geldiğini kesin olarak bildiğinde bile. Bu durumda bir kahve masasını bir xenomorph’a dönüştürmek imkansız oluyor – masa sadece kayboluyor.

Erase and Replace bir uzaylı üretemediğinde ortaya çıkan, Where’s Waldo’nun daha ürkütücü bir sürümü.
Sil ve Değiştir, mükemmel bir doldurma yeteneğine sahip etkili bir nesne değiştirme sistemi gibi görünüyor. Ancak mevcut algılanan nesneleri düzenleyemiyor, sadece yerlerine yenilerini koyabiliyor. Mevcut görüntü içeriğini, çevredeki görüntü içeriğini bozmadan değiştirmek, popüler çerçevelerin çeşitli gizli uzaylarındaki ayrıştırma üzerine uzun süredir süren bilgisayarlı görü araştırmalarının zor bir hedefi.
Imagic
Imagic bu görevi ele alıyor. Yeni makale, fotoğrafın bireysel bölümlerini başarılı bir şekilde değiştirirken geri kalanını aynı tutan birçok düzenleme örneği sunuyor.

Imagic ile düzenlenen görüntüler, tek bir görüntüden çıkarılan sınırlı önbilgiyle çalışan deepfake kukla kontrolünün tipik uzama, bozulma ve örtülü bölgeleri tahmin etme sorunlarını yaşamıyor.
Sistem üç aşamalı bir süreç kullanıyor – metin gömme optimizasyonu; model ince ayarı; ve son olarak düzeltilmiş görüntünün üretilmesi.

Imagic, ilk metin gömmesini almak için hedef metin komutunu kodlar ve giriş görüntüsünü elde etmek üzere sonucu optimize eder. Sonra üretken model kaynak görüntüye göre ince ayarlanır, bir dizi parametre eklenir ve istenen enterpolasyon uygulanır.
Beklendiği gibi, çerçeve Google’ın Imagen metin‑video mimarisine dayanıyor, ancak araştırmacılar sistemin prensiplerinin geniş ölçüde gizli difüzyon modellerine uygulanabilir olduğunu belirtiyor.
Imagen, şirketin daha yeni metin‑video sürümü için kullanılan yedi katmanlı yapının aksine üç katmanlı bir mimari kullanıyor. Üç ayrı modül, 64 × 64 px çözünürlükte çalışan bir üretken difüzyon modeli; bu çıktıyı 256 × 256 px’e yükselten bir süper‑çözünürlük modeli; ve çıktıyı 1024 × 1024 px’e kadar çıkartan bir ek süper‑çözünürlük modelinden oluşur.
Imagic, bu sürecin en erken aşamasında devreye girerek, 64 px aşamasında istenen metin gömmesini, sabit 0,0001 öğrenme oranına sahip bir Adam optimizasyonu ile optimize eder.

Ayrıştırmada ustalık gösterisi: Difüzyon, GAN veya NeRF modelinde işlenen bir nesnenin rengini bile değiştirmeye çalışanlar, Imagic’in görüntünün geri kalanındaki tutarlılığı parçalamadan bunu yapabilmesinin önemini bilir.
İnce ayar, ardından Imagen’ın temel modeli üzerinde, revize edilmiş gömme koşullandırmasıyla, her giriş görüntüsü için 1500 adımda gerçekleşir. Aynı anda, ikincil 64 px→256 px katmanı koşullandırılmış görüntü üzerinde paralel olarak optimize edilir. Araştırmacılar, son 256 px→1024 px katmanı için benzer bir optimizasyonun sonuçlar üzerinde ‘çok az ya da hiç etkisi olmadığını’ belirtiyor ve bu yüzden uygulanmadığını söylüyor.
Makale, optimizasyon sürecinin çift TPUV4 çipinde her görüntü için yaklaşık sekiz dakika sürdüğünü belirtiyor. Son render, çekirdek Imagen içinde DDIM örnekleme şeması altında gerçekleşir.
Google’ın DreamBooth için benzer ince ayar süreçleriyle ortak bir noktada, elde edilen gömmeler ayrıca stilizasyonu ve Imagen’ı besleyen daha geniş veri tabanından alınan bilgilerle fotogerçekçi düzenlemeleri desteklemek için kullanılabilir (aşağıdaki ilk sütunda gösterildiği gibi, kaynak görüntüler bu dönüşümleri gerçekleştirmek için gerekli içeriğe sahip değildir).

Imagic ile esnek ve fotogerçekçi hareketler ve düzenlemeler elde edilebilir; süreçte türetilen ve ayrıştırılan kodlar aynı kolaylıkla stilize çıktılar için de kullanılabilir.
Araştırmacılar, Imagic’i daha önceki çalışmalar olan SDEdit (2021’de Stanford Üniversitesi ve Carnegie Mellon Üniversitesi iş birliğiyle geliştirilen GAN tabanlı bir yaklaşım) ve Text2Live (Nisan 2022’de Weizmann Bilim Enstitüsü ve NVIDIA iş birliği) ile karşılaştırdı.

Imagic, SDEdit ve Text2Live arasında görsel karşılaştırma.
Önceki yaklaşımların zorlandığı açık, ancak alt satırda pozda büyük bir değişiklik eklenmesi söz konusu olduğunda, mevcut yöntemler kaynak materyali yeniden şekillendirmekte tamamen başarısız olurken, Imagic belirgin bir başarı gösteriyor.
Imagic’in kaynak gereksinimleri ve görüntü başına eğitim süresi, bu tür çabalar standartlarına göre kısa olsa da, kişisel bilgisayarlarda yerel bir görüntü düzenleme uygulamasına dahil edilmesi olası görünmüyor – ve ince ayar sürecinin tüketici seviyelerine ne kadar indirgenebileceği belirsiz.
Şu anda Imagic, API’lere daha uygun olan etkileyici bir teklif; derin sahte içerik üretimini kolaylaştırma konusunda eleştirilere karşı temkinli olan Google Research için ise muhtemelen en rahat ortam bu.
İlk yayın 18 Ekim 2022.












