Yapay Zeka ile ‘Daha İyi’ Vücutlar Oluşturmak

Alibaba DAMO akademisinden yeni bir araştırma, görsellerdeki vücutların yeniden şekillendirilmesini otomatikleştirmek için bir yapay zeka sürükleyici iş akışı sunuyor – bu, yüz tabanlı manipülasyonlarla dolu bir bilgisayar görüşü sektöründe nadir bir çaba, derin sahtecilikler ve GAN tabanlı yüz düzenleme gibi yüz tabanlı manipülasyonlar.

Sonuç sütunlarında, değiştirilecek alanları tanımlayan oluşturulan dikkat haritaları. Kaynak: https://arxiv.org/pdf/2203.04670.pdf

Araştırmacıların mimarisi, iskelet poz estimation kullanarak, görüntü sentezi ve düzenleme sistemlerinin mevcut vücut görüntülerini kavramak ve parametrelemek için karşılaştığı daha büyük karmaşıklığı ele almak için kullanılır, en azından anlamlı ve seçici düzenleme yapılabilen bir granülite düzeyine ulaşmak için.

Tahmini iskelet haritaları, muhtemelen düzeltilecek alanlara odaklanmaya ve üst kol alanı gibi vücut kısımlarına bireyselleştirmeye yardımcı olur.

Sistem, sonunda bir kullanıcıya, tam uzunlukta veya orta uzunluktaki insan fotoğraflarında görünümünü değiştirebileceği parametreler ayarlamasına olanak tanır ve giyinik veya çıplak vücut kısımlarında keyfi dönüşümler oluşturabilir.

Solda, girdi görüntüsü; ortada, türetilen dikkat alanlarının ısı haritası; sağda, dönüştürülmüş görüntü.

Çalışmanın motivasyonu, fotoğrafçılar ve çeşitli medya dallarından üretim grafik sanatçıları tarafından yapılan zahmetli dijital manipülasyonların yerini alabilecek otomatik iş akışlarının geliştirilmesidir.

Genel olarak, yazarlar, bu dönüşümlerin genellikle Photoshop ve diğer geleneksel bitmap düzenleyicilerde “warp” teknikleriyle uygulandığını ve neredeyse исключ olarak kadınların resimlerinde kullanıldığını kabul eder. Dolayısıyla, yeni süreci kolaylaştırmak için geliştirilen özel veri kümesi, çoğunlukla kadın konuların resimlerinden oluşur:

‘Vücut düzeltmesi主要 olarak kadınlara yöneliktir, bu nedenle koleksiyonumuzun więkseliği kadın fotoğraflarından oluşmaktadır, yaş, ırk, poz ve giysilerdeki çeşitliliği dikkate alarak.’

Makale, Structure-Aware Flow Generation for Human Body Reshaping başlığını taşır ve Alibaba’nın küresel DAMO akademisine bağlı beş yazar tarafından yazılmıştır.

Veri Kümesi Geliştirme

Görüntü sentezi ve düzenleme sistemleri için genellikle olduğu gibi, projenin mimarisi için özel bir eğitim veri kümesi gerekiyordu. Araştırmacılar, Unsplash stok fotoğrafçılık sitesinden uygun görüntüleri seçerek üç fotoğrafçiyle birlikte standardize edilmiş Photoshop manipülasyonları yaptılar, bu da BR-5K* adlı 5.000 yüksek kaliteli görüntüden oluşan bir veri kümesini oluşturdu.

Araştırmacılar, bu veri kümesiyle eğitimin amacı, çekici veya arzu edilen bir görünüm endeksine ilişkin “idealize” ve genelleştirilmiş özellikler üretmek değil, profesyonel manipülasyonlardan elde edilen vücut görüntülerine ait merkezi özellik eşlemelerini çıkarmak olduğunu vurguluyorlar.

Ancak, mereka, nihayetinde, “gerçek” bir görüntüden önceden belirlenmiş bir “ideal” kavramına doğru bir dönüşüm süreci yansıttıklarını kabul ediyorlar:

‘Üç profesyonel sanatçı, popüler estetiğe uyan ince figürler elde etmek amacıyla Photoshop kullanarak vücutları bağımsız olarak düzeltmelerini istedik ve en iyisini referans olarak seçtik.’

Çerçeve, yüzlerle hiç ilgilenmediği için, bunlar veri kümesine dahil edilmeden önce bulanıklaştırıldı.

Mimari ve Temel Kavramlar

Sistemin iş akışı, yüksek çözünürlüklü bir portreyi beslemek, bunu mevcut hesaplama kaynaklarına sığabilecek daha düşük bir çözünürlüğe örneklemek ve tahmin edilen bir iskelet haritası pozunu (aşağıdaki resmin ikinci figüründen soldan) çıkarmak ve Part Affinity Fields (PAF’ler) gibi kavramları da içermektedir, bunlar 2016 yılında Carnegie Mellon Üniversitesi’ndeki The Robotics Institute tarafından geliştirilmiştir (aşağıdaki resme doğrudan gömülü videoyu görün).

Part Affinity Fields, uzuvların yönünü ve daha geniş iskelet çerçevesiyle genel ilişkisini tanımlamaya yardımcı olur, bu da yeni projeye ek bir dikkat ve yerelleştirme aracı sağlar.

2016 Part Affinity Fields makalesinden, öngörülen PAF’ler, uzuv yönünü 2D bir vektörün parçası olarak kodlar, bu vektör aynı zamanda uzuvın genel konumunu içerir. Kaynak: https://arxiv.org/pdf/1611.08050.pdf

İskelet haritaları, görünümünü değiştirmek için nihai dönüşüm süreçlerini, üst kollar, arka ve uyluklar gibi değiştirilecek vücut kısımlarına yönlendirmek için faydalıdır.

Bu işlemin ardından, sonuçlar, iş akışının merkezi darboğazında bulunan Structure Affinity Self-Attention (SASA) modülüne beslenir (aşağıdaki resme bakın).

SASA, iş akışını sürdüren akış oluşturucunun tutarlılığını düzenler, bunun sonucunda elde edilen sonuçlar, öğrenilen dönüşümleri uygulayan savaş modülüne (yukarıdaki resmin ikinci figüründen sağa) iletilir.

Structure Affinity Self-Attention (SASA) modülü, ilgili vücut kısımlarına dikkat ayırır, bu da gereksiz veya alakasız dönüşümleri önler.

Çıktı görüntüsü, daha sonra orijinal 2K çözünürlüğe geri örneklenerek, 2017 tarzı derin sahtecilik mimarisinden türetilen ve popüler paketler gibi DeepFaceLab’den türetilen süreçler kullanılarak işlenir; örnekleme işlemi ayrıca GAN düzenleme çerçevelerinde de ortak olarak kullanılır.

Şema için dikkat ağı, Compositional De-Attention Networks (CODA) adlı 2019 ABD/Singapur akademik işbirliği Amazon AI ve Microsoft tarafından modellenir.

Testler

Akış tabanlı çerçeve, önceki akış tabanlı yöntemler FAL ve Animating Through Warping (ATW) ile birlikte görüntü çevirisi mimarileri Pix2PixHD ve GFLA ile test edilmiştir, SSIM, PSNR ve LPIPS değerlendirmeye yönelik metrikler olarak kullanılmıştır.

İlk test sonuçları (başlıklardaki ok yönü, daha düşük veya daha yüksek değerlerin daha iyi olduğunu gösterir).

Benimsenen bu metriklere dayanarak, yazarların sistemi, önceki mimarilere göre daha iyi performans gösterir.

Seçilen sonuçlar. Daha yüksek çözünürlüklü karşılaştırmalar için bu makalede bağlantılı olan orijinal PDF’ye bakınız.

Otomatik metriklere ek olarak, araştırmacılar, 40 katılımcının her birine, çeşitli yöntemlerle oluşturulan görüntülere ilişkin 100 soru havuzundan rasgele seçilen 30 soru gösterilen bir kullanıcı çalışması gerçekleştirdiler. Katılımcıların %70’i, yeni tekniği daha “görsel olarak çekici” olarak değerlendirdi.

Challenges

Yeni makale, AI tabanlı vücut manipülasyonu alanında nadir bir araştırma alanıdır. Görüntü sentezi sektörü şu anda daha çok, Neural Radiance Fields (NeRF) gibi yöntemlerle düzenlenebilir vücutlar oluşturmak veya GAN’lerin yüz manipülasyonu için latent uzayını ve oto-encoderlerin potansiyelini keşfetmekle ilgileniyor.

Yazarların girişimi şu anda yalnızca algılanan ağırlık, kas kütlesi veya ağırlık dağılımında değişiklikler üretmeye sınırlıdır ve mereka, ortaya çıkan resimdeki kişinin “eksik” kısımlarını geri yüklemek için herhangi bir inpainting tekniği uygulamadılar.

Ancak, portre matting ve metinsel çıkarım yoluyla arka plan karıştırma yoluyla sorunlu alanların geri yüklenmesinin kolayca çözülebileceğini öneriyorlar.

AI ile yağ azaltma sonucu ortaya çıkan arka planın geri yüklenmesine yönelik önerilen bir çözüm.

* Makale, veri kümesi ve projeden daha fazla ayrıntı veren ek materyale atıfta bulunur, ancak bu materyalin konumu makalede belirtilmemiştir ve ilgili yazar, erişim talebimize henüz cevap vermemiştir.

İlk olarak 10 Mart 2022’de yayımlandı.