Disney, CGI ile Nöral Renderlemeyi Birleştirdi ve ‘Uncanny Valley’ İle Mücadele Ediyor

Disney’in AI araştırma bölümü, yüz simülasyonu için film kalitesinde bir hibrit yöntem geliştirdi ve yüzün nöral renderlemesinin güçlü yanlarını geleneksel bir CGI tabanlı yaklaşımın tutarlılığıyla birleştirdi.

Gelecek olan makale Stille ileRendering: Geleneksel ve Nöral Yaklaşımların Birleştirilmesi için Yüksek Kalite Yüz Renderleme başlıklı ve Disney Research YouTube kanalında yayınlanan yeni 10 dakikalık bir videoda ön izlenmektedir (bu makalenin sonunda gömülüdür*).

Nöral yüz renderleriyle birleştirilen meshler. Makalenin sonunda bulunan videoyu daha iyi ayrıntı ve kalite için izleyin. Kaynak: https://www.youtube.com/watch?v=k-RKSGbWLng (sonradan https://www.youtube.com/watch?v=TwpLqTmvqVk ile değiştirildi)

Videonun belirttiği gibi, yüzün nöral renderlemesi (derin sahtecilik dahil) CGI’nin yapabileceğinden çok daha gerçekçi gözler ve ağız içleri üretebilir, ancak CGI tarafından yönlendirilen yüz dokuları daha tutarlı ve sinema düzeyinde VFX çıktısı için daha uygundur.

Disney, NVIDIA’nın StyleGan2 nöral jeneratörünü yüzün çevre özelliklerini ve ‘hayati’ öğeleri gibi gözleri işleme koymakta ve tutarlı CGI yüz cildini ve ilgili öğeleri çıktıya süperpoze etmektedir.

Videodan (makalenin sonunda), Disney’in hibrit yaklaşımının mimari kavramı, nöral yüz ortamlarına entegre edilen eski usul CGI meshleri.

Video, sık sık eleştirilen ve Yıldız Savaşları oyuncusu Peter Cushing’in Rogue One (2016) filmindeki CGI yeniden yaratımının sahte ve ‘uncanny valley’ etkisine dair ima yapmaktadır ve şunları kabul etmektedir:

‘Hala insanlar tarafından kolayca yakalanabilen ve renderlenebilen ile son fotogerçekçi dijital çifte arasında, saç, gözler ve iç ağız dahil olmak üzere büyük bir boşluk vardır. Bu boşluğu kapatmak için genellikle yetenekli sanatçıların çok fazla manuel çalışması gerekir.’

Aslında, en modern yüz yakalama sistemleri bile gözleri, ağız içlerini veya saçı yeniden yaratmaya bile çalışmazlar, bunlar ya da sahte sorunları (gözler) veya zaman tutarlılığı sorunları (saç) gibi sorunlara sahiptir.

Videonun gösterdiği gibi VFX sanatçılarının bir yüz yakalama oturumundan sonra elde ettikleri şey. Üretim pipeline’ında ayrıca saç, yüz saçları ve ağız içlerinin ayrı takımlar tarafından işlenmesi gerekir.

Aydınlatma Kontrolü

Hibrit yaklaşım, yeniden aydınlatma açısından da bir avantajdır – yüzlerin nöral renderlemesi için önemli bir zorluk, çünkü CGI cilt süperpoze edilebilir ve daha kolay yeniden aydınlatılabilir.

CGI/Nöral yaklaşımın animasyonlu bir versiyonu.

Daha zorlu ortamlarda, örneğin dış çekimlerde, araştırmacılar bir tür demilitarize bölge oluşturmak için bir yöntem geliştirdiler ve bu bölgeyi çevreleyen kişinin ‘yaratıldığı’ alanın etrafında çalışırlar.

Siya bir marj oluşturmak için bir ‘tuval’ oluşturulur ve CGI cildi birleştirilir.

Video şunları belirtmektedir:

‘Nöral render, arka plan kısıtlamasına mükemmel şekilde uymaz – sadece bir rehber olarak amaçlanmıştır, çünkü gerçekçi insan bileşenleri gibi saç, gözler ve dişler için optimize etmek ana hedeftir. Daha zorlu olan, kimliği korurken ortam aydınlatmasını değiştirmeye çalışmaktır.’

Nöral Renderlerden CGI Meshleri Oluşturma

Araştırma ekibi, büyük bir 3D yüz görüntüsü veritabanına dayalı bir varyasyonel oto-encoder geliştirdi ve bunun ‘rastgele ancak makul’ 3D yüz meshleri üretebileceğini iddia etmektedir.

Bu araştırmada aşılması gereken sınırlamalar vardır, bunlar arasında nöral renderlerde saçın zaman tutarlılığını koruma zorluğu bulunmaktadır ve video (aşağıda), otherwise tutarlı bir CGI/nöral yüz etrafında hızla değişen saç örneklerini göstermektedir.

Veri Seti Oluşturma Kullanımları

Bu yöntem, sentetik veri oluşturma ve yüz görüntü seti manzarasını zenginleştirmek için de önerilmektedir, ki bu son yıllarda tehlikeli derecede monoton hale gelmiştir.

Disney, yeni tekniğin yüz görüntü veritabanlarını doldurabileceğini düşünüyor.

‘Her bir fotogerçekçi sonuçta, bilinmeyen kamera açıklarından bilinen aydınlatmayla renderlenen ve altta yatan geometri ve görünüm haritaları vardır. Bu ‘gerçek veri’ bilgileri, monocular 3D yüz yeniden yapılandırma, yüz tanıma veya sahne anlaşılması gibi aşağı akış uygulamaları için çok önemlidir. Ve bu nedenle her bir render sonucu bir veri örneği olarak düşünülebilir ve birçok farklı bireyin birçok varyasyonunu üretebiliriz. ‘

‘Ayrıca, tek bir kişiye tek bir ifade ve tek bir açıyla render edilmiş olarak, optimize etme sırasında rasgeleleştirme.seed’ini değiştirerek foto-gerçekçi renderin rastgele varyasyonlarını üretebiliriz.’

Araştırmacılar, bu yapılandırılabilir çıktı çeşitliliği’nin yüz tanıma uygulamaları için faydalı olabileceğini belirtmektedir ve şunları eklemektedir:

‘Yöntemimiz, yüz cilt yakalama, modelleme ve renderleme için mevcut teknolojinin avantajlarını kullanabilir ve otomatik olarak tam fotogerçekçi yüz renderlerini oluşturabilir. Bu yaklaşım, film ve eğlence için yüz renderlemesi ve farklı derin öğrenme alanlarındaki veri oluşturma için uygulamalara sahiptir.’

Yeni yaklaşımı daha derinlemesine incelemek için bugün yayınlanan 10 dakikalık videoyu izleyin:

* Orijinal video bağlantısı, makale yayınlandıktan 8 saat sonra başka birine değiştirildi. Tüm ilgili bağlantıları değiştirdim, çünkü orijinal videoya dair hiçbir iz bulunmuyor.

8:24 GMT+2 – Videoyu değiştirdim, çünkü Disney Research YouTube kanalı tarafından neden bilinmez bir sebeple değiştirildi.