Nöral Işınım Alanlarının Herhangi Bir Çevre Haritasıyla Yeniden Aydınlatılması

Max Planck Enstitüsü ve MIT’den yeni bir makale, Nöral Işınım Alanları (NeRF) içeriğini toplandığı zaman mevcut olan aydınlatmadan gerçekten ayırma tekniğini önerdi. Bu, ad hoc çevre haritalarının NeRF sahnesindeki aydınlatmayı tamamen değiştirmesine olanak tanır:

Yeni tekniğin gerçek verilere uygulanması. Bu metodun, veri toplandığında yeni işlem hattını dikkate almayan bu tür arşivlenmiş verilerde bile çalıştığı dikkat çekicidir. Buna rağmen, gerçekçi ve kullanıcı tarafından belirtilen aydınlatma kontrolü elde edilir. Kaynak: https://arxiv.org/pdf/2207.13607.pdf

Yeni yaklaşım, popüler açık kaynak 3D animasyon programı Blender’ı kullanarak bir “sanal ışık sahnesi” oluşturur. Burada olası aydınlatma senaryolarının birçok iterasyonu oluşturulur ve sonunda NeRF modelinde herhangi bir çevre haritasını kullanmak isteyen kullanıcıya uygun bir katman olarak eğitilir.

Çevre haritalarının sahneyi aydınlatmasını belirlediği, çıkarılan geometrinin sanal ışık sahnesi görüntülerini oluşturmak için Blender’ı kullanan işlem hattının bir parçasının gösterimi. Benzer hatları izleyen önceki yöntemler, bu verileri sağlamak için gerçek ışık sahnesi kullanmıştır. Bu, ayrı nesneler için zorlu bir gereksinimdir ve dış ortam görüntüleri için imkansızdır. Sağdaki iki resmin sol üst köşesinde, sahneyi aydınlatan çevre haritalarını görebiliriz. Bu haritalar, son kullanıcı tarafından keyfi olarak oluşturulabilir ve NeRF’i modern CGI yaklaşımının esnekliğine bir adım daha yaklaştırır.

Yaklaşım, Mitsuba2 ters rendering çerçevesi ile karşılaştırıldı ve ayrıca önceki çalışmalar PhySG, RNR, Neural-PIL ve NeRFactor ile karşılaştırıldı. Yalnızca doğrudan aydınlatma modeli kullanılarak en iyi puanları elde etti:

Yeni tekniğin sonuçları, çeşitli kayıp fonksiyonları altında benzer yaklaşımlarla karşılaştırıldı. Araştırmacılar, approach’un en yüksek kaliteli yöntemleri sunduğunu iddia ediyor. Sonuçlar, Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) ve Learned Perceptual Image Patch Similarity (LPIPS) aracılığıyla değerlendirildi.

Makalede şöyle deniyor:

‘Niteliksel ve nicel sonuçlarımız, sahne parametrelerinin geri kazanımı ve yeni görüntüler ve aydınlatma koşulları altında sentez kalitesi açısından önceki durumun üzerinde açık bir ilerleme gösterdiğini kanıtlıyor.’

Araştırmacılar, projenin kodunu sonunda yayınlayacaklarını belirtiyorlar.

NeRF Düzenlenebilirliğine İhtiyaç

Bu tür bir ayırma, Nöral Işınım Alanları araştırmacıları için önemli bir zorluk oluşturdu. NeRF, temelde bir fotogrametri tekniğidir ve bir görüş noktasından binlerce olası yolun piksel değerini hesaplar, RGBD değerleri atar ve bu değerleri bir matris olarak birleştirir. NeRF, temelde aydınlatma ile tanımlanır.

Aslında, etkileyici görselleri ve NVIDIA (NVDA ) tarafından lüks bir şekilde benimsenmesine rağmen, NeRF ‘katı’ – CGI terimleriyle ‘pişirilmiştir’. Bu nedenle araştırmacı topluluğu, son 12-18 ay içinde esneklik ve işlenebilirlik açısından geliştirilmesine odaklandı.

Öneminin açısından, bu tür bir dönemeç için bahisler yüksek ve görsel efekt endüstrisini, mesh oluşturma, hareket dinamikleri ve textürleme etrafında merkezlenen yaratıcı ve işbirlikçi bir modele, ters rendering etrafında inşa edilmiş bir modele dönüştürme olasılığı içerir. Bu model, VFX pipeline’ını gerçek dünya fotoğrafları veya sentezlenen modellerle besler, değil de tahmin edilen, zanaatkarca yaklaşık değerlerle.

Şimdilik, görsel efekt topluluğu arasında NeRF’den endişe edecek pek bir şey yok. NeRF, eklem, yuvalama, derinlik kontrolü, eklemleme ve özellikle aydınlatma açısından yalnızca başlangıç düzeyinde yeteneklere sahip.

Elementleri Eleme

Bununla birlikte, bir yerden başlamak gerekliyse, yeni makaledeki araştırmacılar, CGI’yi ara bir kontrol ve üretim mekanizması olarak benimsemişlerdir. Bu, GAN’lerin katı latent uzayları ve NeRF’in neredeyse geçirgen olmayan lineer ağları için artık ortak bir yaklaşımdır.

Asıl challenge, global aydınlatma (GI, neural rendering’de doğrudan uygulanabilir olmayan) hesaplarını, Önceden Hesaplanmış Işınım Aktarımı (PRT, neural rendering’e uyarlanabilir) hesaplarına dönüştürmektir.

GI, bir CGI rendering tekniğidir ve yüzeylerden diğer yüzeylere yansıyarak ışığın davranışını modelleyen ve bu yansıyan ışık alanlarını bir render’e dahil ederek gerçekçiliği artıran bir tekniktir.

Yeni yaklaşım, PRT’yi ara bir aydınlatma fonksiyonu olarak kullanır ve PRT’nin ayrılabilir bir bileşen olması, ayırma işlemini gerçekleştirir. Yeni metod, NeRF nesnesinin malzemesini öğrenilmiş bir PRT ile modellemektedir.

Orijinal verilerin gerçek sahne aydınlatması, bir çevre haritası olarak geri kazanılmış ve sahne geometrisi, İmzalı Mesafe Alanı (SDF) olarak çıkarılmış ve bu, sonunda Blender’ın sanal ışık sahnesinde çalışmak için geleneksel bir mesh sağlayacaktır.

Yeni tekniğin işlem hattının bir özeti.

İşlemdeki ilk aşama, çoklu görüş görüntülerinden sahne geometrisini çıkarmaktır. Bu, 2021 NeuS araştırması işbirliği tarafından kullanılan tekniklerle yapılır.

Aydınlatma verilerini barındıracak bir nöral ışıma transfer alanı (NRTF) geliştirmek için, araştırmacılar Mitsuba 2 farklılıabilirlik yol izleyicisini kullandılar.

Bu, bir çift yönlü saçılma dağılım fonksiyonu (BSDF) ve bir başlangıç çevre haritasının ortak optimizasyonunu sağlar. BSDF oluşturulduktan sonra, yol izleyici Blender’da (yukarıdaki gömülü videoda gösterildiği gibi) sanal tek-ışık-zamanı (OLAT) sahne renderlerini oluşturmak için kullanılabilir.

NRTF, fotogerçeklik malzeme etkileri ve sentetik veriler arasında birleşik bir kayıp ile eğitilir. Bu veriler birbirleriyle iç içe geçmez.

Yeni tekniğin, yeni görünüm sentezi ve yeniden aydınlatma zorlukları açısından NeRFactor ile karşılaştırılması.

Aydınlatmaya Giden Yol

Bu tekniğin eğitim gereksinimleri, orijinal NeRF eğitim sürelerine kıyasla önemli ölçüde daha azdır. NVIDIA Quadro RTX 8000 ile 48GB VRAM kullanarak, ön aydınlatma ve tekstür tahmini için ön eğitim 30 dakika sürer; OLAT eğitimi (yani sanal ışık sahnesi kaptürlerinin eğitimi) 8 saat sürer ve disentangled sentetik ve gerçek veriler arasındaki son ortak optimizasyon için 16 saat daha gerekir.

Ayrıca, oluşan nöral temsil gerçek zamanlı çalışamaz ve araştırmacılara göre ‘her kare için birkaç saniye’ alır.

Araştırmacılar şöyle diyor:

‘Sonuçlarımız, mevcut durumun üzerinde açık bir gelişme gösteriyor ve gelecekteki çalışmalar, çalışma zamanını daha da geliştirmeyi ve geometri, malzeme ve sahne aydınlatmasının ortak akıl yürütmelerini içerebilir.’

İlk olarak 28 Temmuz 2022’de yayınlandı.