Herhangi Bir Çevre Haritasıyla Nöral Parlaklık Alanlarının Yeniden Aydınlatılması

Max Planck Enstitüsü ve MIT’den yeni bir makale, toplanan veride mevcut olan aydınlatmadan Nöral Parlaklık Alanları (NeRF) içeriğinin gerçek ayrıştırılmasını elde etmek için bir teknik önerdi. Bu, ad hoc çevre haritalarının bir NeRF sahnesindeki aydınlatmayı tamamen değiştirmesine olanak tanır:

Gerçek verilere uygulanan yeni teknik. Bu yöntemin, veri toplandığında yeni işlem hattını dikkate almayan bu tür arşivlenmiş verilerde bile çalıştığı dikkat çekicidir. Buna rağmen, gerçekçi ve kullanıcı tarafından belirtilen aydınlatma kontrolü elde edilir. Kaynak: https://arxiv.org/pdf/2207.13607.pdf

Yeni yaklaşım, popüler açık kaynaklı 3D animasyon programı Blender’ı kullanarak bir ‘sanal ışık sahnesi’ oluşturur. Burada olası aydınlatma senaryolarının çoklu iterasyonları oluşturulur ve sonunda NeRF modelinde herhangi bir çevre haritasını kullanmak isteyen kullanıcıya uygun bir katmana eğitilir.

Çevre haritaları sahneyi aydınlatmak için kullanılan views’lerin bir bölümünün Blender tarafından oluşturulduğu işlem hattının bir parçası. Benzer hatları izleyen önceki yöntemler, bu verileri sağlamak için gerçek ışık sahnesi kullanmışlardır. Bu, ayrı nesneler için zorlu bir gereksinimdir ve dış ortam görünümleri için imkansızdır. Sağdaki iki resmin sol üst köşesinde, sahneyi aydınlatan çevre haritalarını görebiliriz. Bunlar, son kullanıcı tarafından keyfi olarak oluşturulabilir ve NeRF’i modern bir CGI yaklaşımının esnekliğine bir adım daha yaklaştırır.

Yaklaşım, Mitsuba2 ters rendering çerçevesi ile birlikte PhySG, RNR, Neural-PIL ve NeRFactor gibi önceki çalışmalarla karşılaştırıldı ve yalnızca doğrudan aydınlatma modeli kullanarak en iyi puanları elde etti:

Yeni tekniğin sonuçları, çeşitli kaybı fonksiyonları altında karşılaştırılabilir yaklaşımlarla karşılaştırıldı. Araştırmacılar, approach’un en yüksek kaliteli yöntemleri sunduğunu iddia ediyor. Sonuçlar, Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) ve etkili ancak eksantrik Learned Perceptual Image Patch Similarity (LPIPS) aracılığıyla değerlendirildi.

Makalede şöyle deniyor:

‘Niteliksel ve nicel sonuçlarımız, sahne parametrelerinin geri kazanımı ve yeni görünümler ve aydınlatma koşulları altında sentez kalitesi açısından önceki durumun önemli bir adım ötesine geçtiğini gösteriyor.’

Araştırmacılar, projenin kodunu sonunda yayınlayacaklarını belirtiyorlar.

NeRF Düzenlenebilirliğine İhtiyaç

Bu tür bir ayrıştırma, Nöral Parlaklık Alanları araştırmacıları için önemli bir zorluk oluşturdu. NeRF, temelde bir fotogrametri tekniğidir ve bir görüş noktasından binlerce olası yolun piksel değerini hesaplar, RGBD değerleri atar ve bu değerlerin matrisini bir hacimsel temsil olarak birleştirir. NeRF’in temelinde aydınlatma vardır.

Aslında, NeRF, etkileyici görselleri ve NVIDIA tarafından lüks bir şekilde benimsenmesine rağmen, ‘rigid’ – CGI terimleriyle ‘baked’ – olarak dikkat çekiyor. Bu nedenle, araştırmacılar son 12-18 aydır esneklik ve işlenebilirlik açısından NeRF’i geliştirmeye odaklandılar.

Bu tür bir kilometre taşı için önemi yüksek olan şeyler arasında, görsel efekt endüstrisini, mesh oluşturma, hareket dinamikleri ve tekstüre odaklanan yaratıcı ve işbirlikçi bir modele sahip bir endüstriden, ters rendering’e dayanan bir modele dönüştürme olasılığı yer alıyor. Burada VFX pipeline’ı, gerçek dünya fotoğrafları veya sentezlenen modeller yerine gerçek ve sentezlenmiş modellerle beslenir.

Şimdilik, en azından Nöral Parlaklık Alanlarından, görsel efekt topluluğu arasında fazla endişe nedeni yok. NeRF, rigging, nesting, derinlik kontrolü, eklemleme… ve şüphesiz aydınlatma konusunda henüz gelişmiş yeteneklere sahip değil. Başka bir yeni makale için eşlik eden video, NeRF geometrisi için ilkel deformasyonlar sunar ve CGI’nin mevcut durumunun ve nöral rendering tekniklerinin çığır açan çabaları arasındaki büyük uçurumu gösteriyor.

Elemanları Eleme

Bununla birlikte, bir yerden başlamak gerekli olduğundan, yeni makaledeki araştırmacılar, CGI’yi, şimdi GAN’lerin katı latent alanlarına ve NeRF’in neredeyse geçirgen olmayan ve lineer ağlarına karşı bir kontrol ve üretim mekanizması olarak benimsemişlerdir.

Aslında, merkezi zorluk, küresel aydınlatma (GI, nöral rendering’de doğrudan uygulanabilirliği olmayan) hesaplamak ve bunu Önceden Hesaplanmış Parlaklık Transferi (PRT, nöral rendering’e uyarlanabilen) hesaplamasına dönüştürmektir.

GI, bir render’e ek gerçekçilik katmak için yüzeylerden yüzeylere yansıyan ışığı modelleyen ve bu yansıyan ışık alanlarını bir render’e dahil eden bir CGI rendering tekniğidir.

PRT, yeni yaklaşımın bir aracı aydınlatma fonksiyonu olarak kullanılır ve bu, bir bölümünün ayrıştırılmasını sağlar. Yeni yöntem, NeRF nesnesinin malzemesini öğrenilmiş bir PRT ile modellemektedir.

Orijinal verinin gerçek sahne aydınlatması, bir çevre haritası olarak geri kazanılmaktadır ve sahne geometrisi, bir SDF olarak çıkarılır. Bu, sonunda Blender’ın sanal ışık sahnesinde çalışacağı geleneksel bir mesh sağlayacaktır.

Yeni tekniğin işlem hattının bir özeti.

Sürecin ilk aşaması, çoklu görüş görüntülerinden sahne geometrisini implicit yüzey yeniden yapılandırma yoluyla çıkarmaktır. Bu, 2021 NeuS araştırması işbirliği tarafından kullanılan tekniklere benzerdir.

Işık verisi ile uyumlu bir nöral parlaklık transfer alanını (NRTF) geliştirmek için, araştırmacılar Mitsuba 2 diferansiyellenebilir yol izleyicisini kullandılar.

Bu, bir çift yönlü saçılma dağılım fonksiyonu (BSDF) ile birlikte bir çevre haritasının oluşturulmasının ortak optimizasyonunu sağlar. BSDF oluşturulduktan sonra, yol izleyici Blender’da (yukarıdaki gömülü videoyu görün) sanal tek-ışık-zamanı (OLAT) sahne renderleri oluşturmak için kullanılabilir.

NRTF, fotogerçeklik malzeme etkileri ve sentetik veriler arasında birleşik bir kaybı ile eğitilir. Bu veriler birbirleriyle iç içe geçmez.

Yeni tekniğin, yeni görünüm sentezi ve yeniden aydınlatma zorlukları açısından NeRFactor ile karşılaştırılması.

Aydınlatmaya Giden Yol

Bu tekniğin eğitim gereksinimleri, orijinal NeRF eğitim sürelerine kıyasla önemli ölçüde azdır. 48GB VRAM ile bir NVIDIA Quadro RTX 8000 üzerinde, ön aydınlatma ve tekstür tahmini için ön eğitim 30 dakika sürer; OLAT eğitimi (yani sanal ışık sahnesi yakalamalarının eğitimi) 8 saat sürer ve gerçek ve sentetik verilerin ayrıştırılmasının ortak optimizasyonu için son olarak 16 saat sürer.

Ayrıca, elde edilen nöral temsil gerçek zamanlı çalışamaz, araştırmacılara göre her kare için ‘birkaç saniye’ sürer.

Araştırmacılar şöyle diyor:

‘Sonuçlarımız, mevcut durumun üzerinde önemli bir gelişme gösterirken, gelecekteki çalışmalar, çalışma zamanını daha da iyileştirmeyi ve geometri, malzeme ve sahne aydınlatmasının ortak akıl yürütmesini içerebilir.’

İlk olarak 28 Temmuz 2022’de yayınlandı.