NeRFocus: Nöral Radyans Alanlarına Hafif Odak Kontrolü Getirme

Çin’den yeni bir araştırma, Nöral Radyans Alanları (NeRF) için depth of field efektleri üzerinde uygun kontrolü sağlamak için bir yöntem sunuyor. Bu, son kullanıcıya odak noktasını değiştirme ve rendering alanında sanal lensin yapılandırmasını dinamik olarak değiştirme olanağı tanıyor.

NeRFocus olarak adlandırılan teknik, odak geçişini sağlamak için yeni bir ‘ince lens görüntüleme’ yaklaşımı uyguluyor ve P-education olarak adlandırılan bir olasılıksal eğitim stratejisi geliştiriyor. Bu strateji, depth of field veri setlerine gerek kalmadan eğitim işlemini basitleştiriyor.

Makale NeRFocus: 3D Sentetik Defocus için Nöral Radyans Alanı olarak adlandırılmış ve Peking Üniversitesi’nden dört araştırmacı tarafından yazılmıştır.

NeRF’de Foveated Locus of Attention’i ele alma

Eğer NeRF, sanal ve artırılmış gerçeklik için geçerli bir teknoloji olarak kabul görmek istiyor ise, gerçekçi foveated rendering için hafif bir yönteme ihtiyaç duyacak. Bu, majority of rendering kaynaklarının kullanıcıların bakış açısına odaklanmasını ve düşük çözünürlükte bütün görsel alan boyunca eşit olarak dağılmamasını sağlayacaktır.

2021 makalesinden Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, NeRF için yeni bir foveated rendering şeması Source: https://arxiv.org/pdf/2103.16365.pdf

Gelecek NeRF dağıtımlarının otantikliği, sistemin insan gözünün odak noktasını değiştirmesini ve perspektifin gerileyen düzleminde odak noktasını değiştirmesini sağlayabilmesi ile ilgili olacaktır.

Odak noktasının bu gradyanı, sahnenin ölçeğinin algılanması için de bir görsel işaretçi olarak hizmet eder. Bir helikopterden bir şehri uçarken alınan görüş, navigasyonel odak alanları içermeyecektir, çünkü bütün sahne izleyiciye outermost odak kapasitesinin ötesinde bulunmaktadır. Buna karşılık, bir minyatür veya ‘yakın alan’ sahnesinin incelenmesi, odak noktasını değiştirmeyi sağlayacaktır ve gerçekçi olması için dar bir odak alanı içerecektir.

Aşağıda, makalenin yazarları tarafından sağlanan NeRFocus’un ilk yeteneklerini gösteren bir video bulunmaktadır:

Kısıtlı Odak Düzlemlerinin Ötesinde

NeRF projelerinin birçoğu, son yıllarda odak kontrolü için önlemler almış, ancak tüm girişimler bugüne kadar çeşitli türden hileler veya önemli post-işleme rutinleri içermektedir. Bu yaklaşımlar, nihai olarak NeRF teknolojileri için tasarlanan gerçek zamanlı ortamlara katkıda bulunmaları unlikely.

Sentetik odak kontrolü, son 5-6 yıl içinde çeşitli yöntemlerle denenmiştir. Örneğin, bir segmentasyon ağı kullanarak ön plan ve arka plan verilerini ayırmak ve ardından arka planı genel olarak bulanıklaştırmak mümkün olmuştur.

Automatic Portrait Segmentation for Image Stylization makalesinden, odak düzlemlerinin sıradan, animasyon tarzı ayrılması Source: https://jiaya.me/papers/portrait_eg16.pdf

Çoklu düzlem temsil edilenler, bu paradigmaya birkaç sanal ‘animasyon cels’ ekler. Örneğin, depth tahmini kullanarak sahneyi keskin odak düzlemlerine ayırarak ve ardından depth-bağımlı çekirdekleri sentezlemek için kullanmak mümkün olmuştur.

Ek olarak, stereo kamera kurulumundaki iki görüş açısı arasındaki uyumsuzluk, bir depth proxy olarak kullanılabilir. Bu yöntem, 2015 yılında Google Research tarafından önerilmiştir.

Google liderliğindeki Fast Bilateral-Space Stereo for Synthetic Defocus makalesinden, iki görüş açısı arasındaki farkın bir depth haritası oluşturması Source

Bu tür yaklaşımlar, kenar artifacts gösterme eğilimindedir, çünkü iki ayrı ve kenar-sınırlı odak alanını sürekli bir odak gradyanı olarak temsil etmeye çalışırlar.

2021 yılında RawNeRF girişimi, Yüksek Dinamik Aralıklı (HDR) işlevselliği sunmuştur. Bu, düşük ışık koşullarında daha büyük kontrol ve odak noktasını değiştirme yeteneği sağlamıştır.

RawNeRF, odak noktasını güzel bir şekilde değiştiriyor (ancak bu durumda, gerçekçi odak düzlemleri olmadan), ancak yüksek bir hesaplama maliyeti ile geliyor Source: https://bmild.github.io/rawnerf/

RawNeRF, eğitilmiş NeRF’in çoklu düzlem temsilini gerektirir, bu da hafif veya düşük gecikme uygulamalarına kolayca adapte edilemeyen bir iş akışına yol açar.

Sanal Lens Modelleme

NeRF, pinhole görüntüleme modeline dayanır. Bu, sahneyi keskin bir şekilde render eder, ancak bu, depth of field etkilerini render etmeyi gerektirir.

NeRFocus, bir ‘ince lens’ (camlı bir aperture yerine) oluşturur ve her gelen pikselin ışın yolunu hesaplar ve doğrudan render eder. Bu, standard görüntü yakalama işleminin tersine bir işlemdir.

Bu model, frustum içindeki içerik renderleme olanakları sunar.

Her multilayer perceptron (MLP) için doğru rengi ve yoğunluğu hesaplamak ek bir görevdir. Bu, yüksek sayıda DLSR görüntülerine denetimli eğitim uygulayarak çözülür. Ancak NeRFocus, P-education ile bu sorunu çözer.

Aperture çapı eğitim sırasında sıfıra ayarlanır ve önceden tanımlanmış olasılıklar kullanılarak bir blur kernel seçilir

Yazarlar, NeRFocus’un RawNeRF’in HDR-tabanlı yaklaşımıyla uyumlu olabileceğini ve belirli zorlu bölümlerin renderlenmesine yardımcı olabileceğini gözlemlediler.

NeRFocus, önceki yaklaşımlara kıyasla zaman ve/veya parametre gereksinimlerini artırmaz ve nöral radyans alanlarının merkezi metodolojisinin genel bir uzantısı olarak uygulanabilir.

İlk olarak 12 Mart 2022’de yayınlandı.