Adobe: Gerçek Dünyayı Nöral Rendering ile Yeniden Aydınlatma

Adobe’dan araştırmacılar, gerçek dünya iç mekan sahneleri için sofistike yeniden aydınlatma, gerçek zamanlı arayüz ve parlak yüzeyler ve yansımalar gibi rakip görüntü sentezleme yöntemleri için önemli bir zorluk olan nöral rendering sistemi oluşturdular.

Burada, gerçek bir sahne birkaç静止 görüntüden yeniden oluşturularak sahne navigasyon haline getirilmiştir. Aydınlatma eklenip renk ve kalite bakımından değiştirilebilir, yansımalar doğru kalır ve parlak yüzeyler kullanıcıların aydınlatma kaynaklarındaki ve/veya stillerindeki değişikliklerini doğru bir şekilde ifade eder. Kaynak: https://www.youtube.com/watch?v=d3ma4opFpgM

Yeni sistem, Photoshop tarzı, GUI ile kontrol edilen bir gerçek 3D sahnesinin aydınlatma aspects, gölgeler ve yansımalar dahil olmak üzere nöral bir alanda yakalanmasını sağlar.

GUI, bir kullanıcıya, birkaç fotoğraftan yeniden oluşturulmuş bir gerçek dünya sahnesine bir aydınlatma kaynağı eklemesine ve ayarlamasına ve CGI tarzı mesh tabanlı bir senaryo gibi serbestçe gezinmesine olanak tanır.

Makale, ACM Transactions on Graphics’e sunuldu ve Free-viewpoint Indoor Neural Relighting from Multi-view Stereo olarak adlandırıldı, Adobe Research ve Université Côte d’Azur’dan araştırmacılar arasındaki bir işbirliğidir.

Kaynak: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (tam çözünürlüğü görmek için tıklayın)

Neural Radiance Fields (NeRF) gibi, sistem fotogrametri (yukarıda sol) kullanır, burada bir sahnenin anlaşılması sınırlı sayıda fotoğraftan çıkarılır ve ‘eksik’ görüntüler makine öğrenimi ile tam ve tamamen soyut bir sahne modeli elde edilene kadar eğitilir.

Sistem tamamen sentetik (CGI) verilerle eğitildi, ancak kullanılan 3D modeller, bir kişinin gerçek bir sahnenin nöral yorumu için birkaç sınırlı fotoğraf çekeceği şekilde işlendi. Yukarıdaki resim, sentetik bir sahnenin yeniden aydınlatılmasını gösterir, ancak en üstteki (canlı) resimdeki ‘yatak odası’ görüntüsü, gerçek bir odada çekilen gerçek fotoğraflardan elde edildi.

Sahnenin örtük temsili, kaynak materyalden bir Convolutional Neural Network (CNN) aracılığıyla elde edilir ve yansımalar, kaynak ışıması (radyositasyon/genel aydınlatma) ve albedo dahil olmak üzere birkaç katmana bölünür.

Adobe yeniden aydınlatma sisteminin mimarisi. Çok görüntülü veri kümesi ön işleme tabi tutulur ve 3D mesh geometrisi girdi verisinden oluşturulur. Yeni bir ışık eklenirse, ışıma gerçek zamanlı olarak hesaplanır ve yeniden aydınlatılmış görünüm sentezlenir. (tam çözünürlüğü görmek için tıklayın)

Algoritma, geleneksel ışın izleme (Monte Carlo) ve Görüntü Tabanlı Rendering (IBR, nöral rendering) unsurlarını birleştirir.

Son yıllarda Neural Radiance Fields üzerine yapılan araştırmaların önemli bir kısmı, düz görüntülerden 3D geometrinin çıkarılmasına ilişkinken, Adobe’nin bu çalışması, bu yöntem aracılığıyla yüksek düzeyde yeniden aydınlatma yeteneklerinin ilk kez gösterildiğini kanıtlamaktadır.

Algoritma ayrıca, her bir görüntünün 100% yansıtıcı malzeme atanmış bir tam yansıma haritasını hesaplayarak, NeRF ve benzeri yaklaşımların geleneksel bir sınırlamasını da ele alır.

Aynalı dokular aydınlatma yollarını belirler. (tam çözünürlüğü görmek için tıklayın)

Bu integral yansıtma haritası ile, ahşap, metal ve taş gibi farklı malzemelerin çeşitli yansıtma seviyelerini sağlamak için yansıtma derecesini azaltmak mümkündür. Yansıtma haritası (yukarıda) ayrıca, difüz aydınlatma ayarlaması için yeniden kullanılabilen bir ışın haritalama şablonu sağlar.

Adobe nöral rendering sisteminin diğer katmanları. (tam çözünürlüğü görmek için tıklayın)

Sahnenin ilk yakalama işlemi, 250-350 RAW fotoğrafı kullanır ve bir mesh, Multi-View Stereo aracılığıyla hesaplanır. Veri, 2D girdi özellik haritalarına özetlenir ve sonra yeni görünüme yeniden projeye edilir. Aydınlatmadaki değişiklikler, diffuse ve parlak katmanların ortalaması hesaplanarak hesaplanır.

Aynalı katman, hızlı tek ışın aynası hesaplaması (bir atış) ile oluşturulur, bu da orijinal kaynak değerlerini ve ardından hedef değerleri tahmin eder. Sahnenin orijinal aydınlatma bilgilerini içeren haritalar, geleneksel CGI sahne verisi ile depolanan radyositasyon haritaları gibi nöral veride depolanır.

Nöral Rendering Yansımalarını Çözme

Bu çalışmanın belki de en önemli başarısı, yansıtma bilgilerinin diffuse ve diğer katmanlardan ayrılmasıdır. Hesaplama zamanı, yalnızca aktif kullanıcı görünümü için ‘yansıtma’ etkinleştirilmiş canlı görünümün hesaplanmasıyla azaltılır.

Araştırmacılar, bu çalışmanın, gerçekçi bir şekilde yansıtıcı yüzeyleri yeniden üreten sahneler için ücretsiz görünüm gezinme yetenekleriyle eşleştirilmiş yeniden aydınlatma yeteneklerini sunan ilk çalışma olduğunu iddia ediyorlar.

Bu işlevselliği elde etmek için bazı fedakarlıklar yapılmıştır ve araştırmacılar, daha karmaşık per-view mesh’lerin küçük nesneler için daha iyi geometri gösterdiğini kabul etmektedir. Adobe yaklaşımının gelecekteki yönleri, bu yönü iyileştirmek için per-view geometrisinin kullanılmasını içerecektir.