Adobe: Gerçek Dünyayı Nöral Rendering ile Yeniden Aydınlatma

Adobe’ dan araştırmacılar, gerçek dünya içi mekanlar için nöral bir rendering sistemi oluşturdular. Bu sistem, gelişmiş relighting, gerçek zamanlı arayüz ve parlak yüzeyleri ve yansımaları işleyebilme kabiliyetine sahiptir. Bu, Neural Radiance Fields (NeRF) gibi diğer görüntü sentezleme yöntemleri için önemli bir zorluktur.

Burada, gerçek bir dünya sahnesi birkaç durağan görüntüden yeniden oluşturularak sahne gezilebilir hale getirilmiştir. Aydınlatma eklenip renk ve kalitesi değiştirilebilir, yansımalar doğru kalır ve parlak yüzeyler kullanıcıların aydınlatma kaynaklarındaki ve/veya stillerindeki değişikliklerini doğru bir şekilde yansıtır. Kaynak: https://www.youtube.com/watch?v=d3ma4opFpgM

Yeni sistem, Photoshop tarzı, GUI ile kontrol edilen bir 3D sahnenin aydınlatma yönlerini işleyebilir. Bu, gerçek bir 3D sahneyi nöral bir uzaya aktarmayı içerir ve gölgeler ve yansımalar dahil edilir.

GUI, bir kullanıcıya, birkaç fotoğraftan yeniden oluşturulmuş bir gerçek dünya sahnesine bir aydınlatma kaynağı eklemeyi ve onu bir CGI tarzı mesh tabanlı senaryo gibi özgürce gezinmeyi sağlar.

Makale, ACM Transactions on Graphics’e sunuldu ve Free-viewpoint Indoor Neural Relighting from Multi-view Stereo başlığını taşır. Bu, Adobe Research ve Université Côte d’Azur’dan araştırmacılar arasındaki bir işbirliğidir.

Kaynak: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (tam çözünürlüğü görmek için tıklayın)

Neural Radiance Fields (NeRF) gibi, sistem fotogrametri kullanır. Sahne anlaşılması, sınırlı sayıda fotoğraftan çıkarılır ve ‘eksik’ görüşler makine öğrenimi ile tamamlanır. Bu, sahnenin tamamen soyutlanmış bir modelini ad hoc yorumlama için kullanılabilir hale getirir.

Sistem tamamen sentetik (CGI) verilerle eğitilmiştir, ancak kullanılan 3D modeller, gerçek bir sahnenin sınırlı sayıda fotoğrafından elde edilenler gibi işlenir. Yukarıdaki resim, sentetik bir sahnenin yeniden aydınlatılmasını gösterir, ancak en üstteki (canlı) resim, gerçek bir odada çekilen fotoğraflardan elde edilmiştir.

Sahnenin örtük temsili, kaynak materyalden bir Convolutional Neural Network (CNN) ile elde edilir ve yansıma, kaynak ışıması (radyosity/genel aydınlatma) ve albedo gibi katmanlara bölünür.

Adobe yeniden aydınlatma sisteminin mimarisi. Çoklu görüş verisi ön işleme tabi tutulur ve 3D mesh geometrisi girişten elde edilir. Yeni bir ışık eklenirse, ışınım gerçek zamanlı olarak hesaplanır ve yeniden aydınlatılmış görünüm sentezlenir. (tam çözünürlüğü görmek için tıklayın)

Algoritma, geleneksel ışın izleme (Monte Carlo) ve Görüntü Tabanlı Rendering (IBR, nöral rendering) unsurlarını birleştirir.

Neural Radiance Fields ile ilgili recent araştırmaların önemli bir kısmı, 3D geometrinin düz görüntülerden çıkarılmasına odaklanmıştır. Ancak Adobe’nin bu çalışması, bu yöntemle yüksek düzeyde gelişmiş yeniden aydınlatma yeteneklerini gösteren ilk çalışmadır.

Algoritma, NeRF ve benzeri yaklaşımların geleneksel bir hạnını daha ele alır. Her bir görüntüdeki her bir bölüm için tam bir yansıma haritası hesaplar. Bu, her bir bölümün %100 yansıtıcı bir malzeme atanmasını sağlar.

Aynalı dokular aydınlatma yollarını belirler. (tam çözünürlüğü görmek için tıklayın)

İntegral yansıtma haritası ile, yansıtma düzeyini various malzemelerin yansıtma seviyelerine göre ayarlamak mümkündür. Yansıtma haritası (yukarıda), ayrıca difüz aydınlatma ayarlaması için tekrar kullanılabilen bir ışın haritası şablonu sağlar.

Adobe nöral rendering sisteminin diğer katmanları. (tam çözünürlüğü görmek için tıklayın)

Sahnenin ilk yakalama işlemi, 250-350 RAW fotoğrafı içerir ve bu fotoğraflardan bir mesh oluşturulur. Veri, 2D girdi özellik haritalarına özetlenir ve daha sonra yeni görünüme yeniden projelendirilir. Aydınlatmadaki değişiklikler, difüz ve parlak katmanların ortalaması ile hesaplanır.

Aynalı katman, hızlı tek ışın aynalı hesaplamayla (bir atış), orijinal kaynak değerlerini ve daha sonra hedef değerlerini tahmin eder. Sahnenin orijinal aydınlatma bilgilerini içeren haritalar, nöral veride depolanır. Bu, geleneksel CGI sahne verisi ile birlikte depolanan radyosity haritalarına benzer.

Nöral Rendering Yansımalarını Çözme

Bu çalışmanın belki de en önemli başarısı, yansıma bilgilerini difüz ve diğer katmanlardan ayırabilmesidir. Hesaplama zamanı, yalnızca aktif kullanıcı görüşü için ‘yansıma’ etkinleştirilmiş canlı görüşlerin hesaplanması ile azaltılır.

Araştırmacılar, bu çalışmanın, gerçekçi yansıtma yüzeyleri üretebilen sahneler için ücretsiz görüş navigasyonu yetenekleriyle eşleştirilmiş yeniden aydınlatma yeteneklerini sunan ilk çalışma olduğunu iddia ediyorlar.

Bu işlevselliği elde etmek için bazı fedakarlıklar yapılmıştır ve araştırmacılar, daha karmaşık per-view mesh’leri kullanan önceki yöntemlerin küçük nesneler için daha iyi geometri gösterdiğini kabul ediyorlar. Adobe yaklaşımının gelecekteki yönleri, bu yönü geliştirmek için per-view geometrisi kullanımını içerecektir.