Adobe: Nöral İşleme ile Gerçek Dünyayı Yeniden Aydınlatmak

Adobe araştırmacıları, gerçek dünya iç mekan sahneleri için sofistike yeniden aydınlatma yapabilen, gerçek zamanlı bir arayüz sunan ve parlak yüzeyleri ve yansımaları işleyen bir nöral işleme sistemi yarattı; bu, Neural Radiance Fields (NeRF) gibi rakip görüntü sentezi yöntemleri için dikkate değer bir zorluktur. .

Burada, bir dizi durağan görüntüden gerçek bir dünya sahnesi yeniden oluşturuldu ve sahnede gezinilebilir hale getirildi. Aydınlatma eklenebilir ve renk ve kalite olarak değiştirilebilir, bu arada yansımalar doğru kalır ve parlak yüzeyler, kullanıcının aydınlatma kaynakları ve/veya tarzlarındaki değişikliği doğru bir şekilde ifade eder. Kaynak: https://www.youtube.com/watch?v=d3ma4opFpgM

Yeni sistem, gölgeler ve yansımalar da dahil olmak üzere bir nöral alana yakalanmış gerçek bir 3B sahnenin aydınlatma özellikleri üzerinde Photoshop tarzı, GUI güdümlü kontrole izin verir.

GUI, kullanıcının az sayıda fotoğraftan yeniden oluşturulmuş gerçek dünya sahnesine bir aydınlatma kaynağı eklemesine (ve ayarlamasına) ve CGI tarzı ağ tabanlı bir senaryoymuş gibi serbestçe gezinmesine olanak tanır.

The kâğıt, ACM Transactions on Graphics'e gönderildi ve şu haklara sahip: Çoklu Görüntü Stereo'dan Serbest Görüş Noktalı İç Mekan Sinirsel Yeniden Aydınlatma, Adobe Research ile Université Côte d'Azur'dan araştırmacılar arasındaki bir işbirliğidir.

Kaynak: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (tam çözünürlüklü halini görmek için tıklayın)

Nöral Radyans Alanlarında olduğu gibi (NeRF), sistem fotogrametriyi (yukarıda solda) kullanır; burada bir sahnenin anlaşılması sınırlı sayıda fotoğraftan çıkarılır ve 'eksik' bakış açıları, sahnenin tam ve tamamen soyutlanmış bir modeli reklam için mevcut olana kadar makine öğrenimi yoluyla eğitilir. hoc yeniden yorumlama.

Sistem tamamen sentetik (CGI) verilerle eğitildi, ancak kullanılan 3B modeller, tam olarak bir kişinin sinirsel yorumlama için gerçek bir sahnenin birkaç sınırlı fotoğrafını çekmesi durumunda ortaya çıkacak şekilde ele alındı. Yukarıdaki resim, yeniden aydınlatılan sentetik bir sahneyi gösteriyor, ancak yukarıdaki en üstteki (animasyonlu) resimdeki 'yatak odası' görünümü, gerçek bir odada çekilmiş gerçek fotoğraflardan elde edilmiştir.

Sahnenin örtülü temsili, Evrişimli Sinir Ağı (CNN) aracılığıyla kaynak malzemeden elde edilir ve yansıma, kaynak ışınımı (radyosite/küresel aydınlatma) ve albedo dahil olmak üzere çeşitli katmanlara bölünür.

Adobe yeniden aydınlatma sisteminin mimarisi. Çoklu görüntü veri kümesi önceden işlenir ve girdi verilerinden 3B ağ geometrisi oluşturulur. Yeni bir ışığın eklenmesi gerektiğinde, ışınım gerçek zamanlı olarak hesaplanır ve relit görünüm sentezlenir. (tam çözünürlüklü versiyonu görmek için tıklayın)

Algoritma, geleneksel ışın izleme (Monte Carlo) ve Görüntü Tabanlı İşleme (IBR, nöral işleme) özelliklerini birleştirir.

Neural Radiance Fields ile ilgili son zamanlarda yapılan kayda değer miktarda araştırma, düz görüntülerden 3D geometrinin çıkarılmasıyla ilgili olsa da, Adobe'nin sunduğu teklif, bu yöntemle son derece karmaşık yeniden aydınlatmanın gösterildiği ilk kez.

Algoritma ayrıca, görüntünün her bir parçasına %100 yansıtıcı bir malzeme atanan eksiksiz bir yansıma haritası hesaplayarak, NeRF ve benzer yaklaşımların başka bir geleneksel sınırlamasını ele alır.

Aynalanmış dokular, aydınlatma yollarını haritalandırır. (tam çözünürlüklü versiyonu görmek için tıklayın)

Bu entegre yansıma haritası yerindeyken, ahşap, metal ve taş gibi farklı malzeme türlerinde çeşitli yansıma seviyelerine uyum sağlamak için yansıtmayı "azaltmak" mümkündür. Yansıtma haritası (yukarıda), ayrıca, dağınık aydınlatma ayarı amacıyla yeniden kullanılabilen ışın eşleme için eksiksiz bir şablon sağlar.

Adobe nöral işleme sistemindeki diğer katmanlar. (tam çözünürlüklü versiyonu görmek için tıklayın)

Sahnenin ilk çekiminde, Multi-View Stereo aracılığıyla bir ağ hesaplanan 250-350 RAW fotoğraf kullanılır. Veriler, daha sonra yeni görünüme yeniden yansıtılan 2B giriş özellik haritalarında özetlenir. Aydınlatmadaki değişiklikler, yakalanan sahnenin dağınık ve parlak katmanlarının ortalaması alınarak hesaplanır.

Ayna görüntüsü katmanı, orijinal kaynak değerleri ve ardından hedef değerleri tahmin eden hızlı bir tek ışınlı ayna hesaplaması (bir sıçrama) yoluyla oluşturulur. Sahnenin orijinal aydınlatması hakkında bilgi içeren haritalar, radyozite haritalarının genellikle geleneksel CGI sahne verileriyle saklanmasına benzer şekilde, nöral verilerde saklanır.

Nöral İşleme Yansımalarını Çözme

Belki de çalışmanın birincil başarısı, yansıma bilgisinin verideki dağınık ve diğer katmanlardan ayrıştırılmasıdır. Aynalar gibi canlı 'yansıma' özellikli görünümlerin tüm sahne yerine yalnızca aktif kullanıcı görünümü için hesaplanması sağlanarak hesaplama süresi kısa tutulur.

Araştırmacılar, bu çalışmanın, yansıtıcı yüzeyleri gerçekçi bir şekilde yeniden üretmesi gereken sahneler için tek bir çerçevede, yeniden aydınlatma yeteneklerinin serbest görüşlü navigasyon yetenekleriyle eşleştirildiğini ilk kez temsil ettiğini iddia ediyor.

Bu işlevselliğe ulaşmak için bazı fedakarlıklar yapılmıştır ve araştırmacılar, daha karmaşık görüntüleme başına ağlar kullanan önceki yöntemlerin küçük nesneler için geliştirilmiş geometri gösterdiğini kabul etmektedir. Adobe yaklaşımı için gelecekteki yönler, bu yönü geliştirmek için görünüm başına geometrinin kullanımını içerecektir.