Nöral İşleme: NeRF Temiz Havada Yürüyüşe Çıkıyor

Google Research ve Harvard Üniversitesi arasındaki bir iş birliği, tüm sahnelerin 360 derecelik nöral videosunu oluşturmak için yeni bir yöntem geliştirdi. Nöral Parlaklık Alanları (NeRF). Yeni yaklaşım, NeRF'i herhangi bir ortamda, herhangi bir ortamda rastgele soyut kullanıma bir adım daha yaklaştırıyor. masaüstü modelleri or kapalı iç senaryolar.

Videonun tamamı için makalenin sonuna bakın. Kaynak: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360, genişletilmiş arka planları ve gökyüzü gibi 'sonsuz' nesneleri işleyebilir, çünkü önceki yinelemelerin çoğundan farklı olarak, ışık ışınlarının yorumlanma biçimine sınırlar koyar ve normalde uzun olan eğitim sürelerini rasyonelleştiren dikkat sınırları oluşturur. Daha fazla örnek ve sürece ilişkin kapsamlı bir fikir için bu makalenin sonuna eklenen yeni videoya bakın.

The yeni kağıt başlıklı Mip-NeRF 360: Sınırsız Örtüşme Karşıtı Nöral Parlaklık Alanlarıve Google Research'te Kıdemli Araştırma Görevlisi Jon Barron tarafından yönetiliyor.

Buluşu anlamak için, nöral parlaklık alanı tabanlı görüntü sentezinin nasıl çalıştığına dair temel bir kavrayışa sahip olmak gerekir.

NeRF nedir?

Bir NeRF ağını 'video' olarak tanımlamak sorunludur, çünkü bu tamamen 3D olarak gerçekleştirilmiş bir ağdır, ancak AI tabanlı Teknik olarak yalnızca bir makine öğrenimi algoritmasının gizli alanında var olan ancak istendiğinde olağanüstü sayıda bakış açısı ve videonun çıkarılabileceği bir sahneyi birleştirmek için tek fotoğraflardan (video çerçeveleri dahil) birden fazla bakış açısının kullanıldığı sanal ortam .

NeRF'in sinirsel bir sahnede bir araya getirdiği verileri sağlayan çoklu kamera yakalama noktalarının bir tasviri (sağdaki resim).

Katkıda bulunan fotoğraflardan elde edilen bilgiler, geleneksel bir matrise benzer bir matriste eğitilir. voksel ızgarası CGI iş akışlarında, 3B uzaydaki her noktanın bir değerle sonuçlanması, sahneyi gezilebilir hale getirir.

Geleneksel bir voksel matrisi, piksel bilgisini (normalde bir JPEG dosyasının piksel ızgarası gibi 2 boyutlu bir bağlamda bulunur) üç boyutlu bir alana yerleştirir. Kaynak: ResearchGate

Fotoğraflar arasındaki geçiş boşluğu hesaplandıktan sonra (gerekirse), katkıda bulunan her fotoğrafın olası her pikselinin yolu etkili bir şekilde 'ışın izlemeli' yapılır ve şeffaflık değeri dahil olmak üzere bir renk değeri atanır (bu olmadan nöral matris tamamen opak olur, veya tamamen boş).

Voksel ızgaraları gibi ve aksine CGI tabanlı 3B koordinat alanı, 'kapalı' bir nesnenin 'iç kısmı' NeRF matrisinde mevcut değildir. İsterseniz bir CGI bateri setini bölerek açıp içine bakabilirsiniz; ancak NeRF söz konusu olduğunda, yüzeyinin opaklık değeri '1'e eşit olduğunda bateri kitinin varlığı sona erer.

Daha Geniş Bir Piksel Görünümü

Mip-NeRF 360, Mip-NeRF XNUMX'ın bir uzantısıdır. Mart 2021'den itibaren araştırmaKapsamlı üst örnekleme olmadan NeRF'e verimli kenar yumuşatma özelliğini etkili bir şekilde getiren.

NeRF geleneksel olarak yalnızca bir piksel yolunu hesaplar ve bu tür bir tür üretmeye eğilimlidir. "tırtıklı" erken internet görüntü formatlarını karakterize eden, yanı sıra önceki oyun sistemleri. Bu pürüzlü kenarlar, genellikle bitişik pikselleri örneklemeyi ve ortalama bir temsil bulmayı içeren çeşitli yöntemlerle çözüldü.

Geleneksel NeRF yalnızca tek bir piksel yolunu örneklediğinden, Mip-NeRF, hakkında yeterli bilgi sağlayan geniş ışınlı bir meşale gibi 'konik' bir toplama alanı tanıttı. bitişik Gelişmiş ayrıntılarla ekonomik kenar yumuşatma üretmek için pikseller.

Mip-NeRF'in kullandığı konik koni toplama alanı, bir pikselin doğruluğunu ve örtüşmesini hesaplamak için kullanılabilecek belirsiz Gauss boşlukları oluşturmak için daha fazla 'bulanık' olan konik kesik kesiklere (alttaki görüntü) dilimlenir. Kaynak: https://www.youtube.com/watch?v=EpH175PY1A0

Standart bir NeRF uygulamasına göre sağlanan gelişme dikkate değerdi:

Mart 2021'de piyasaya sürülen Mip-NeRF (sağda), pürüzlü kenarları önlemek için pikselleri yalnızca "bulanıklaştırmak" yerine, daha kapsamlı ancak ekonomik bir örtüşme ardışık düzeni aracılığıyla gelişmiş ayrıntı sağlar. Kaynak: https://jonbarron.info/mipnerf/

NeRF Sınırsız

Mart ayı makalesi, Mip-NeRF'nin gökyüzü de dahil olmak üzere çok uzak nesneleri içerebilecek sınırsız ortamlarda kullanılmasıyla ilgili olarak çözülmemiş üç sorun bıraktı. Yeni kağıt, bunu uygulayarak çözer. Kalman tarzı Mip-NeRF Gaussçularına çözgü.

İkinci olarak, daha büyük sahneler, Mip-NeRF 360'ın sahne geometrisini küçük bir "teklif" ile "damıtarak" çözdüğü daha fazla işlem gücü ve daha uzun eğitim süreleri gerektirir. çok katmanlı algılayıcı (MLP), büyük bir standart NeRF MLP tarafından tahmin edilen geometriyi önceden sınırlar. Bu, eğitimi üç kat hızlandırır.

Son olarak, daha büyük sahneler, yorumlanan geometrinin ayrıklaştırılmasını belirsiz hale getirme eğilimindedir ve bu da, oyun çıktısı "yırtıldığında" oyuncuların aşina olabileceği türden eserlerle sonuçlanır. Yeni makale, Mip-NeRF ışın aralıkları için yeni bir düzenleyici oluşturarak bu sorunu ele alıyor.

Sağda, bu kadar büyük bir sahneyi sınırlandırmanın zorluğundan dolayı Mip-NeRF'de istenmeyen eserler görüyoruz. Solda, yeni düzenleyicinin sahneyi bu bozulmaları ortadan kaldıracak kadar iyi optimize ettiğini görüyoruz.

Yeni kağıt hakkında daha fazla bilgi edinmek için aşağıdaki videoyu ve ayrıca Mart 2021 video tanıtımı Mip-NeRF'e. Ayrıca, NeRF araştırması hakkında daha fazla bilgi edinebilirsiniz. şimdiye kadarki kapsamımız.

İlk olarak 25 Kasım 2021'de yayınlandı
21 Aralık 2021, 12:25 – Ölü video değiştirildi. – MA