Nöral İşleme: NeRF Temiz Havada Yürüyüşe Çıkıyor

Google Research ve Harvard Üniversitesi arasındaki bir iş birliği, tüm sahnelerin 360 derecelik nöral videosunu oluşturmak için yeni bir yöntem geliştirdi. Nöral Parlaklık Alanları (NeRF). Yeni yaklaşım, NeRF'i herhangi bir ortamda, herhangi bir ortamda rastgele soyut kullanıma bir adım daha yaklaştırıyor. masaüstü modelleri or kapalı iç senaryolar.

Videonun tamamı için makalenin sonuna bakın. Kaynak: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360, önceki çoğu yinelemenin aksine, ışık ışınlarının yorumlanma biçimine sınırlar koyduğu ve uzun eğitim sürelerini mantıklı kılan dikkat sınırları oluşturduğu için genişletilmiş arka planları ve gökyüzü gibi 'sonsuz' nesneleri işleyebilir. Daha fazla örnek ve sürece dair daha detaylı bir bakış açısı için bu makalenin sonunda yer alan yeni videoyu izleyin.

The yeni kağıt başlıklı Mip-NeRF 360: Sınırsız Örtüşme Karşıtı Nöral Parlaklık Alanlarıve Google Research'te Kıdemli Araştırma Görevlisi Jon Barron tarafından yönetiliyor.

Bu çığır açan buluşu anlayabilmek için, sinirsel ışıma alanı tabanlı görüntü sentezinin nasıl çalıştığına dair temel bir anlayışa sahip olmak gerekiyor.

NeRF nedir?

Bir NeRF ağını 'video' açısından tanımlamak sorunludur, çünkü tamamen 3 boyutlu olarak gerçekleştirilmiş bir şeye daha yakındır ama AI tabanlı Teknik olarak yalnızca bir makine öğrenimi algoritmasının gizli alanında var olan ancak istendiğinde olağanüstü sayıda bakış açısı ve videonun çıkarılabileceği bir sahneyi birleştirmek için tek fotoğraflardan (video çerçeveleri dahil) birden fazla bakış açısının kullanıldığı sanal ortam .

NeRF'in sinirsel bir sahnede bir araya getirdiği verileri sağlayan çoklu kamera yakalama noktalarının bir tasviri (sağdaki resim).

Katkıda bulunan fotoğraflardan elde edilen bilgiler, geleneksel bir matrise benzer şekilde eğitilir voksel ızgarası CGI iş akışlarında, 3B uzaydaki her noktanın bir değerle sonuçlanması, sahneyi gezilebilir hale getirir.

Geleneksel bir voksel matrisi, piksel bilgisini (normalde bir JPEG dosyasının piksel ızgarası gibi 2 boyutlu bir bağlamda bulunur) üç boyutlu bir alana yerleştirir. Kaynak: ResearchGate

Fotoğraflar arasındaki boşluk hesaplandıktan sonra (gerekirse), katkıda bulunan her fotoğrafın her olası pikselinin yolu etkili bir şekilde 'ışın izleme' işlemine tabi tutulur ve şeffaflık değeri de dahil olmak üzere bir renk değeri atanır (bu değer olmadan sinir matrisi tamamen opak veya tamamen boş olurdu).

Voksel ızgaraları gibi ve aksine CGI tabanlı 3B koordinat uzayında, "kapalı" bir nesnenin "iç kısmı"nın bir NeRF matrisinde varlığı yoktur. İsterseniz bir CGI davul setini açıp içine bakabilirsiniz; ancak NeRF açısından, davul setinin varlığı, yüzeyinin opaklık değeri "1"e eşit olduğunda sona erer.

Daha Geniş Bir Piksel Görünümü

Mip-NeRF 360, Mip-NeRF XNUMX'ın bir uzantısıdır. Mart 2021'den itibaren araştırmaKapsamlı üst örnekleme olmadan NeRF'e verimli kenar yumuşatma özelliğini etkili bir şekilde getiren.

NeRF geleneksel olarak yalnızca bir piksel yolunu hesaplar ve bu tür bir tür üretmeye eğilimlidir. 'pürüzler' erken internet görüntü formatlarını karakterize eden, yanı sıra önceki oyun sistemleri. Bu pürüzlü kenarlar, genellikle bitişik pikselleri örneklemeyi ve ortalama bir temsil bulmayı içeren çeşitli yöntemlerle çözüldü.

Çünkü geleneksel NeRF yalnızca bir piksel yolunu örneklediğinden, Mip-NeRF geniş ışınlı bir el feneri gibi yeterli bilgi sağlayan 'konik' bir toplama alanı tanıttı bitişik Gelişmiş ayrıntılarla ekonomik kenar yumuşatma üretmek için pikseller.

Mip-NeRF'in kullandığı konik koni toplama alanı, pikselin doğruluğunu ve takma adını hesaplamak için kullanılabilen belirsiz Gauss uzayları oluşturmak üzere daha da 'bulanıklaştırılan' konik kesik konilere (alttaki resim) bölünür. Kaynak: https://www.youtube.com/watch?v=EpH175PY1A0

Standart bir NeRF uygulamasına göre sağlanan gelişme dikkate değerdi:

Mart 2021'de yayınlanan Mip-NeRF (sağda), pürüzlü kenarları önlemek için pikselleri 'bulanıklaştırmak' yerine, daha kapsamlı ancak ekonomik bir takma adlandırma hattı aracılığıyla gelişmiş ayrıntılar sağlıyor. Kaynak: https://jonbarron.info/mipnerf/

NeRF Sınırsız

Mart ayı makalesi, Mip-NeRF'nin gökyüzü de dahil olmak üzere çok uzak nesneleri içerebilecek sınırsız ortamlarda kullanılmasıyla ilgili olarak çözülmemiş üç sorun bıraktı. Yeni kağıt, bunu uygulayarak çözer. Kalman tarzı Mip-NeRF Gaussçularına çözgü.

İkinci olarak, daha büyük sahneler daha fazla işlem gücü ve uzatılmış eğitim süreleri gerektirir ve Mip-NeRF 360, sahne geometrisini küçük bir 'öneri' ile 'damıtarak' bu sorunu çözer. çok katmanlı algılayıcı (MLP), büyük bir standart NeRF MLP tarafından tahmin edilen geometriyi önceden sınırlar. Bu, eğitimi üç kat hızlandırır.

Son olarak, daha büyük sahneler, yorumlanan geometrinin ayrıklaştırılmasını belirsiz hale getirme eğilimindedir ve bu da oyuncuların oyun çıktısı "gözyaşları" olduğunda aşina olabileceği türden hatalara yol açar. Yeni makale, Mip-NeRF ışın aralıkları için yeni bir düzenleyici oluşturarak bu sorunu ele alıyor.

Sağda, bu kadar büyük bir sahneyi sınırlandırmanın zorluğundan dolayı Mip-NeRF'de istenmeyen eserler görüyoruz. Solda, yeni düzenleyicinin sahneyi bu bozulmaları ortadan kaldıracak kadar iyi optimize ettiğini görüyoruz.

Yeni kağıt hakkında daha fazla bilgi edinmek için aşağıdaki videoyu ve ayrıca Mart 2021 video tanıtımı Mip-NeRF'e. Ayrıca, NeRF araştırması hakkında daha fazla bilgi edinebilirsiniz. şimdiye kadarki kapsamımız.

İlk olarak 25 Kasım 2021'de yayınlandı
21 Aralık 2021, 12:25 – Ölü video değiştirildi. – MA