Sinirli Oluşum: NeRF Taze Havada Bir Yürüyüş Yapar

Google Araştırma ve Harvard Üniversitesi arasındaki bir işbirliği, Sinirli Parlaklık Alanları (NeRF) kullanarak tam sahnelerin 360 derecelik sinirli videosunu oluşturmak için yeni bir yöntem geliştirdi. Bu yeni yaklaşım, NeRF’i herhangi bir ortamda, masa üstü modellerine veya kapalı iç mekan senaryolarına bağlı kalmadan casual ve soyut kullanım için bir adım daha yakınlaştırıyor.

Makalenin sonundaki tam videoyu görün. Kaynak: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360, geniş arka planları ve ‘sonsuz’ nesneleri, zoals gökyüzünü işleyebilir, çünkü önceki çoğu sürümden farklı olarak, ışık ışınlarının yorumlanmasını sınırlar veOtherwise uzun eğitim sürelerini rasyonelleştiren dikkat sınırları oluşturur. Bu makalenin sonundaki yeni eklenen videoyu görmek ve süreci hakkında daha fazla bilgi edinmek için lütfen devam edin.

Yeni makale, Mip-NeRF 360: Sınırsız Anti-Aliased Sinirli Parlaklık Alanları başlığını taşımaktadır ve Google Araştırma’da kıdemli araştırma bilimcisi olan Jon Barron tarafından yönetilmektedir.

Bu kırılma noktalarını anlamak için, sinirli parlaklık alanına dayalı görüntü sentezinin nasıl çalıştığını temel düzeyde anlamak gerekir.

NeRF Nedir?

Bir NeRF ağını ‘video’ olarak tanımlamak sorunludur, çünkü bu daha çok, makine öğrenimi algoritmasının latent uzayında teknik olarak var olan ancak çok sayıda görüş ve videoyu isteğe bağlı olarak çıkarmaya izin veren, tam olarak 3D realizado ancak AI tabanlı bir sanal ortamdır.

NeRF’in bir sinirli sahneyi oluşturmak için kullandığı çoklu kamera yakalama noktalarının bir temsilini gösteren resim (sağda).

Katılımcı fotoğraflardan elde edilen bilgiler, her 3D uzay noktasının bir değere sahip olduğu ve sahneyi gezilebilir hale getiren, geleneksel bir voxel ızgarası benzeri bir matrise eğitilir.

Geleneksel bir voxel matrisi, piksel bilgilerini (normalde 2B bir bağlamda, örneğin bir JPEG dosyasının piksel ızgarasında olduğu gibi) üç boyutlu bir uzaya yerleştirir. Kaynak: ResearchGate

Katılımcı fotoğraflar arasındaki ara uzayı hesapladıktan sonra (gerekirse), her katkıda bulunan fotoğrafın her bir pikselinin yolu etkili bir şekilde ‘ışın izlenir’ ve bir renk değeri atanır, şeffaflık değeri dahil (bunun olmadan sinirli matris tamamen opak veya tamamen boş olurdu).

Voxel ızgara gibi ve CGI tabanlı 3B koordinat uzayının aksine, ‘kapalı’ bir nesnenin ‘içi’ bir NeRF matrisinde var olmaz. Bir CGI davul setini açıp içine bakabilirsiniz, ancak NeRF için davul setinin varlığı, yüzeyinin opaklık değerinin ‘1’ olduğu anda sona erer.

Pikselin Daha Geniş Görünümü

Mip-NeRF 360, Mart 2021’de yayınlanan araştırmaların bir uzantısıdır ve NeRF’e verimli anti-aliasing sağlar, ancak bu, yoğun süper örnekleme gerektirmez.

NeRF geleneksel olarak yalnızca bir piksel yolunu hesaplar, bu da erken internet görüntü formatlarında ve daha önceki oyun sistemlerinde görülen ‘jaggies’ türünü üretmeye eğilimlidir. Bu keskin kenarlar, genellikle komşu pikselleri örnekleyerek ve ortalama bir temsil bularak çeşitli yöntemlerle çözüldü.

Çünkü geleneksel NeRF yalnızca bir piksel yolunu örnekler, Mip-NeRF bir ‘konik’ yakalama alanı tanıttı, bu, geniş bir ışın demeti gibi, ekonomiktir ve anti-aliasing için yeterli bilgi sağlar ve ayrıntıları iyileştirir.

Mip-NeRF’nin kullandığı konik koni yakalama alanı (aşağıdaki resim), daha sonra bir Gauss uzayı temsil etmek için ‘bulanıklaştırılmış’ konik frustumlara bölünür. Kaynak: https://www.youtube.com/watch?v=EpH175PY1A0

Standart bir NeRF uygulamasına kıyasla iyileştirme dikkat çekiciydi:

Mip-NeRF (sağda), Mart 2021’de yayınlandı ve daha kapsamlı ancak ekonomik bir anti-aliasing.pipeline aracılığıyla daha iyi ayrıntı sağlar, sadece pikselleri ‘bulanıklaştırmak’ yerine. Kaynak: https://jonbarron.info/mipnerf/

NeRF Sınırsız

Mart makalesi, Mip-NeRF’i sınırsız ortamlarda, çok uzak nesneleri ve gökyüzünü içerebilecek şekilde kullanma ile ilgili üç sorunu çözmedi. Yeni makale, Mip-NeRF Gaussiana bir Kalman tarzı warp uygulayarak bu sorunu çözer.

İkincisi, daha büyük sahneler daha fazla işlem gücünü ve uzatılmış eğitim sürelerini gerektirir, bu da Mip-NeRF 360 tarafından, sahne geometrisini küçük bir ‘öneri’ çok katmanlı bir perceptron (MLP) ile ‘distille’ ederek çözülür, bu, büyük bir standart NeRF MLP’nin öngörülen geometrisini önceden sınırlar ve eğitimi üç kat daha hızlı hale getirir.

Son olarak, daha büyük sahneler, yorumlanan geometrinin diskretleştirilmesini belirsiz hale getirebilir, bu da oyun çıktısının ‘tear’ olmasına neden olur. Yeni makale, Mip-NeRF ışın aralıkları için yeni bir düzenleyici oluşturarak bu sorunu çözer.

Sağ tarafta, Mip-NeRF’deki istenmeyen artifactsleri, büyük bir sahneyi sınırlamanın zorluğu nedeniyle görüyoruz. Sol tarafta, yeni düzenleyicinin sahneyi sufficient olarak optimize ettiğini ve bu rahatsızlıkları ortadan kaldırdığını görüyoruz.

Yeni makale hakkında daha fazla bilgi edinmek için lütfen aşağıdaki videoyu izleyin ve ayrıca Mart 2021 video tanıtımını Mip-NeRF’ye bakın. NeRF araştırmaları hakkında daha fazla bilgi edinmek için bugüne kadar ki kapsamı bölümünü ziyaret edebilirsiniz.

Önceki yayınlanma 25 Kasım 2021
21 Aralık 2021, 12:25 – Ölü videoyu değiştirdik. – MA