Sinirsel Görselleştirme: NeRF Taze Havada Yürümeye Çıktı

Google Research ve Harvard Üniversitesi iş birliği, Neural Radiance Fields (NeRF) kullanarak tam sahnelerin 360 derece sinirsel videosunu oluşturmak için yeni bir yöntem geliştirdi. Bu yenilikçi yaklaşım, NeRF’i herhangi bir ortamda rahatça soyut kullanımına bir adım daha yaklaştırıyor ve masaüstü modelleri ya da kapalı iç mekan senaryoları ile sınırlı kalmıyor.

Makalenin sonunda tam video için bakınız. Kaynak: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360, gökyüzü gibi geniş arka planları ve ‘sonsuz’ nesneleri işleyebilir; çünkü önceki çoğu sürümün aksine ışık ışınlarının yorumlanma şekline sınırlamalar getirir ve aksi takdirde uzun eğitim sürelerini mantıklı hâle getiren dikkat sınırları oluşturur. Daha fazla örnek ve sürece dair geniş bir bakış için bu makalenin sonunda gömülü yeni videoya bakınız.

Yeni makale, new paper başlığını Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields taşıyor ve Google Research’ten Kıdemli Personel Araştırma Bilimcisi Jon Barron tarafından yürütülüyor.

Bu atılımı anlamak için, sinirsel parlaklık alanına dayalı görüntü sentezinin nasıl çalıştığına dair temel bir kavrayışa sahip olmak gerekir.

NeRF Nedir?

Bir NeRF ağını ‘video’ terimiyle tanımlamak sorunludur; çünkü bu, tek fotoğraflardan (video kareleri dahil) elde edilen birden çok bakış açısının bir sahneyi birleştirdiği, tamamen 3B olarak gerçekleştirilmiş ancak AI-tabanlı bir sanal ortama daha yakındır; sahne teknik olarak yalnızca bir makine öğrenimi algoritmasının gizli uzayında var olur – ancak istenildiği gibi muazzam sayıda bakış açısı ve video buradan elde edilebilir.

NeRF’in bir sinirsel sahneye birleştirdiği verileri sağlayan çoklu kamera yakalama noktalarının bir gösterimi (sağda gösterildiği gibi).

Katkı sağlayan fotoğraflardan elde edilen bilgiler, CGI iş akışlarındaki geleneksel bir voxel grid‘e benzer bir matris içine eğitilir; böylece 3B uzaydaki her nokta bir değere sahip olur ve sahne gezilebilir hâle gelir.

Geleneksel bir voxel matrisi, piksel bilgisini (normalde bir JPEG dosyasının piksel ızgarası gibi 2B bir bağlamda bulunan) üç boyutlu bir uzaya yerleştirir. Kaynak: ResearchGate

Fotoğraflar arasındaki ara boşluk (gerekirse) hesaplandıktan sonra, her katkı sağlayan fotoğrafın olası her pikselinin yolu etkili bir şekilde ‘ışın izleme’ yöntemiyle izlenir ve bir renk değeri, ayrıca bir şeffaflık değeri atanır (bu değer olmadan sinirsel matris tamamen opak ya da tamamen boş olur).

Voxel ızgaralar gibi ve CGI tabanlı 3B koordinat uzayının aksine, ‘kapalı’ bir nesnenin ‘iç kısmı’ NeRF matrisinde varlık göstermez. İsterseniz bir CGI davul setini açıp içini görebilirsiniz; ancak NeRF açısından, davul setinin varlığı, yüzeyinin opaklık değeri ‘1’ olduğunda sona erer.

Pikselin Daha Geniş Görünümü

Mip-NeRF 360, Mart 2021’den gelen araştırmanın bir uzantısıdır ve etkili bir şekilde kapsamlı süper örnekleme yapmadan NeRF’e verimli anti-aliasing (kenar yumuşatma) getirmiştir.

NeRF geleneksel olarak yalnızca bir piksel yolunu hesaplar; bu da erken internet görüntü formatlarını ve ‘jaggies’ olarak bilinen kenar pürüzlerini, ayrıca eski oyun sistemlerini karakterize eden türde bozuk kenarlar üretme eğilimindedir. Bu pürüzlü kenarlar, genellikle komşu pikselleri örnekleyip ortalama bir temsil bulmayı içeren çeşitli yöntemlerle çözüldü.

Geleneksel NeRF yalnızca o tek piksel yolunu örneklediği için, Mip-NeRF, geniş ışın demeti gibi bir ‘konik’ yakalama alanı tanıttı; bu alan, komşu pikseller hakkında yeterli bilgi sağlayarak geliştirilmiş detayla ekonomik anti-aliasing üretir.

Mip-NeRF’in kullandığı konik yakalama alanı, konik kesitlere (aşağıdaki görüntü) bölünür ve daha sonra pikselin doğruluğunu ve aliasing’ini hesaplamak için kullanılabilecek belirsiz Gaussian alanlar oluşturmak üzere ‘bulanıklaştırılır’. Kaynak: https://www.youtube.com/watch?v=EpH175PY1A0

Standart bir NeRF uygulamasına göre iyileşme belirgindi:

Mip-NeRF (sağda), Mart 2021’de yayınlanmış, sadece pikselleri ‘bulanıklaştırarak’ keskin kenarları önlemek yerine daha kapsamlı ancak ekonomik bir aliasing hattı aracılığıyla geliştirilmiş detay sağlar. Kaynak: https://jonbarron.info/mipnerf/

Sınırsız NeRF

Mart ayında yayımlanan makale, çok uzak nesneler ve gökyüzü gibi sınırsız ortamlarda Mip-NeRF’in kullanılmasına ilişkin üç sorunu çözmemişti. Yeni makale, Mip-NeRF Gaussları üzerine bir Kalman tarzı çarpıtma uygulayarak bu sorunu çözüyor.

İkinci olarak, daha büyük sahneler daha fazla işlem gücü ve uzun eğitim süreleri gerektirir; Mip-NeRF 360, sahne geometrisini küçük bir ‘öneri’ çok katmanlı algılayıcı (MLP) ile ‘özümseyerek’ bu sorunu çözer; bu MLP, büyük standart bir NeRF MLP’si tarafından tahmin edilen geometrinin ön sınırlarını belirler. Bu, eğitimi üç kat hızlandırır.

Son olarak, büyük sahneler yorumlanan geometrinin ayrıklaştırılmasını belirsiz hâle getirir ve bu da oyun çıktısının ‘yırtılmasına’ benzer artefaktların ortaya çıkmasına neden olur. Yeni makale, Mip-NeRF ışın aralıkları için yeni bir düzenleyici oluşturarak bu sorunu ele alıyor.

Sağda, bu kadar büyük bir sahneyi sınırlamanın zorluğu nedeniyle Mip-NeRF’te istenmeyen artefaktlar görüyoruz. Solda ise yeni düzenleyicinin sahneyi yeterince optimize ederek bu bozulmaları ortadan kaldırdığını görüyoruz.

Yeni makale hakkında daha fazla bilgi edinmek için aşağıdaki videoya bakın ve ayrıca Mip-NeRF’in Mart 2021 video tanıtımına göz atın. NeRF araştırmasıyla ilgili daha fazla bilgiye şu ana kadar yaptığımız kapsamı inceleyerek ulaşabilirsiniz.

Orijinal olarak 25 Kasım 2021’de yayınlandı
21 Aralık 2021, 12:25 – Bozuk video değiştirildi. – MA