Yeni CGI: Block-NeRF ile Nöral Komşuluklar Oluşturma

Nöral Radyans Alanları (NeRF) nesnelerin yalnızca çoklu görüş açısı fotoğrafları kullanılarak nöral ağlar içinde yeniden oluşturulmasına ve keşfedilmesine izin verir, geleneksel CGI yöntemlerinin karmaşıklığı ve masrafı olmadan.

Ancak, bu süreç hesaplama açısından pahalıdır, bu nedenle NeRF ortamları başlangıçta masaüstü model senaryolarıyla sınırlıydı. Buna rağmen, NeRF, son bir yıl içinde dış mekan yeniden yapımları ve düzenlenebilir nöral insanlar gibi birçok yeniliklerin yanı sıra benimsendi.

Şimdi, Google Araştırma’nın katılımını içeren yeni bir araştırma girişimi, NeRF’in optimize edilmesindeki olası sınırları tanır ve bunun yerine NeRF ortamlarını birleştirmeye odaklanır, böylece birden fazla koordine edilmiş NeRF örneğinden oluşan talebe bağlı mahalleler oluşturur.

Block-NeRF ağının bağlı NeRF’lerden bir görünüm. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/

Block-NeRF ağı içinde gezinmek, NeRF’i ölçeklenebilir ve modüler hale getirir, böylece navigasyon için gereken çevre kısımları yüklenir, videogamelere benzer bir şekilde kaynak optimizasyonu yöntemleri kullanılır.

Blok-NeRF ayrıca ‘görünüm kodları’ tanıtır, bu da günün zamanını dinamik olarak değiştirmeyi mümkün kılar:

Block-NeRF ile günün zamanını değiştirme. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/

Yeni makale, NeRF optimizasyonunun kendi termal sınırına yaklaştığını ve nöral radyans ortamlarının sanal gerçeklik, etkileşimli alanlar ve VFX işlerinde gelecekteki dağıtımlarının paralel operasyonlara bağlı olacağını öne sürer.

Makale yazarları, 2,8 milyon görüntü kullanarak şimdiye kadar denenmiş en büyük nöral sahneyi oluşturdular – San Francisco’daki bir dizi mahalle.

Block-NeRF, San Francisco’nun Grace Katedrali’ni geziniyor. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/

Çalışmanın baş yazarı, UC Berkley’i temsil eden Matthew Tancik, Nöral Radyans Alanlarının ortak mucidi, bu çalışmayı Waymo’da stajyer olarak yaptı.

Çalışma, diğer NeRF mucitleri de dahil olmak üzere birçok kişi tarafından ortaklaşa yazılmıştır.

Block-NeRF, öncelikle otonom araç sistemleri için sanal ortamlar üzerine bir araştırma olarak geliştirilmiştir.

Block-NeRF’den 180 derecelik görüş açısıyla Embarcadero yolu. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/

Block-NeRF’de değiştirilebilen diğer faktörler arasında lens açıklığı, hava durumu ve mevsim bulunur.

Ancak, mevsim değiştirmek, ağaçların yapraklarını kaybetmesi gibi çevre değişikliklerine neden olabilir, bu da daha kapsamlı bir girdi verisi setine ihtiyaç duyar. Makalede şöyle denir:

‘[Yaprak] mevsimsel olarak değişir ve rüzgarla hareket eder; bu, ağaçlar ve bitkilerin bulanık temsilelerine neden olur. Benzer şekilde, eğitim verisi中的 zaman uyumsuzlukları, inşaat çalışmaları gibi, otomatik olarak işlenmez ve etkilenen blokların manuel olarak yeniden eğitilmesi gerekir.’

Kıyamet Görselleştirme

Makale sonunda gömülü videoyu izlerseniz, Walking Dead tarzı bir boşluk göreceksiniz. Farklı nedenlerle, özellikle de robotik sistemler, arabalar, yaya ve diğer geçici nesneler için simüle edilmiş bir başlangıç ortamı sağlamak amacıyla, kaynak materyalden kasıtlı olarak silinmiştir, ancak bu, silinen parked araçların gölgeleri gibi bazı kalıntıları geride bırakmıştır:

Silinen bir arabanın hayalet gölgesi. Kaynak: https://waymo.com/research/block-nerf/

Gün veya gece gibi çeşitli aydınlatma ortamlarını sağlamak için, ağlar her bir istenilen koşul ile ilgili veri akışlarını birleştirmek üzere eğitilmiştir. Aşağıdaki görüntüde, Block-NeRF görüntüsünün gün ve gece için katkıda bulunan akışları görüyoruz:

Görünür bir ‘pişirilmiş’ Block-NeRF renderinin arkasındaki talebe bağlı parçalar, bir kullanıcıya geceyi açma izni verir. Kaynak: https://waymo.com/research/block-nerf/

Çevresel ve Etik Düşünceler

Son yıllarda, araştırma sunumları, önerilen çalışmanın olası etik ve çevresel sonuçlarına ilişkin uyarılar ve açıklamalar içermeye başlamıştır. Block-NeRF’de yazarlar, enerji gereksinimlerinin yüksek olduğunu ve kısa vadeli ve uzun vadeli geçici nesnelerin (örneğin, ağaçlardaki yapraklar ve inşaat çalışmaları) hesaba katılmasının, nöral modellerinin güncellenmesi gereken kentsel alanlarda düzenli olarak tarama yapılmasını gerektireceğini belirtirler.

Yazarlar şöyle diyor:

‘Bu çalışmanın uygulanacağı ölçek dikkate alındığında, hesaplama talepleri çevresel hasara neden olabilir veya mevcut hasarı artırabilir. Makalede bahsedildiği gibi, daha fazla çalışma, örneğin önbelleğe alma yöntemleri, hesaplama taleplerini azaltabilir ve böylece çevresel hasarı azaltabilir.’

Gözetim konusunda devam ediyorlar:

‘Bu çalışmanın gelecekteki uygulamaları, daha büyük veri toplama çabaları içerebilir, bu da daha fazla gizlilik endişesi doğurur. Kamu yollarının ayrıntılı görüntüleri zaten Google Street View gibi hizmetlerde bulunabilir, ancak metodumuz çevre hakkında daha düzenli ve daha sık taramaları teşvik edebilir. Otonom araç alanında faaliyet gösteren bazı şirketler, araç filolarını kullanarak düzenli alan taramaları yapmaktadır, ancak bazıları yalnızca LiDAR taramaları kullanabilir, bu da kamera görüntülerini toplamak kadar duyarlı olmayabilir.’

Yöntemler ve Çözümler

Bireysel NeRF ortamları, teoride, herhangi bir boyuta kadar küçültülebilir ve daha sonra Block-NeRF dizisine monte edilebilir. Bu, değişime tabi olan içeriğin, Örneğin ağaçların, granüler bir şekilde dahil edilmesine ve inşaat işlerinin tanımlanmasına ve yönetilmesine olanak tanır.

Her blok, coğrafi bir filtreden geçer. Yazarlar, bu çerçevenin otomatikleştirilmeye açık olduğunu ve şaşırtıcı bir şekilde, uygulamalarının OpenStreetMap’a değil, Google Haritalar’a dayanmadığını belirtirler.

Block-NeRF ‘etkin’ render alanı için kesişme yarıçapı. Kaynak: Waymo

Bloklar paralel olarak eğitilir, gerekli bloklar talep üzerine oluşturulur. Yenilikçi görünüm kodları da bloklar arasında düzenlenir, böylece bir kullanıcı farklı hava durumuna, günün zamanına veya hatta mevsime geçiş yapmaz.

Block-NeRF segmentleri, fotoğrafik kaynak materyalin High Dynamic Range (HDR) gibi bir şekilde maruz kalma koşullarına göre düzenlenir. Kaynak: Waymo

Aydınlatma ve diğer çevresel değişkenlerin değiştirilme yeteneği, NeRF in the Wild (NeRF-W) tarafından tanıtılan Üretken Latent Optimizasyonlardan elde edilir.

Veri

Block-NeRF için gereken ayrıntı düzeyine uygun ortak kentsel veri kümelerinin bulunmadığı tespit edildi, bu nedenle araştırmacılar kendi veri kümesini oluşturdular. Görüntü verileri, 360 derecelik bir görüş açısını kapsayan 12 kameradan toplandı, 10 Hz’de çekilen görüntülerle birlikte bir skalaya bağlı pozlama değeri kullanıldı.

San Francisco’daki Alamo Square ve Mission Bay mahalleleri kapsandı. Alamo Square için yaklaşık 960m x 570m’lik bir alan, 35 Block-NeRF örneğine bölündü, her biri 38 ila 48 farklı veri toplama çalışmasından alınan verilere dayalı olarak eğitildi, toplam sürüş zamanı 18-28 dakika arasında değişti.

Her Block-NeRF için katkısı yapılan görüntü sayısı 64.575 ile 108.216 arasında değişti ve bu alan için temsil edilen toplam sürüş zamanı 1.330 farklı veri toplama çalışması boyunca 13,4 saat olarak hesaplandı. Bu, yalnızca Alamo Square için 2.818.745 eğitim görüntüsüne yol açtı. Mission Bay için veri toplama ayrıntıları için makaleye bakınız.

İlk olarak 11 Şubat 2022’de yayınlandı.