Anderson’un Açısı
Yeni CGI: Block-NeRF ile Mahallelerin Nöral Modellerini Oluşturma

Öne çıkan noktalarBlock-NeRF, talep üzerine yüklenen ayrı NeRF örneklerini ölçeklenebilir, gezilebilir…
Daha fazla göster
- Block-NeRF, talep üzerine yüklenen ayrı NeRF örneklerini ölçeklenebilir, gezilebilir mahallelere birleştirir.
- Block-NeRF'teki görünüm kodları, tüm sahneyi yeniden eğitmeden günün saati gibi dinamik değişikliklere olanak tanır.
- Proje, San Francisco bloklarının en büyük sinirsel sahnesini oluşturmak için Waymo'dan 2,8 milyon görüntü kullandı.
Nöral Radyans Alanları (NeRF) nesnelerin yalnızca çoklu görüş açısı fotoğrafları kullanılarak nöral ağlar içinde yeniden oluşturulmasına ve keşfedilmesine izin verir, geleneksel CGI yöntemlerinin karmaşıklığı ve masrafı olmadan.
Ancak, bu süreç hesaplama açısından pahalıdır, bu nedenle NeRF ortamları başlangıçta masaüstü model senaryolarıyla sınırlıydı. Buna rağmen NeRF, kendini bu işe adamış, hatta hummalı biçimde çalışan bir araştırma topluluğu tarafından benimsendi. Bu topluluk son bir yıl içinde dış mekan yeniden yapımları ve düzenlenebilir nöral insanlar gibi pek çok yeniliği mümkün kıldı.
Şimdi, Google Araştırma’nın katılımını içeren yeni bir araştırma girişimi, NeRF’in optimize edilmesindeki olası sınırları tanır ve bunun yerine NeRF ortamlarını birleştirmeye odaklanır, böylece birden fazla koordine edilmiş NeRF örneğinden oluşan talebe bağlı mahalleler oluşturur.

Block-NeRF ağının bağlı NeRF’lerden bir görünüm. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/
Block-NeRF ağı içinde gezinmek, NeRF’i ölçeklenebilir ve modüler hale getirir, böylece navigasyon için gereken çevre kısımları yüklenir, video oyunlarındakine benzer kaynak optimizasyonu yöntemleri kullanılır; köşenin ardındaki içerik, o bölgeye ihtiyaç duyulacağı anlaşılana kadar nadiren yüklenir.
Hava durumu ve günün saati gibi ayrı etkenleri birbirinden ayırmaya yönelik geniş çaplı çabanın bir parçası olarak Block-NeRF ayrıca ‘görünüm kodları’ sunar, bu da günün zamanını dinamik olarak değiştirmeyi mümkün kılar:


Block-NeRF ile günün zamanını değiştirme. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/
Yeni makale, NeRF optimizasyonunun kendi termal sınırına yaklaştığını ve nöral radyans ortamlarının sanal gerçeklik, etkileşimli alanlar ve VFX işlerinde gelecekteki dağıtımlarının muhtemelen paralel işlemlere bağlı olacağını öne sürer. Bu, Moore Yasası’nın sonunda çok çekirdekli mimarilere, paralel optimizasyona ve yeni önbellekleme yaklaşımlarına yerini bırakmasına benzer.
Block-NeRF: Scalable Large Scene Neural View Synthesis başlıklı makalenin yazarları, 2,8 milyon görüntü kullanarak şimdiye kadar denenmiş en büyük nöral sahneyi oluşturdular – San Francisco’daki bir dizi mahalle.

Block-NeRF, San Francisco’nun Grace Katedrali’ni geziniyor. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/
Çalışmanın baş yazarı, UC Berkeley’i temsil eden Matthew Tancik, Nöral Radyans Alanlarının ortak mucidi, bu çalışmayı otonom sürüş teknolojisi geliştiren Waymo’da stajyer olarak yaptı. Şirket proje sayfasını barındırıyor. Girişim ayrıca YouTube’da, bu makalenin sonunda yer alan bir video özeti ve proje sayfasında çok sayıda destekleyici ve tamamlayıcı video örneği sunuyor.
Çalışmanın diğer ortak yazarları arasında NeRF’in yaratıcılarından Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) ve Jonathan T. Barron (Google Research) bulunuyor. Waymo’dan Vincent Casser, Xinchen Yan, Sabeek Pradhan ve Henrik Kretzschmar da çalışmaya katkıda bulundu.
Block-NeRF, öncelikle otonom araç sistemleri için sanal ortamlar üzerine bir araştırma olarak geliştirilmiştir; bunlara sürücüsüz otomobiller ve dronlar dahildir.

Block-NeRF’den 180 derecelik görüş açısıyla Embarcadero yolu. Makale sonunda gömülü videoyu ve ayrıca yüksek çözünürlüklü tam uzunluklu ek videolar için kaynak bağlantısını görün. Kaynak: https://waymo.com/research/block-nerf/
Block-NeRF’de değiştirilebilen diğer faktörler arasında lens pozlaması, hava durumu ve mevsim bulunur.
Ancak, mevsim değiştirmek, ağaçların yapraklarını kaybetmesi gibi çevre değişikliklerine neden olabilir, bu da daha kapsamlı bir girdi verisi setine ihtiyaç duyar. Makalede şöyle denir:
‘[Yaprak] mevsimsel olarak değişir ve rüzgarla hareket eder; bu, ağaçlar ve bitkilerin bulanık temsillerine neden olur. Benzer şekilde, eğitim verilerindeki zamansal tutarsızlıklar, inşaat çalışmaları gibi, otomatik olarak işlenmez ve etkilenen blokların manuel olarak yeniden eğitilmesi gerekir.’
Kıyamet Görselleştirme
Makale sonunda gömülü videoyu izlerseniz, Walking Dead tarzı bir boşluk göreceksiniz. Çeşitli nedenlerle, özellikle robotik sistemlere simüle edilmiş bir başlangıç ortamı sağlamak amacıyla, arabalar, yayalar ve diğer geçici nesneler kaynak materyalden kasıtlı olarak çıkarılmıştır, ancak bu, silinen park edilmiş araçların gölgeleri gibi bazı kalıntıları geride bırakmıştır:

Silinen bir arabanın hayalet gölgesi. Kaynak: https://waymo.com/research/block-nerf/
Gün veya gece gibi çeşitli aydınlatma ortamlarını sağlamak için, ağlar her bir istenilen koşul ile ilgili veri akışlarını birleştirmek üzere eğitilmiştir. Aşağıdaki görüntüde, Block-NeRF görüntüsünün gün ve gece için katkıda bulunan akışları görüyoruz:

Görünür bir ‘önceden hesaplanmış’ Block-NeRF renderinin arkasındaki talebe bağlı parçalar, bir kullanıcıya geceyi açma izni verir. Kaynak: https://waymo.com/research/block-nerf/
Çevresel ve Etik Düşünceler
Son yıllarda, araştırma sunumları, önerilen çalışmanın olası etik ve çevresel sonuçlarına ilişkin uyarılar ve açıklamalar içermeye başlamıştır. Block-NeRF’de yazarlar, enerji gereksinimlerinin yüksek olduğunu ve kısa vadeli ve uzun vadeli geçici nesnelerin (örneğin, ağaçlardaki yapraklar ve inşaat çalışmaları) hesaba katılmasının, nöral modellerinin güncellenmesi gereken kentsel alanlarda kaynak verilerin düzenli olarak yeniden taranmasını gerektireceğini, bunun da nöral modelleri güncel tutulması gereken kentsel alanlarda ‘gözetimi’ artıracağını belirtirler.
Yazarlar şöyle diyor:
‘Bu çalışmanın uygulanacağı ölçek dikkate alındığında, hesaplamalar için kullanılan enerji karbon salımını artırıyorsa, hesaplama gereksinimleri çevresel hasara neden olabilir veya mevcut hasarı artırabilir. Makalede bahsedildiği gibi, daha fazla çalışma, örneğin önbelleğe alma yöntemleri, hesaplama taleplerini azaltabilir ve böylece çevresel hasarı azaltabilir.’
Gözetim konusunda devam ediyorlar:
‘Bu çalışmanın gelecekteki uygulamaları, daha büyük veri toplama çabaları içerebilir, bu da daha fazla gizlilik endişesi doğurur. Kamu yollarının ayrıntılı görüntüleri zaten Google Street View gibi hizmetlerde bulunabilir, ancak metodumuz çevre hakkında daha düzenli ve daha sık taramaları teşvik edebilir. Otonom araç alanında faaliyet gösteren bazı şirketler, araç filolarını kullanarak düzenli alan taramaları yapmaktadır, ancak bazıları yalnızca LiDAR taramaları kullanabilir, bu da gizlilik açısından kamera görüntüsü toplamaktan daha az hassas olabilir.’
Yöntemler ve Çözümler
Bireysel NeRF ortamları, teoride, herhangi bir boyuta kadar küçültülebilir ve daha sonra Block-NeRF dizisine monte edilebilir. Bu, değişime tabi olan içeriğin, Örneğin ağaçların, granüler bir şekilde dahil edilmesine ve inşaat işlerinin tanımlanmasına ve yönetilmesine olanak tanır. İnşaat, yıllarca süren yeniden veri toplama boyunca devam edebilir, ancak muhtemelen zamanla değişerek sonunda ortamın sabit bir parçasına dönüşecektir.
Ancak bu ilk araştırmada ayrı NeRF blokları, her ortamın gerçek şehir bloklarıyla sınırlandırılmıştır. Bloklar yüzde 50 örtüşmeyle birleştirilir; bu da kullanıcı ağda gezinirken bir bloktan diğerine tutarlı geçiş sağlar.
Her blok, coğrafi bir filtreden geçer. Yazarlar, bu çerçevenin otomatikleştirilmeye açık olduğunu ve şaşırtıcı bir şekilde, uygulamalarının Google Haritalar yerine OpenStreetMap’a dayandığını belirtirler.

Block-NeRF ‘etkin’ render alanı için kesişme yarıçapı. Kaynak: Waymo
Bloklar paralel olarak eğitilir, gerekli bloklar talep üzerine oluşturulur. Yenilikçi görünüm kodları da bloklar arasında düzenlenir, böylece kullanıcı beklenmedik biçimde farklı hava durumuna, günün saatine veya başka bir mevsime geçmez.

Block-NeRF segmentleri, fotoğrafik kaynak materyalin High Dynamic Range (HDR) gibi bir şekilde maruz kalma koşullarına göre düzenlenir. Kaynak: Waymo
Aydınlatma ve diğer çevresel değişkenlerin değiştirilme yeteneği, NeRF in the Wild (NeRF-W) tarafından tanıtılan üretken gizli uzay optimizasyonlarından elde edilir. Bu yöntem de Facebook AI’ın 2019 tarihli Optimizing the Latent Space of Generative Networks çalışmasına dayanır.
2020 tarihli Panoptic-DeepLab için geliştirilen bir anlamsal bölümleme modeli, insanlar ve araçlar gibi istenmeyen öğeleri dışarıda bırakmak için kullanılır.
Veri
Block-NeRF için gereken ayrıntı düzeyine uygun CityScapes gibi yaygın kentsel veri kümelerinin uygun olmadığı tespit edildi, bu nedenle araştırmacılar kendi veri kümesini oluşturdular. Görüntü verileri, 360 derecelik bir görüş açısını kapsayan 12 kameradan toplandı, 10 Hz’de çekilen görüntülerle birlikte skaler bir pozlama değeri kullanıldı.

San Francisco’daki Alamo Square ve Mission Bay mahalleleri kapsandı. Alamo Square için yaklaşık 960m x 570m’lik bir alan, 35 Block-NeRF örneğine bölündü, her biri 38 ila 48 farklı veri toplama çalışmasından alınan verilere dayalı olarak eğitildi, toplam sürüş zamanı 18-28 dakika arasında değişti.
Her Block-NeRF için katkısı yapılan görüntü sayısı 64.575 ile 108.216 arasında değişti ve bu alan için temsil edilen toplam sürüş zamanı 1.330 farklı veri toplama çalışması boyunca 13,4 saat olarak hesaplandı. Bu, yalnızca Alamo Square için 2.818.745 eğitim görüntüsüne yol açtı. Mission Bay için veri toplama ayrıntıları için makaleye bakınız.
İlk olarak 11 Şubat 2022’de yayınlandı.












