NeRF: Facebook Ortak Araştırması Karma Statik/Dinamik Video Sentezi Geliştiriyor

Virginia Politeknik Enstitüsü ile Eyalet Üniversitesi ve Facebook arasındaki bir işbirliği, NeRF video sentezindeki en büyük zorluklardan birini çözdü: Nöral Parlaklık Alanları (NeRF) çıktısında statik ve dinamik görüntüleri ve videoyu serbestçe karıştırmak.

Sistem, her biri yerinde kaydedilen, ancak bir sanal ortamın kontrol edilebilir yönlerine ayrılmış, hem dinamik video öğelerini hem de statik ortamları içeren gezilebilir sahneler oluşturabilir:

Üstelik bunu, bunun gibi girişimleri bir stüdyo ortamına bağlayabilen çoklu kamera dizilimine ihtiyaç duymadan, tek bir bakış açısından gerçekleştiriyor.

MKS kâğıtBaşlıklı Dinamik Monoküler Videodan Dinamik Görünüm Sentezi, bir monoküler geliştiren ilk kişi değil NeRF iş akışı, ancak aynı girdiden hem zamanla değişen hem de zamanla statik bir modeli aynı anda eğiten ve hareketli videonun, yüksek bütçeli bilimkurgu filmlerinde aktörleri sıklıkla kapsülleyen sanal ortamlara benzer şekilde, 'önceden eşlenmiş' bir NeRF yerelinde var olmasına izin veren bir çerçeve üreten ilk proje gibi görünüyor.

D-NeRF'in Ötesinde

Araştırmacılar, Dinamik NeRF'nin çok yönlülüğünü temel olarak yeniden yaratmak zorunda kaldılar (D-NeRF) tek bir bakış açısıyla ve D-NeRF'in kullandığı çok sayıda kamerayla değil. Bunu çözmek için, ileri ve geri sahne akışını tahmin ettiler ve bu bilgiyi kullanarak zamansal olarak tutarlı, çarpık bir parlaklık alanı geliştirdiler.

Tek bir bakış açısıyla, referans çerçevelerinde 2B noktalar elde etmek için 3B optik akış analizi kullanmak gerekiyordu. Hesaplanan 3B nokta daha sonra sanal kameraya geri gönderilerek, hesaplanan optik akışı tahmini optik akışla eşleştiren bir "sahne akışı" oluşturulur.

Eğitim zamanında, dinamik öğeler ve statik öğeler, ayrı olarak erişilebilen özellikler olarak tam bir modelde uzlaştırılır.

D-NeRF'de derinlik sırası kaybı hesaplaması, model ve sahne akışı tahmininin titiz bir şekilde düzenlenmesini uygulayarak, hareket bulanıklığı sorunu büyük ölçüde azaltılır.

Araştırmanın NeRF hesaplamasını düzenli hale getirme açısından sunabileceği çok şey olmasına ve tek bir POV'dan çıktı elde etmek için el becerisi ve keşif kolaylığı üzerinde büyük ölçüde gelişmesine rağmen, dinamik ve statik NeRF öğelerinin yeni ayrılması ve yeniden entegrasyonu en azından eşit nottur. .

Tek bir kameraya dayanan böyle bir sistem, çok kameralı NeRF kurulumlarının panoptikon görüntüsünü kopyalayamaz, ancak kamyon olmadan her yere gidebilir.

NeRF – Statik mi Video mu?

Son zamanlarda bazılarına baktık etkileyici Çin'den gelen yeni NeRF araştırması, 16 kamerayla çekilen dinamik bir NeRF sahnesindeki unsurları ayırabiliyor.

ST-NeRF (yukarıda), izleyicinin yakalanan bir sahnedeki ayrı öğeleri yeniden konumlandırmasına, hatta yeniden boyutlandırmasına, oynatma hızını değiştirmesine, dondurmasına veya geriye doğru oynatmasına olanak tanır. Ayrıca, ST-NeRF, kullanıcının 180 kamera tarafından yakalanan 16 derecelik yayın herhangi bir bölümünde 'kaydırmasına' olanak tanır.

Ancak, ST-NeRF araştırmacıları kâğıt Bu sistemde zamanın her zaman bir yönde ilerlediğini ve aslında video olan ortamlara ışıklandırmayı değiştirmenin ve efekt uygulamanın, hareketli bileşenler içermeyen ve video olarak yakalanması gerekmeyen 'statik olarak haritalanmış' NeRF ortamlarına göre daha zor olduğunu kabul ediyoruz.

Son Derece Düzenlenebilir Statik NeRF Ortamları

Artık herhangi bir hareketli video segmentinden izole edilen statik bir Sinirsel Aydınlık Alanı sahnesini, bu yılın başlarında NeRV (Yeniden Aydınlatma ve Görüntü Sentezi için Sinirsel Yansıma ve Görünürlük Alanları) tarafından önerildiği gibi, yeniden aydınlatma da dahil olmak üzere çeşitli şekillerde işlemek ve büyütmek daha kolaydır. Bu, bir NeRF ortamının veya nesnesinin aydınlatmasını ve/veya dokusunu değiştirmek için bir ilk adım sunar:

Bir NeRF nesnesini NeRV ile yeniden aydınlatma. Kaynak: https://www.youtube.com/watch?v=4XyDdvhhjVo

NeRV'de yeniden doku oluşturma, hatta fotogerçekçi aynasal efektler dahil. Görüntü dizisinin temeli statik olduğundan, bir NeRF yüzeyini bu şekilde işlemek ve büyütmek, etkiyi bir dizi video karesine yaymaktan daha kolaydır, bu da ilk ön işlemeyi ve nihai eğitimi daha hafif ve kolay hale getirir.