NeRF: Facebook ile Birlikte Geliştirilen Karışık Statik/Dinamik Video Sentezi

Virginia Polytechnic Institute and State University ile Facebook arasındaki bir işbirliği, NeRF video sentezinin önemli bir zorluğunu çözdü: Neural Radiance Fields (NeRF) çıkışında serbestçe karıştırılan statik ve dinamik görüntüler ve videolar.

Sistem, hem dinamik video öğeleri hem de statik ortamları içeren navigasyon sahnelere sahip olabilir, her biri konumda kaydedilir, ancak sanal bir ortamın kontrollü yönlerine ayrılmıştır:

Bununla birlikte, bu, multi-kamera dizisi gibi stüdyo ortamına bağlı girişimlere bağlanabilecek türden bir çoklu kamera dizisi ihtiyacını ortadan kaldırarak, tek bir görüş noktasından başarılır.

Makale, Dynamic Monocular Video’dan Dinamik Görüntü Sentezi adlı, tek bir NeRF iş akışını geliştiren ilk çalışma olmayabilir, ancak aynı girişten hem zaman değişkeni hem de zaman-statik modeli aynı anda eğiten ve hareketli videoyu ‘önceden haritalanmış’ bir NeRF bölgesinde var olmasına olanak tanıyan bir çerçeve oluşturan ilk çalışma gibi görünüyor, bu da genellikle yüksek bütçeli SF çıkışlarında aktörleri kapsayan sanal ortamların türüne benzer.

Ötesi D-NeRF

Araştırmacılar, esasen, yalnızca bir görüş noktasıyla Dynamic NeRF (D-NeRF)’in esnekliğini yeniden yaratmak zorunda kaldılar, D-NeRF’in kullandığı çoklu kamera yerine. Bunu çözmek için, ileri ve geri sahne akışını öngördüler ve bu bilgileri zamanla tutarlı bir radyans alanını geliştirmek için kullandılar.

Sadece bir POV ile, 3D noktalarını referans çerçevelerinde elde etmek için 2D optik akış analizini kullanmak gerekliydi. Hesaplanan 3D nokta, sonra sanal kamera içine geri beslenir, böylece hesaplanan optik akış ile tahmin edilen optik akış arasında ‘sahne akışı’ kurulur.

Eğitim zamanında, dinamik öğeler ve statik öğeler, ayrı olarak erişilebilen yönler olarak tam modele uzlaşıyor.

Derinlik sırası kaybının hesaplanması ve D-NeRF’de sahne akışının öngörüsünün sıkı bir şekilde düzenlenmesi ile birlikte, hareketli bulanıklık sorunu büyük ölçüde azaltılır.

Araştırmanın NeRF hesaplamalarının düzenlenmesinde çok şey vaat etmesi ve tek bir POV’dan çıkış için keşif kolaylığını ve esnekliğini büyük ölçüde iyileştirmesi yanında, dinamik ve statik NeRF öğelerinin yeni ayrılmaları ve yeniden birleştirilmeleri de en az bunun kadar önemlidir.

Tek bir kamera ile çalışan böyle bir sistem, multi-kamera dizisi NeRF kurulumlarının panoptikon görünümünü tekrarlayamaz, ancak her yere gidebilir ve bir kamyon olmadan.

NeRF – Statik mi Video mu?

Çok yakın zamanda, 16 kamerayla yakalanan bir dinamik NeRF sahnesindeki öğeleri ayırmaya able NeRF araştırmasıyla ilgili bazı etkilendirici yeni NeRF araştırmalarını inceledik.

ST-NeRF (yukarıda), izleyiciye bir sahnedeki bireyselleştirilmiş öğeleri yeniden konumlandırmaya, hatta bunları yeniden boyutlandırmaya, oynatma hızlarını değiştirmeye, dondurmaya veya tersine çalıştırmaya olanak tanır. Ayrıca, ST-NeRF kullanıcının 16 kameranın yakaladığı 180 derecelik yayda herhangi bir bölümü ‘kaydırmasına’ izin verir.

ST-NeRF makalesinin yazarları, bu sistem altında zaman her zaman bir yönde çalışıyor olduğunu ve video yerine ‘statik olarak haritalanmış’ NeRF ortamlarına ışık ve efektleri uygulamanın zor olduğunu kabul ediyorlar, bu ortamlar aslında hareketli bileşenler içermez ve video olarak yakalanmaları gerekmez.

Yüksek Düzeyde Düzenlenebilir Statik NeRF Ortamları

Bir statik Neural Radiance Field sahnesi, artık herhangi bir hareketli video segmentinden ayrılmıştır, çeşitli şekillerde,包括 relighting, daha önce bu yıl NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis) tarafından önerilen gibi, daha kolay bir şekilde işlenip zenginleştirilebilir:

NeRV ile bir NeRF nesnesini yeniden aydınlatma. Kaynak: https://www.youtube.com/watch?v=4XyDdvhhjVo

NeRV’de, incluso photorealistic specular etkileri ile yeniden metinleme. Görüntü dizisinin temelinde statik olması, bu şekilde bir NeRF yönünü işlemeyi ve zenginleştirmeyi, video kareleri aralığındaki etkiyi kapsamak yerine daha kolay ve daha hafif bir ön işleme ve eventual eğitim sağlar.