NeRF: Nöral Parlaklık Alanlarının İçeriğini Düzenlemenin Zorluğu

Bu yılın başlarında NVIDIA gelişmiş Neural Radiance Fields (NeRF) özellikle ile araştırma Anında NeRF, görünüşe göre sadece saniyeler içinde keşfedilebilir nöral sahneler oluşturabilen - bir teknikten, ortaya 2020'de eğitim almak genellikle saatler hatta günler alıyordu.

NVIDIA'nın InstantNeRF'i etkileyici ve hızlı sonuçlar sağlar. Kaynak: https://www.youtube.com/watch?v=DJ2hcC1orc4

Bu tür enterpolasyon statik bir sahne oluştursa da, NeRF aynı zamanda tasvir hareketive bireysel NeRF'lerin harmanlanabileceği temel "kopyala ve yapıştır" düzenleme bileşik sahneler or eklenen mevcut sahnelere

Shanghai Tech University ve DGene Digital Technology'nin 2021 araştırmasında yer alan iç içe NeRF'ler. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Bununla birlikte, hesaplanmış bir NeRF'ye müdahale etmek ve içinde olup biten bir şeyi gerçekten değiştirmek istiyorsanız (geleneksel bir CGI sahnesindeki öğeleri değiştirebileceğiniz gibi), sektöre yönelik ilginin hızlı temposu ortaya çıktı. çok az çözümler bugüne kadar ve hiçbiri CGI iş akışlarının yetenekleriyle eşleşmeye bile başlamadı.

Bir NeRF sahnesi oluşturmak için geometri tahmini gerekli olsa da, nihai sonuç oldukça 'kilitli' değerlerden oluşur. varken biraz ilerleme NeRF'de değişen doku değerlerine yönelik yapıldığından, bir NeRF sahnesindeki gerçek nesneler, düzenlenebilen ve üzerinde oynanabilen parametrik ağlar değil, daha çok kırılgan ve donmuş nokta bulutlarına benzer.

Bu senaryoda, bir NeRF'de işlenen bir kişi esasen bir heykeldir (veya video NeRF'lerde bir dizi heykel); kendilerine ve diğer nesnelere düşürdükleri gölgeler, ışık kaynaklarına dayalı esnek hesaplamalardan ziyade dokulardır; ve NeRF içeriğinin düzenlenebilirliği, NeRF'nin oluşturulduğu seyrek kaynak fotoğrafları çeken fotoğrafçının yaptığı seçimlerle sınırlıdır. Gölgeler ve poz gibi parametreler, herhangi bir yaratıcı anlamda düzenlenemez durumda kalır.

NeRF Düzenleme

Çin ve Birleşik Krallık arasındaki yeni bir akademik araştırma işbirliği, bu zorluğu şu şekilde ele alıyor: NeRF Düzenleme, proxy CGI tarzı ağların bir NeRF'den çıkarıldığı, kullanıcının isteğine göre deforme olduğu ve deformasyonların NeRF'nin nöral hesaplamalarına geri aktarıldığı:

Görüntüden hesaplanan deformasyonlar bir NeRF gösterimi içindeki eşdeğer noktalara uygulandığından, NeRF düzenlemeli NeRF kuklası. Kaynak: http://geometrylearning.com/NeRFEditing/

Yöntem uyarlar NeuS 2021 ABD/Çin rekonstrüktif tekniği İşaretli Mesafe İşlevi (SDF, çok daha eski bir hacimsel rekonstrüksiyon yöntemi) NeRF içinde temsil edilen geometriyi öğrenebilir.

Bu SDF nesnesi, saygıdeğer As-Rigid-As-Possible tarafından sağlanan eğme ve kalıplama yetenekleriyle kullanıcının heykel tabanı haline gelir (Arap) tekniği.

ARAP, kullanıcıların çıkarılan SDF ağını deforme etmesine izin verir, ancak iskelet tabanlı ve kafes tabanlı yaklaşımlar (yani NURB'ler) gibi diğer yöntemler de iyi çalışır. Kaynak: https://arxiv.org/pdf/2205.04978.pdf

Uygulanan deformasyonlarla, bu bilgiyi vektörden biraz daha uzun bir yolculuk olan NeRF'e özgü RGB/piksel düzeyine çevirmek gerekir.

Kullanıcının deforme ettiği ağın üçgen köşeleri, önce kullanıcı ağının etrafında bir kaplama oluşturan dört yüzlü bir ağa çevrilir. Bu ek ağdan bir uzamsal ayrık deformasyon alanı çıkarılır ve son olarak, kullanıcının değişikliklerini ve düzenlemelerini yansıtan ve hedefteki yorumlanan ışınları doğrudan etkileyen, nöral parlaklık ortamına geri gönderilebilen NeRF dostu bir sürekli deformasyon alanı elde edilir. NeRF.

Yeni yöntemle deforme olan ve canlandırılan nesneler.

Kağıt şöyle diyor:

'Yüzey deformasyonunu dört yüzlü ağa aktardıktan sonra, "etkili uzayın" ayrık deformasyon alanını elde edebiliriz. Şimdi döküm ışınlarını bükmek için bu ayrı dönüşümleri kullanıyoruz. Deforme olmuş parlaklık alanının bir görüntüsünü oluşturmak için, deforme olmuş tetrahedral ağı içeren boşluğa ışınlar gönderiyoruz.'

The kâğıt başlıklı NeRF-Düzenleme: Nöral Parlaklık Alanlarının Geometri Düzenlemesi, Cardiff Üniversitesi Bilgisayar Bilimi ve Bilişim Okulu'ndan bir araştırmacı ve Alibaba Group'tan iki araştırmacı ile birlikte üç Çin üniversitesi ve kurumundaki araştırmacılardan geliyor.

Sınırlamalar

Daha önce bahsedildiği gibi, dönüştürülmüş geometri, NeRF'de düzenlenmemiş herhangi bir ilgili yönü 'güncellemez' ve deforme olmuş öğenin gölgeler gibi ikincil sonuçlarını yansıtmaz. Araştırmacılar, bir NeRF'deki bir insan figürü üzerindeki alt gölgelerin, deformasyon aydınlatmayı değiştirse bile değişmeden kaldığı bir örnek sunuyor:

Kâğıttan: Figürün kolundaki yatay gölgenin kol yukarıya doğru hareket ettirilse bile yerinde kaldığını görüyoruz.

Deneyler

Yazarlar, şu anda NeRF geometrisine doğrudan müdahale için karşılaştırılabilir hiçbir yöntemin olmadığını gözlemlemektedir. Bu nedenle araştırma için yapılan deneyler karşılaştırmalı olmaktan çok keşfediciydi.

Araştırmacılar, NeRF-Düzenlemeyi, Mixamo'dan karakterler ve orijinal NeRF'den artık ikonik olan Lego buldozer ve sandalye dahil olmak üzere bir dizi halka açık veri setinde gösterdiler. uygulama. Ayrıca, ele geçirilmiş gerçek bir at heykeli üzerinde de deneyler yaptılar. FVS veri kümesi, yanı sıra kendi orijinal yakalamaları.

Bir atın başı eğik.

Gelecekteki çalışmalar için yazarlar, sistemlerini tam zamanında (JIT) derlenmiş makine öğrenimi çerçevesi Jittor'da geliştirmeyi planlıyorlar.

İlk olarak 16 Mayıs 2022'de yayınlandı.