NeRF: Nöral Işınım Alanlarının İçeriğinin Düzenlenmesi Çıktısı

Bu yılın başlarında NVIDIA, Nöral Işınım Alanları (NeRF) araştırmalarına InstantNeRF ile önemli bir katkıda bulundu ve apparent olarak saniyeler içinde keşfedilebilir nöral sahneler oluşturabiliyor – 2020’de ortaya çıktığında saatler veya günler alan bir tekniğin aksine.

NVIDIA’nın InstantNeRF etkileyici ve hızlı sonuçlar sağlıyor. Kaynak: https://www.youtube.com/watch?v=DJ2hcC1orc4

Bu tür bir enterpolasyon statik bir sahne üretse de, NeRF aynı zamanda hareketi betimleyebilir ve temel ‘kopyala-yapıştır’ düzenleme işlemlerini gerçekleştirebilir, burada bireysel NeRF’ler ya bileşik sahneler oluşturmak için birleştirilebilir ya da mevcut sahnelere eklenebilir.

2021 yılında Shanghai Tech Üniversitesi ve DGene Digital Technology’den gelen iç içe NeRF’ler. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Ancak, bir NeRF’i hesaplayarak ve gerçekten içinde发生 eden bir şeyi değiştirmek istiyorsanız (geleneksel CGI sahnelerinde olduğu gibi), sektörün hızlı ilgisine rağmen, çok az çözüm bulundu ve CGI iş akışlarının yeteneklerini karşılayabilecek hiçbir çözüm bulunmamıştır.

Geometri tahmini, bir NeRF sahnesi oluşturmak için çok önemlidir, ancak son sonuç, nispeten ‘kilitli’ değerlerden oluşur. NeRF’de doku değerlerini değiştirme konusunda bazı ilerleme kaydedilse de, bir NeRF sahnesindeki gerçek nesneler, düzenlenebilen ve oynanabilen parametrik mesh’ler değil, daha çok kırılgan ve dondurulmuş nokta bulutlarıdır.

Bu senaryoda, bir NeRF’de işlenen bir kişi esasen bir heykel (veya video NeRF’lerde bir dizi heykel); kendi üzerine ve diğer nesneler üzerine düşürdüğü gölgeler, ışıkların esnek hesaplamaları değil, tekstillerdir; ve NeRF içeriğinin düzenlenebilirliği, NeRF’i oluşturan seyrek kaynak fotoğrafları çeken fotoğrafçının yaptığı seçimlerle sınırlıdır. Gölgeler ve poz gibi parametreler, herhangi bir yaratıcı anlamda düzenlenemez.

NeRF Düzenleme

Çin ve İngiltere arasındaki yeni bir akademik araştırma işbirliği, NeRF-Editing ile bu challenge’ı ele alıyor, burada vekil CGI-stil mesh’ler bir NeRF’den çıkarılıyor, kullanıcı tarafından istenildiği gibi deforme ediliyor ve deforme edilenler NeRF’in nöral hesaplamalarına geri geçiriliyor:

NeRF kukla ile NeRF düzenleme, deforme hesaplamaları NeRF temsilindeki eşdeğer noktalara uygulanıyor. Kaynak: http://geometrylearning.com/NeRFEditing/

Yöntem, NeuS 2021 ABD/Çin yeniden yapılandırma tekniğini uyarlar, bu da bir Signed Distance Function (SDF, çok eski bir hacimsel yeniden yapılandırma yöntemi) çıkarır ve NeRF içindeki geometriyi öğrenir.

Bu SDF nesnesi, kullanıcıların heykeltraşlık tabanını oluşturur, esneklik ve kalıplama yetenekleri ise saygın As-Rigid-As-Possible (ARAP) tekniği tarafından sağlanır.

ARAP, kullanıcıların çıkarılan SDF mesh’i deforme etmesine olanak tanır, diğer yöntemler de (örneğin, iskelet tabanlı ve kafes tabanlı yaklaşımlar, yani NURBs) iyi çalışır. Kaynak: https://arxiv.org/pdf/2205.04978.pdf

Deformasyonlar uygulandıktan sonra, bu bilginin vektörden NeRF’in yerli RGB/piksel düzeyine çevrilmesi gerekir, bu biraz daha uzun bir yolculuktur.

Kullanıcının deforme ettiği mesh’in üçgen köşeleri önce bir tetrahedral mesh’e çevrilir, bu da kullanıcı mesh’i围leyen bir cilt oluşturur. İlave mesh’ten bir uzaysal ayrık deformasyon alanı çıkarılır ve sonunda NeRF dostu sürekli deformasyon alanı elde edilir, bu da kullanıcıların değişikliklerini ve düzenlemelerini yansıtabilir ve doğrudan hedef NeRF’deki yorumlanan ışınları etkileyebilir.

Yeni yöntemle deforme edilen ve canlandırılan nesneler.

Makalede denir:

‘Yüzey deformasyonunu tetrahedral mesh’e aktardıktan sonra, “etkili alan”ın ayrık deformasyon alanını elde edebiliriz. Şimdi bu ayrık dönüşümleri kullanıyoruz. Deforme edilmiş ışınım alanının bir görüntüsünü oluşturmak için, deforme edilmiş tetrahedral mesh’i içeren alana ışınlar gönderiyoruz.’

Makale NeRF-Editing: Nöral Işınım Alanlarının Geometrik Düzenleme olarak adlandırılmış ve üç Çin üniversitesi ve kuruluşlarından araştırmacılar, Cardiff Üniversitesi Bilgisayar Bilimi ve Bilişim Okulu’ndan bir araştırmacı ve Alibaba Grubu’ndan iki araştırmacı tarafından yazılmıştır.

Sınırlamalar

Daha önce de bahsedildiği gibi, dönüştürülmüş geometri, düzenlenmeyen ilgili NeRF yönlerini güncellemeyecektir veya deforme edilen unsurun ikincil sonuçlarını yansıtmayacaktır, örneğin gölgeleri:

Makaleden: kol yukarı kaldırılırken, figürün kolundaki yatay gölge yerinde kalıyor.

Deneysel Çalışmalar

Yazarlar, şu anda NeRF geometrisine doğrudan müdahale için karşılaştırılabilir hiçbir yöntem olmadığını gözlemliyor. Bu nedenle, yapılan deneysel çalışmalar daha çok keşif amaçlıydı.

Araştırmacılar, NeRF-Editing’i çeşitli kamu veri setlerinde, Mixamo karakterleri ve orijinal NeRF uygulamasından ünlü Lego buldozer ve sandalye dahil olmak üzere denedi. Ayrıca FVS veri setinden gerçek bir at heykeli ve kendi orijinal kayıtları üzerinde de deneysel çalışmalar yaptılar.

Bir atın başı eğildi.

Gelecek çalışmalar için yazarlar, sistemlerini Jittor adlı derleme zamanlı (JIT) makine öğrenimi çerçevesinde geliştirmeyi amaçlıyorlar.

İlk olarak 16 Mayıs 2022’de yayımlandı.