NeRF: Nöral Işınım Alanlarının İçeriğinin Düzenleme Çıktısı

Bu yılın başlarında NVIDIA, Nöral Işınım Alanları (NeRF) araştırmalarına InstantNeRF ile önemli bir katkıda bulundu. InstantNeRF, yalnızca birkaç saniyede keşfedilebilen nöral sahneler oluşturabilme yeteneğine sahip görünüyor – bu teknik, 2020’de ortaya çıktığında genellikle saatler veya günler boyunca eğitimi gerektiriyordu.

NVIDIA’nın InstantNeRF’i etkileyici ve hızlı sonuçlar sunuyor. Kaynak: https://www.youtube.com/watch?v=DJ2hcC1orc4

Bu tür bir interpolasyon statik bir sahne üretir, ancak NeRF aynı zamanda hareketi betimleyebilir ve temel ‘kopyala ve yapıştır’ düzenleme işlemlerini gerçekleştirebilir. Burada, bireysel NeRF’ler kompozit sahneler oluşturmak için birleştirilebilir veya mevcut sahnelerde kullanılabilir.

2021’de Shanghai Tech Üniversitesi ve DGene Digital Technology tarafından yapılan araştırmada yer alan iç içe NeRF’ler. Kaynak: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Ancak, bir NeRF’in içeriğini gerçekten değiştirmek istiyorsanız, yani geleneksel CGI sahnelerinde olduğu gibi belirli öğeleri değiştirmek istiyorsanız, sektörün hızlı ilerlemesine rağmen şimdiye kadar çok az çözüm bulunmuştur ve bunlar da CGI iş akışlarının yeteneklerine ulaşamamıştır.

NeRF sahnesinin oluşturulmasında geometri tahmini çok önemlidir, ancak son sonuç oldukça “kilitli” değerlerden oluşur. NeRF’de tekstür değerlerini değiştirme konusunda bazı ilerleme kaydediliyor, ancak NeRF sahnesindeki nesneler düzenlenebilen ve oynanabilen parametrik mesh’ler değil, daha çok kırılgan ve dondurulmuş noktalar bulutlarıdır.

Bu durumda, bir NeRF’de işlenen bir kişi temelde bir heykel (veya video NeRF’lerde bir dizi heykel); kişinin kendisine ve diğer nesnelere düşürdüğü gölgeler tekstürler olarak değil, esnek hesaplamalar olarak değil; ve NeRF içeriğinin düzenlenebilirliği, NeRF’i oluşturan seyrek kaynak fotoğraflarını çeken fotoğrafçının yaptığı seçimlerle sınırlıdır. Gölge ve poz gibi parametreler yaratıcı bir sentido düzenlenemez.

NeRF Düzenleme

Çin ve İngiltere arasındaki yeni bir akademik araştırma işbirliği, NeRF-Editing ile bu sorunu ele alıyor. Burada, bir NeRF’den vekil CGI-stil mesh’ler çıkarılıyor, kullanıcı tarafından deforme ediliyor ve bu deformasyonlar NeRF’in nöral hesaplamalarına geri geçiriliyor.

NeRF kukla ile NeRF düzenleme, burada deformasyonlar bir NeRF temsilindeki eşdeğer noktalara uygulanıyor. Kaynak: http://geometrylearning.com/NeRFEditing/

Bu yöntem, 2021’de ABD ve Çin arasında yapılan NeuS yeniden yapılandırma tekniğini uyarlar. Bu teknik, NeRF içinde temsil edilen geometriyi öğrenmek için bir İmzalı Mesafe Fonksiyonu (SDF, bir hacim yeniden yapılandırma yöntemi) çıkarır.

Bu SDF nesnesi, kullanıcının heykeltraşlık tabanı olur ve ARAP tekniği ile bükmeye ve şekillendirmeye olanak sağlar.

ARAP, çıkarılan SDF mesh’in deformasyonuna olanak sağlar, diğer yöntemler de (örneğin, iskelet tabanlı ve kafes tabanlı yaklaşım) işe yarayabilir. Kaynak: https://arxiv.org/pdf/2205.04978.pdf

Deformasyonlar uygulandıktan sonra, bu bilgileri vektörel düzeyden NeRF’in yerli RGB/piksel düzeyine çevirmek gerekir.

Kullanıcının deforme ettiği mesh’in üçgen köşeleri önce bir tetrahedral mesh’e çevrilir, bu da kullanıcı mesh’ine bir kabuk oluşturur. Bu ek mesh’den bir uzaysal ayrık deformasyon alanı çıkarılır ve nihayetinde NeRF dostu sürekli deformasyon alanı elde edilir. Bu, kullanıcının değişikliklerini ve düzenlemelerini yansıtarak ve hedef NeRF’deki yorumlanan ışınları doğrudan etkileyerek nöral ışıma ortamına geri geçirilebilir.

Yeni yöntemle deforme edilen ve canlandırılan nesneler.

Makalede deniyor ki:

‘Yüzey deformasyonunu tetrahedral mesh’e aktardıktan sonra, “etkin alanın” ayrık deformasyon alanını elde edebiliriz. Şimdi bu ayrık dönüşümleri kullanıyoruz ve ışınları bükmek için bunları uyguluyoruz. Deforme edilmiş ışıma alanının bir görüntüsünü oluşturmak için, deforme edilmiş tetrahedral mesh’in içinde bulunan uzaya ışınlar gönderiyoruz.’

Makale, NeRF-Editing: Neural Radiance Fields’in Geometrik Düzenleme başlığını taşıyor ve Çin’deki üç üniversite ve kuruluştan araştırmacılar ile Cardiff Üniversitesi’nden bir araştırmacı ve Alibaba Grubu’ndan iki araştırmacının işbirliği sonucu ortaya çıkmıştır.

Sınırlamalar

Daha önce de bahsedildiği gibi, dönüştürülen geometri, düzenlenmeyen NeRF’nin diğer yönlerini güncellemez veya deforme edilen öğenin ikincil sonuçlarını yansıtmaz. Araştırmacılar, bir insan figürünün alt gölgelerinin, kolun yukarı kaldırılmasıyla birlikte değişmeden kaldığını gösteren bir örnek sunuyorlar:

Makaledeki resim: Kolumuz yukarı kaldırılırken, kolun üzerindeki gölge yerinde kalıyor.

Deneyler

Araştırmacılar, NeRF geometrisine doğrudan müdahale için şimdiye kadar benzer bir yöntem bulunmadığını gözlemliyor. Bu nedenle, yapılan deneyler daha çok keşif amaçlı olarak gerçekleştirildi.

Araştırmacılar, NeRF-Editing’i çeşitli kamu veri setlerinde, Mixamo karakterleri ve orijinal NeRF uygulamasındaki Lego buldozer ve sandalye gibi ikonik nesnelerde denediler. Ayrıca, FVS veri setinden gerçek bir at heykelini ve kendi orijinal kayıtlarını da deneylerde kullandılar.

At başı eğildi.

Gelecek çalışmalar için araştırmacılar, sistemlerini just-in-time (JIT) derlenen makine öğrenimi çerçevesi Jittor’da geliştirmeyi amaçlıyorlar.

İlk olarak 16 Mayıs 2022’de yayımlanmıştır.