Gerçek Zamanlı AI İnsanlara Doğru Neural Lumigraph Rendering

Mevcut Neural Radiance Fields (NeRF) dalgasına rağmen, AI tarafından oluşturulan 3D ortamlar ve nesneleri oluşturabilen bir teknoloji olmasına rağmen, bu görüntü sentez teknolojisi hala büyük ölçüde eğitim zamanına ihtiyaç duyar ve gerçek zamanlı, yüksek derecede duyarlı arayüzleri sağlayan bir uygulama eksikliği vardır.

Ancak, endüstri ve akademiden etkileyici isimlerin işbirliği, bu zorluğa (genel olarak Novel View Synthesis veya NVS olarak bilinen) yeni bir yaklaşım sunuyor.

Araştırma makalesi, Neural Lumigraph Rendering adlı, durumun mevcut en iyisinden yaklaşık iki kat daha iyi bir performans sunduğunu iddia ediyor ve gerçek zamanlı CG.rendering için makine öğrenimi boru hatlarına doğru birkaç adım atıyor.

Neural Lumigraph Rendering (sağda) önceki yöntemlere göre daha iyi bir şekilde blending artifacts ve occlusion işleme sağlar. Kaynak.

Makaledeki krediler sadece Stanford Üniversitesi ve holografik ekran teknolojisi şirketi Raxium’u (şu anda gizli modda çalışıyor) içerse de, katkıda bulunanlar arasında Google’da bir makine öğrenimi mimarı, Adobe’de bir bilgisayar bilimcisi ve CTO StoryFile (son zamanlarda AI versiyonu William Shatner ile haberlere konu oldu) bulunmaktadır.

Son Shatner tanıtım kampanyasına ilişkin olarak, StoryFile’nin NLR’yi bireylerin özellikleri ve anlatıları temelinde etkileşimli, AI tarafından oluşturulan varlıkların oluşturulması için yeni bir süreçte kullandığı görünüyor.

StoryFile, bu teknolojinin müze sergileri, online etkileşimli anlatılar, holografik ekranlar, artırılmış gerçeklik (AR) ve miras belgelerinde kullanılmasını öngörüyor ve ayrıca NLR’nin işe alım görüşmeleri ve sanal flört uygulamaları gibi yeni uygulamalarına da göz atıyor:

StoryFile’nin bir online videosundan önerilen kullanımlar. Kaynak: https://www.youtube.com/watch?v=2K9J6q5DqRc

Yeni Görünüm Sentezi Arayüzleri ve Video için Hacimsel Yakalama

Hacimsel yakalamanın ilkesi, bir dizi makalede biriktirilen konu, bir konu hakkında stiller veya videolar almak ve makine öğrenimi kullanarak orijinal kamera dizisi tarafından kapsanmayan görüntüleri ‘doldurmaktır’.

Kaynak: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Yukarıdaki resimde, Facebook’un 2019 AI araştırmasından (aşağıya bakınız) görüldüğü gibi, hacimsel yakalamanın dört aşaması vardır: çoklu kameralar görüntüler/çekim alır; kodlayıcı/çözücü mimarisi (veya diğer mimariler) görüntülerin bağıntılığını hesaplar ve birleştirir; ışın yürüyüşü algoritmaları hacimsel uzaydaki her noktanın voxel (veya diğer XYZ uzaysal geometrik birimleri) hesaplar; ve (son makalelerin çoğunda) eğitim ocoru sentezlenmiş bir varlık oluşturmak için gerçekleşir.

Yeni Görünüm Sentezi, bir hacimsel uzayın tam bir 3D haritasını oluşturduğu için, bu noktaları geleneksel bir bilgisayar oluşturulmuş bir ağa dikmek nispeten basittir, böylece CGI insanı (veya diğer sınırlı nesneleri) anında yakalar ve işler.

NeRF kullanan yaklaşımlar, ara görüntüler oluşturmak için nokta bulutları ve derinlik haritalarına güvenir:

NeRF, CG meshleri oluşturmak yerine derinlik haritalarının hesaplanması yoluyla hacimsel derinlik oluşturabilir. Kaynak: https://www.youtube.com/watch?v=JuH79E8rdKc

NeRF yetenekli CG meshleri hesaplayabilse de, çoğu uygulama bunu hacimsel sahneleri oluşturmak için kullanmaz.

Öte yandan, Weizmann Bilim Enstitüsü tarafından Ekim 2020’de yayınlanan Implicit Differentiable Renderer (IDR) yaklaşımı, otomatik olarak oluşturulan 3D mesh bilgilerini kullanır:

IDR yakalama örnekleri etkileşimli CGI meshlere dönüştürüldü. Kaynak: https://www.youtube.com/watch?v=C55y7RhJ1fE

NeRF, IDR’nin şekil tahmini yeteneğinden yoksunken, IDR NeRF’nin görüntü kalitesine ulaşamaz ve her ikisi de eğitim ve derleme için kapsamlı kaynaklara ihtiyaç duyar (ancak NeRF’deki yeni yenilikler başlıyor bunu ele almaya).

NLR’nin özel kamera rigi, 16 GoPro HERO7 ve 6 merkezi Back-Bone H7PRO kameraları içerir. ‘Gerçek zamanlı’ işleme için, bunlar minimum 60fps’de çalışır. Kaynak: https://arxiv.org/pdf/2103.11571.pdf

Bunun yerine, Neural Lumigraph Rendering, SIREN (Sinusoidal Representation Networks) kullanır ve her iki yaklaşımın güçlü yönlerini kendi çerçevesine entegre eder, bu da mevcut gerçek zamanlı grafik boru hatlarında doğrudan kullanılabilir çıktı oluşturmayı amaçlar.

SIREN, benzer uygulamalar için son bir yıl içinde kullanıldı ve şimdi görüntü sentez topluluklarındaki hobi Colabs için popüler bir API çağrısını temsil ediyor; Ancak NLR’nin yeniliği, SIREN’leri iki boyutlu çoklu görüntüden süpervizyon için uygulamaktır, bu da SIREN’in genelleştirilmiş değil, aşırı uyumlu çıktı üretmesi nedeniyle problematiktir.

Dikdörtgen ağ, dizi resimlerinden çıkarıldıktan sonra, OpenGL aracılığıyla rasterize edilir ve ağın köşe noktaları ilgili piksellere eşlenir, ardından çeşitli katılımcı haritaların karıştırılması hesaplanır.

Sonuçta oluşan ağ, NeRF’inkine (aşağıdaki resme bakınız) göre daha genel ve temsil edicidir, daha az hesaplama gerektirir ve aşırı ayrıntı uygulamaz (örneğin, pürüzsüz yüz derisi gibi):

Kaynak: https://arxiv.org/pdf/2103.11571.pdf

Negatif tarafında, NLR henüz dinamik aydınlatma veya yeniden aydınlatma yeteneğine sahip değildir ve çıktı, yalnızca yakalama anında elde edilen gölgeli haritalar ve diğer aydınlatma hususlarına sınırlıdır. Araştırmacılar, bu konuyu gelecekteki çalışmalarda ele almayı amaçlıyorlar.

Ek olarak, makale, NLR’nin oluşturduğu şekillerin bazı alternatif yaklaşımlar kadar doğru olmadığını kabul ediyor, chẳng hạn như Pixelwise View Selection for Unstructured Multi-View Stereo veya yukarıda bahsedilen Weizmann Enstitüsü araştırması.

Hacimsel Görüntü Sentezinin Yükselişi

Sınırlı bir dizi fotoğrafla 3D varlıklar oluşturmak için nöral ağları kullanma fikri, NeRF’den önce 2007’ye kadar uzanan vizyoner makalelere dayanır. 2019’da Facebook’un AI araştırma bölümü, Neural Volumes: Learning Dynamic Renderable Volumes from Images adlı bir araştırma makalesi yayınladı ve bu, sentezlenmiş insanlar için duyarlı arayüzlerin oluşturulmasını sağlayan ilk makale oldu.

Facebook’un 2019 araştırması, bir hacimsel kişi için duyarlı bir kullanıcı arayüzü oluşturulmasını sağladı. Kaynak: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/