Menuju Manusia AI Waktu Nyata Dengan Rendering Lumigraph Neural

Meskipun saat ini sedang tren minat pada Neural Radiance Fields (NeRF), teknologi yang mampu menciptakan lingkungan 3D dan objek yang dihasilkan AI, pendekatan baru ini untuk teknologi sintesis gambar masih memerlukan waktu pelatihan yang cukup lama, dan kekurangan implementasi yang memungkinkan antarmuka yang sangat responsif dan waktu nyata.

Namun, kolaborasi antara beberapa nama impresif di industri dan akademisi menawarkan pandangan baru pada tantangan ini (secara umum dikenal sebagai Sintesis Tampilan Baru, atau NVS).

Penelitian makalah, berjudul Rendering Lumigraph Neural, mengklaim perbaikan pada keadaan seni sekitar dua kali lipat, mewakili beberapa langkah menuju rendering CG waktu nyata melalui pipa machine learning.

Rendering Lumigraph Neural (kanan) menawarkan resolusi yang lebih baik dari artefak blending, dan penanganan oklusi yang lebih baik daripada metode sebelumnya. Source.

Meskipun kredit untuk makalah hanya menyebutkan Universitas Stanford dan perusahaan teknologi tampilan holografik Raxium (saat ini beroperasi dalam mode stealth), kontributor termasuk arsitek mesin pembelajaran utama di Google, ilmuwan komputer di Adobe, dan CTO di StoryFile (yang membuat berita baru-baru ini dengan versi AI dari William Shatner).

Dalam kaitannya dengan publisitas Shatner baru-baru ini, StoryFile tampaknya menggunakan NLR dalam proses baru untuk menciptakan entitas AI yang dihasilkan berdasarkan karakteristik dan narasi individu.

StoryFile membayangkan penggunaan teknologi ini dalam tampilan museum, narasi interaktif online, tampilan holografik, augmented reality (AR), dan dokumentasi warisan – dan juga tampaknya sedang mempertimbangkan aplikasi baru NLR dalam wawancara perekrutan dan aplikasi kencan virtual:

Penggunaan yang diusulkan dari video online oleh StoryFile. Source: https://www.youtube.com/watch?v=2K9J6q5DqRc

Pengambilan Volumetri untuk Antarmuka Sintesis Tampilan Baru dan Video

Prinsip pengambilan volumetri, di seluruh kisaran makalah yang terkumpul pada subjek ini, adalah ide mengambil gambar diam atau video dari subjek, dan menggunakan machine learning untuk ‘mengisi’ pandangan yang tidak tercakup oleh array kamera asli.

Source: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Dalam gambar di atas, diambil dari penelitian AI Facebook 2019 (lihat di bawah), kita melihat empat tahap pengambilan volumetri: beberapa kamera mendapatkan gambar/footage; arsitektur encoder/decoder (atau arsitektur lain) menghitung dan menggabungkan relatifitas pandangan; algoritma ray-marching menghitung voxel (atau unit geometris spasial XYZ lain) dari setiap titik dalam ruang volumetri; dan (dalam makalah terbaru) pelatihan terjadi untuk mensintesis entitas lengkap yang dapat dimanipulasi dalam waktu nyata.

Ini sering kali tahap pelatihan yang ekstensif dan berat yang telah, hingga saat ini, menjaga sintesis tampilan baru keluar dari ranah waktu nyata atau antarmuka yang sangat responsif.

Fakta bahwa Sintesis Tampilan Baru membuat peta 3D lengkap dari ruang volumetri berarti bahwa relatif mudah untuk menjahit titik-titik ini menjadi mesh CG tradisional, secara efektif mengambil dan mengartikulasikan manusia CG (atau objek lain yang relatif terbatas) secara langsung.

Pendekatan yang menggunakan NeRF bergantung pada awan titik dan peta kedalaman untuk menghasilkan interpolasi antara poin-poin pandangan yang jarang dari perangkat pengambilan:

NeRF dapat menghasilkan kedalaman volumetri melalui perhitungan peta kedalaman, bukan melalui pembuatan mesh CG. Source: https://www.youtube.com/watch?v=JuH79E8rdKc

Meskipun NeRF mampu menghitung mesh, sebagian besar implementasi tidak menggunakan ini untuk menghasilkan adegan volumetri.

Sebaliknya, pendekatan Implicit Differentiable Renderer (IDR) bergantung pada memanfaatkan informasi mesh 3D yang dihasilkan secara otomatis dari array pengambilan:

Contoh pengambilan IDR yang diubah menjadi mesh CGI interaktif. Source: https://www.youtube.com/watch?v=C55y7RhJ1fE

NeRF tidak memiliki kemampuan estimasi bentuk seperti IDR, IDR tidak dapat menyaingi kualitas gambar NeRF, dan keduanya memerlukan sumber daya yang luas untuk pelatihan dan penggabungan (meskipun inovasi terbaru di NeRF mulai menangani ini).

Rig kamera khusus NLR dengan 16 GoPro HERO7 dan 6 kamera Back-Bone H7PRO sentral. Untuk rendering ‘waktu nyata’, kamera-kamera ini beroperasi pada minimum 60fps. Source: https://arxiv.org/pdf/2103.11571.pdf

Sebaliknya, Rendering Lumigraph Neural menggunakan SIREN (Sinusoidal Representation Networks) untuk menggabungkan kekuatan dari setiap pendekatan ke dalam kerangka kerjanya, yang dimaksudkan untuk menghasilkan output yang dapat digunakan langsung dalam pipa grafis waktu nyata yang ada.

SIREN telah digunakan untuk implementasi serupa selama setahun terakhir, dan sekarang mewakili panggilan API populer untuk notebook Colab di komunitas sintesis gambar; namun, inovasi NLR adalah menerapkan SIREN pada pengawasan gambar multi-tampilan dua dimensi, yang bermasalah karena seberapa besar SIREN menghasilkan output yang terlalu sesuai daripada umum.

Setelah mesh CG diambil dari gambar array, mesh tersebut dirasterisasi melalui OpenGL, dan posisi vertex mesh dipetakan ke piksel yang sesuai, setelah itu penggabungan dari peta yang berkontribusi dihitung.

Mesh yang dihasilkan lebih umum dan representatif daripada mesh NeRF (lihat gambar di bawah), memerlukan perhitungan yang lebih sedikit, dan tidak menerapkan detail yang berlebihan pada area (seperti kulit wajah yang halus) yang tidak dapat mendapat manfaat dari itu:

Source: https://arxiv.org/pdf/2103.11571.pdf

Di sisi negatif, NLR belum memiliki kapasitas untuk pencahayaan dinamis atau pencahayaan ulang, dan output terbatas pada peta bayangan dan pertimbangan pencahayaan lain yang diperoleh pada saat pengambilan. Peneliti berencana untuk menangani ini dalam pekerjaan masa depan.

Selain itu, makalah tersebut mengakui bahwa bentuk yang dihasilkan oleh NLR tidak seakurat beberapa pendekatan alternatif, seperti Pemilihan Tampilan Berbasis Piksel untuk Stereo Multi-Tampilan Tidak Terstruktur, atau penelitian Institut Weizmann yang disebutkan sebelumnya.

Munculnya Sintesis Gambar Volumetri

Ide menciptakan entitas 3D dari serangkaian foto terbatas dengan jaringan neural mendahului NeRF, dengan makalah visioner yang kembali ke 2007 atau lebih awal. Pada 2019, departemen penelitian AI Facebook menghasilkan makalah penelitian seminal, Volume Neural: Pembelajaran Volume Renderable Dinamis dari Gambar, yang pertama kali memungkinkan antarmuka yang responsif untuk manusia sintetis yang dihasilkan oleh pengambilan volumetri berbasis machine learning.

Penelitian Facebook 2019 memungkinkan penciptaan antarmuka pengguna yang responsif untuk orang volumetri. Source: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/