Apakah Lingkungan Realitas Tambah Apple dengan HDR Dapat Menyelesaikan Refleksi untuk Rendering Neural?

Investasi Apple yang kuat dan jangka panjang dalam teknologi Realitas Tambah dipercepat tahun ini, dengan serangkaian alat pengembang baru untuk menangkap dan mengonversi objek dunia nyata menjadi fasad AR, dan keyakinan industri yang tumbuh bahwa perangkat kacamata AR khusus akan datang untuk mendukung pengalaman imersif yang dapat diaktifkan oleh badai R&D ini.

Di antara sejumlah informasi baru tentang upaya Apple dalam Realitas Tambah, makalah baru dari divisi penelitian visi komputer perusahaan ini mengungkapkan metode untuk menggunakan gambar panoramik 360 derajat dengan rentang dinamis tinggi (HDR) untuk menyediakan refleksi dan pencahayaan spesifik adegan untuk objek yang disisipkan ke dalam adegan realitas tambah.

Bertajuk Perkiraan Peta Lingkungan HDR untuk Realitas Tambah Waktu Nyata, makalah tersebut, oleh Insinyur Penelitian Visi Komputer Apple Gowri Somanath dan Manajer Pembelajaran Mesin Senior Daniel Kurz, mengusulkan penciptaan dinamis lingkungan HDR waktu nyata melalui jaringan saraf konvolusional (CNN) yang berjalan dalam lingkungan pemrosesan seluler. Hasilnya adalah objek reflektif dapat secara harfiah memantulkan lingkungan baru yang tidak terlihat sebelumnya sesuai permintaan:

Dalam alur kerja generasi objek AR baru Apple, panci tekanan diinstansiasi oleh fotogrametri lengkap dengan lingkungannya, menghasilkan refleksi yang meyakinkan yang tidak ‘dipanggang’ ke dalam tekstur. Sumber: https://docs-assets.developer.apple.com/

Metode ini, yang dipamerkan di CVPR 2021, mengambil cuplikan seluruh adegan dan menggunakan EnvMapNet CNN untuk memperkirakan gambar panoramik HDR yang secara visual lengkap, juga dikenal sebagai ‘penyelidik cahaya’.

Peta hasil mengidentifikasi sumber cahaya kuat (digarisbawahi di akhir animasi di atas) dan memperhitungkannya dalam rendering objek virtual.

Arsitektur EnvMapNet, yang memproses citra terbatas menjadi penyelidik cahaya HDR penuh adegan. Sumber: https://arxiv.org/pdf/2011.10687.pdf

Algoritma ini dapat berjalan dalam waktu kurang dari 9ms pada iPhone XS, dan mampu merender objek yang sadar refleksi dalam waktu nyata, dengan kesalahan arah yang berkurang sebesar 50% dibandingkan dengan pendekatan sebelumnya dan berbeda untuk masalah ini.

Penyelidik Cahaya

Lingkungan pencahayaan HDR telah menjadi faktor dalam efek visual sejak gambar dengan rentang dinamis tinggi (ditemukan pada 1986) menjadi kekuatan yang terkenal melalui kemajuan teknologi komputer pada 1990-an. Siapa pun yang menonton cuplikan di balik layar mungkin telah memperhatikan kehadiran teknisi yang memegang bola cermin di tongkat – citra referensi yang akan dimasukkan sebagai faktor lingkungan saat merekonstruksi elemen CGI untuk adegan.

Sumber: https://beforesandafters.com/

Namun, menggunakan bola krom untuk pemetaan refleksi tekstur mendahului 1990-an, kembali ke makalah SIGGRAPH 1983 Pyramidal Parametrics, yang menampilkan gambar diam robot CGI reflektif dalam gaya yang akan menjadi terkenal hampir satu dekade kemudian melalui efek ‘logam cair’ dari film Terminator 2: Judgement Day.

Lingkungan HDR dalam Rendering Neural?

Rendering neural menawarkan kemungkinan untuk menghasilkan video fotorealistik dari input yang sangat langka, termasuk peta segmentasi kasar.