Sistem Fokus Otentik untuk ‘Murah’ Realitas Tambah

Peneliti dari Institute of Electrical and Electronics Engineers (IEEE) telah mengembangkan metode untuk meningkatkan otentisitas instalasi realitas tambah berbasis proyeksi dengan biaya rendah, melalui kacamata khusus yang menyebabkan gambar 3D yang diproyeksikan masuk dan keluar fokus dengan cara yang sama seperti jika objek tersebut nyata, mengatasi hambatan perseptual kritis untuk penggunaan praktis sistem proyeksi di lingkungan yang terkendali.

Sistem IEEE merekam ulang bidang fokus untuk gambar proyeksi dan CGI yang akan disisipkan ke dalam ruangan. Dalam kasus ini, tiga kelinci Stanford CGI disisipkan pada bidang fokus yang sama dengan tiga objek dunia nyata, dan kaburnya dikendalikan oleh di mana pengguna melihat dan fokus. Proyektor 3D dapat memproyeksikan footage ke permukaan tetap, permukaan yang bergerak, atau bahkan geometri kompleks, menawarkan cakupan yang luas yang sulit untuk direkam di bawah keterbatasan pemrosesan sistem AR seperti HoloLens. Sumber: https://www.youtube.com/watch?v=I8DGTQnxm38

Sistem ini menggunakan lensa fokus-tunable listrik (ETL) yang tertanam dalam kacamata pengguna (yang dalam hal apapun diperlukan untuk memisahkan dua aliran gambar menjadi pengalaman 3D yang meyakinkan), dan yang berkomunikasi dengan sistem proyeksi, yang kemudian secara otomatis mengubah tingkat kaburnya gambar proyeksi yang dilihat oleh pengguna.

Lensa ETL melaporkan kembali informasi tentang perhatian fokus pengguna dan mengatur tingkat kaburnya pada basis per-plane untuk rendering geometri proyeksi. Pengembangan sistem tersebut diuraikan dalam video yang disertakan di akhir artikel ini.

Makalah tersebut, berjudul Multifocal Stereoscopic Projection Mapping, menawarkan tingkat kemampuan yang baru untuk bidang yang telah dibatasi oleh kurangnya integrasi dengan cara pengguna fokus pada objek yang berbeda, dan yang berjanji untuk mengatasi masalah yang sistem tersebut telah hadapi dengan konflik vergence–akomodasi (VAC) – suatu sindrom di mana jarak yang dipersepsikan antara objek tidak sesuai dengan jarak fokus logisnya, menyebabkan objek tersebut ‘mengapung’ dengan cara yang tidak meyakinkan di mana seharusnya kabur dalam konteks penempatannya.

Dalam lingkungan AR, seperti Microsoft’s HoloLens, foveated rendering digunakan untuk mengkonsentrasikan daya pemrosesan, rendering detail dan fokus berdasarkan di mana pengguna perangkat melihat dan fokus. Namun, sistem AR yang dapat dipakai seperti HoloLens memiliki beban perangkat keras yang jauh lebih tinggi, karena mereka harus menyampaikan gambar 3D ke pengguna.

Kelebihan Realitas Tambah Proyeksi

Dengan demikian, kacamata ETL hanya mengirimkan informasi fokus sebagai variabel tambahan ke pipa CGI jarak jauh, yang dapat mengubah fokus gambar proyeksi lebih cepat daripada perjalanan bolak-balik yang informasi fokus harus lakukan dalam perangkat AR yang dapat dipakai (yaitu informasi fokus > dikirim ke prosesor jarak jauh > dirender > dikirim kembali ke pengguna), meningkatkan latensi, yang pada dirinya sendiri merupakan penyebab potensial untuk disorientasi pengguna dalam sistem AR.

Dalam efek, foveated rendering digunakan sebanyak untuk mengakomodasi sumber daya yang terbatas sebagai itu untuk menyediakan pengalaman fokus yang otentik untuk pengguna, dengan daerah besar gambar superimposed yang sulit untuk dicapai dalam sistem HoloLens, dan ‘letterbox rendering’ dan tepi yang tidak stabil keluhan yang konsisten.

Dari SIGGRAPH 98 – visi realitas tambah dalam lingkungan kantor, dikutip dalam makalah baru. Sumber: https://www.youtube.com/watch?v=I8DGTQnxm38 dan https://web.media.mit.edu/~raskar/UNC/Office/

Makalah tersebut mengamati sejumlah kelebihan yang diketahui yang dimiliki pemetaan proyeksi stereoskopik (PM) atas implementasi realitas tambah yang lebih modern, yang bergantung pada peralatan yang berat dan intens yang dipakai tubuh, karena penulis mencatat*:

Pertama, bidang-pandang (FOV) dapat dibuat sebesar mungkin dengan meningkatkan jumlah proyektor untuk menutupi lingkungan secara keseluruhan. Kedua, kacamata shutter aktif yang digunakan biasanya jauh lebih ringan, dan, oleh karena itu, beban fisiknya lebih rendah daripada HMD. Ketiga, beberapa pengguna dapat berbagi pengalaman AR yang sama jika pandangan mereka cukup dekat satu sama lain. Berkat kelebihan ini, peneliti telah menemukan bahwa pemetaan proyeksi stereoskopik cocok untuk berbagai aplikasi, termasuk tetapi tidak terbatas pada panduan museum, perencanaan arsitektur, desain produk, pelatihan medis, antarmuka yang berubah bentuk, dan telekonferensi.

Salah satu implementasi tersebut dirancang oleh Microsoft Research pada tahun 2012, sebelum perusahaan tersebut berkonsentrasi pada AR perangkat dalam beberapa tahun terakhir:

Peneliti IEEE berpendapat bahwa sistem input fokus baru ini adalah yang pertama untuk mengatasi VAC dengan mengontrol bidang fokus multifokus, dan juga yang pertama untuk menyelesaikan masalah ini dengan cara yang umum dan dapat diterapkan secara luas, tanpa memerlukan peralatan proyeksi yang mahal dan khusus.

Pipa rendering fokus-tengah yang dirancang oleh peneliti tersebut menggabungkan informasi fokus yang diterima dari kacamata ETL pengguna pada awal proses rendering, bukan memerlukan komputer dasar untuk merender dan kemudian mengaburkan. Tergantung pada implementasi, ini dapat lebih menghemat sumber daya pemrosesan dan meningkatkan latensi saat perhatian fokus pengguna bergerak di sekitar elemen virtual.

Teknik ini dilaporkan bekerja dengan baik pada berbagai permukaan proyeksi yang mungkin, termasuk datar, non-planar (yaitu melengkung atau geometri kompleks, seperti boneka yang dapat diimposkan dengan citra x-ray medis) dan permukaan yang bergerak.

Boneka realitas campuran yang menggunakan proyeksi 3D, dirancang untuk lingkungan pendidikan medis, dikutip dalam makalah. Sumber: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Sistem proyeksi seperti ini memerlukan lingkungan yang gelap, seperti pengaturan museum, dan sistem ETL mengurangi sudut pandang pengguna yang tersedia, meskipun peneliti berpendapat bahwa tren menuju ukuran aperture yang lebih besar untuk peralatan ETL akan mengurangi keterbatasan ini seiring waktu. Meskipun penulis juga mencatat bahwa sistem ini memerlukan proyektor kecepatan tinggi untuk menyediakan cukup frame untuk dipisahkan menjadi dua aliran, mereka telah menggunakan proyektor komersial yang tersedia di pasaran untuk implementasi mereka.

*Konversi saya dari kutipan inline ke tautan.