Peneliti Membuat Hologram 3D Waktu Nyata yang Ditenagai AI di Smartphone

Smartphone segera dapat menghasilkan hologram 3D yang sangat realistis, berkat sebagian model AI yang dikembangkan oleh peneliti di MIT. Sistem AI yang dikembangkan oleh tim MIT menentukan cara terbaik untuk menghasilkan hologram dari serangkaian gambar input.

Peneliti dari MIT baru-baru ini merancang model AI yang memungkinkan pembuatan hologram 3D yang sangat realistis. Teknologi ini dapat memiliki aplikasi untuk headset VR dan AR, dan hologram bahkan dapat dihasilkan oleh smartphone.

Tidak seperti tampilan 3D dan VR tradisional, yang hanya menghasilkan ilusi kedalaman dan dapat menyebabkan mual dan sakit kepala, tampilan holografik dapat dilihat oleh orang-orang tanpa menyebabkan ketegangan mata. Hambatan besar menuju penciptaan media holografik adalah menangani data yang diperlukan untuk benar-benar menghasilkan hologram. Setiap hologram terdiri dari sejumlah besar data, yang diperlukan untuk membuat “kedalaman” yang dimiliki hologram. Karena itu, menghasilkan hologram secara tradisional memerlukan sejumlah besar daya komputasi. Untuk membuat teknologi holografik lebih praktis, tim MIT menerapkan jaringan neural konvolusional yang dalam untuk masalah ini, menciptakan jaringan yang dapat dengan cepat menghasilkan hologram berdasarkan gambar input.

Pendekatan tradisional untuk menghasilkan hologram pada dasarnya menghasilkan banyak potongan hologram dan kemudian menggunakan simulasi fisik untuk menggabungkan potongan-potongan tersebut menjadi representasi lengkap dari objek atau gambar. Ini berbeda dari pendekatan tradisional yang digunakan untuk menghasilkan hologram. Dalam metode tradisional, gambar dipotong-potong dan serangkaian tabel lookup digunakan untuk menggabungkan potongan-potongan hologram, karena tabel lookup menandai batas-batas potongan hologram yang berbeda. Proses menentukan batas-batas potongan hologram dengan tabel lookup cukup memakan waktu dan intensif daya pengolahan.

Menurut IEEE Spectrum, Tim MIT merancang metode lain untuk menghasilkan hologram. Dengan menggunakan kekuatan jaringan neural yang dalam, mereka dapat memotong gambar menjadi potongan-potongan yang dapat direkompilasi menjadi hologram menggunakan “potongan” yang jauh lebih sedikit. Teknik baru ini memanfaatkan kemampuan jaringan neural konvolusional untuk menganalisis gambar dan memisahkan gambar menjadi potongan-potongan yang terpisah. Metode baru ini untuk menganalisis dan memotong gambar secara signifikan mengurangi jumlah operasi total yang harus dilakukan oleh sistem.

Untuk merancang generator hologram AI mereka, tim penelitian memulai dengan membangun database yang terdiri dari sekitar 4000 gambar yang dihasilkan komputer, dengan hologram 3D yang sesuai untuk setiap gambar tersebut. Jaringan neural konvolusional dilatih pada dataset ini, mempelajari bagaimana setiap gambar dihubungkan dengan hologramnya dan cara terbaik untuk menggunakan fitur untuk menghasilkan hologram. Ketika sistem AI diberikan data yang tidak terlihat sebelumnya dengan informasi kedalaman, maka dapat menghasilkan hologram baru dari data tersebut. Informasi kedalaman disediakan melalui penggunaan sensor lidar atau tampilan multi-kamera dan dirender sebagai gambar yang dihasilkan komputer. Beberapa iPhone baru memiliki komponen ini, yang berarti mereka dapat menghasilkan hologram jika dihubungkan dengan jenis tampilan yang tepat.

Sistem hologram AI yang baru ini memerlukan memori yang jauh lebih sedikit daripada metode klasik. Sistem dapat menghasilkan hologram 3D pada 60 frame per detik dengan warna penuh dan resolusi 1920 x 1080 menggunakan sekitar 620 kilobyte memori saat berjalan pada satu GPU yang umum tersedia. Peneliti dapat menjalankan sistem mereka pada iPhone 11 yang menghasilkan sekitar 1 hologram per detik, sedangkan pada Google (GOOGL ) Edge TPU sistem dapat menghasilkan 2 hologram per detik. Ini menunjukkan bahwa sistem dapat disesuaikan dengan smartphone, perangkat AR, dan perangkat VR secara umum. Sistem ini juga dapat memiliki aplikasi untuk pencetakan 3D volumetrik atau dalam desain mikroskop holografik.

Di masa depan, perbaikan pada teknologi ini dapat memperkenalkan perangkat keras dan perangkat lunak pelacakan mata, yang memungkinkan hologram untuk secara dinamis mengubah resolusi saat pengguna melihat tempat-tempat tertentu.