Peneliti Membuat Hologram 3D Berdaya AI Waktu Nyata di Smartphone

Smartphone segera dapat menghasilkan hologram 3D fotorealistik, berkat sebagian model AI yang dikembangkan oleh peneliti di MIT. Sistem AI yang dikembangkan oleh tim MIT menentukan cara terbaik untuk menghasilkan hologram dari serangkaian gambar input.

Peneliti dari MIT baru-baru ini merancang model AI yang memungkinkan pembangkitan hologram 3D fotorealistik. Teknologi ini dapat memiliki aplikasi untuk headset VR dan AR, dan hologram bahkan dapat dihasilkan oleh smartphone.

Tidak seperti tampilan 3D dan VR tradisional, yang hanya menghasilkan ilusi kedalaman dan yang dapat menyebabkan mual dan sakit kepala, tampilan holografik dapat dilihat oleh orang tanpa menyebabkan ketegangan mata. Hambatan besar menuju penciptaan media holografik adalah menangani data yang diperlukan untuk benar-benar menghasilkan hologram. Setiap hologram terdiri dari sejumlah besar data, diperlukan untuk menciptakan “kedalaman” yang dimiliki hologram. Karena itu, menghasilkan hologram secara tradisional memerlukan sejumlah besar daya komputasi. Untuk membuat teknologi holografik lebih praktis, tim MIT menerapkan jaringan saraf konvolusional dalam pada masalah ini, menciptakan jaringan yang dapat dengan cepat menghasilkan hologram berdasarkan gambar input.

Pendekatan tipikal untuk menghasilkan hologram sebenarnya menghasilkan banyak potongan hologram dan kemudian menggunakan simulasi fisik untuk menggabungkan potongan-potongan menjadi representasi lengkap dari objek atau gambar. Ini berbeda dari pendekatan tipikal yang digunakan untuk menghasilkan hologram. Dalam metode tradisional, gambar dipotong-potong dan serangkaian tabel pencarian digunakan untuk menggabungkan potongan-potongan hologram, karena tabel pencarian menandai batas-batas potongan hologram yang berbeda. Proses mendefinisikan batas-batas potongan hologram dengan tabel pencarian cukup memakan waktu dan intensif daya pengolahan.

Menurut IEEE Spectrum, Tim MIT merancang metode lain untuk menghasilkan hologram. Dengan menggunakan kekuatan jaringan pembelajaran dalam, mereka dapat memotong gambar menjadi potongan-potongan yang dapat dikompilasi ulang menjadi hologram menggunakan lebih sedikit “potongan”. Teknik baru ini memanfaatkan kemampuan jaringan saraf konvolusional untuk menganalisis gambar dan memisahkan gambar menjadi potongan-potongan diskrit. Metode baru ini untuk menganalisis dan memotong gambar secara signifikan mengurangi jumlah operasi total yang harus dilakukan oleh sistem.

Untuk merancang generator hologram berdaya AI, tim peneliti memulai dengan membangun database yang terdiri dari sekitar 4000 gambar yang dihasilkan komputer, dengan hologram 3D yang sesuai untuk setiap gambar. Jaringan saraf konvolusional dilatih pada dataset ini, mempelajari bagaimana setiap gambar dihubungkan dengan hologramnya dan cara terbaik untuk menggunakan fitur untuk menghasilkan hologram. Ketika sistem AI diberikan data yang tidak terlihat dengan informasi kedalaman, maka dapat menghasilkan hologram baru dari data tersebut. Informasi kedalaman disediakan melalui penggunaan sensor lidar atau tampilan multi-kamera dan dirender sebagai gambar yang dihasilkan komputer. Beberapa iPhone baru memiliki komponen ini, yang berarti mereka dapat menghasilkan hologram jika dihubungkan dengan tampilan yang tepat.

Sistem hologram berdaya AI baru memerlukan memori yang jauh lebih sedikit daripada metode klasik. Sistem dapat menghasilkan hologram 3D dengan 60 frame per detik dalam warna penuh dengan resolusi 1920 x 1080 menggunakan sekitar 620 kilobyte memori saat berjalan pada satu GPU yang umum tersedia. Peneliti dapat menjalankan sistem mereka pada iPhone 11, menghasilkan sekitar 1 hologram per detik, sedangkan pada Google Edge TPU sistem dapat menghasilkan 2 hologram per detik. Ini menunjukkan bahwa sistem dapat disesuaikan dengan smartphone, perangkat AR, dan perangkat VR secara umum. Sistem juga dapat memiliki aplikasi untuk pencetakan 3D volumetrik atau dalam desain mikroskop holografik.

Di masa depan, perbaikan teknologi ini dapat memperkenalkan perangkat keras dan perangkat lunak pelacakan mata, memungkinkan hologram untuk dinamis skala resolusi saat pengguna melihat tempat tertentu.