Gerakan Mata Simulasi Membantu Melatih Metaverse

Insinyur komputer di Duke University telah mengembangkan mata virtual yang dapat mensimulasikan bagaimana manusia melihat dunia. Mata virtual ini sangat akurat sehingga dapat digunakan untuk melatih program realitas virtual dan realitas tambahan. Mereka akan membuktikan sangat bermanfaat bagi pengembang yang ingin membuat aplikasi di metaverse.

Hasilnya akan dipresentasikan pada 4-6 Mei di Konferensi Internasional tentang Pemrosesan Informasi di Jaringan Sensor (PSN).

Mata virtual baru ini disebut EyeSyn.

Melatih Algoritma untuk Bekerja seperti Mata

Maria Gorlatova adalah Asisten Profesor Jaringan Nortel di Departemen Teknik Elektro dan Komputer di Duke.

“Jika Anda ingin mendeteksi apakah seseorang membaca buku komik atau literatur lanjutan hanya dengan melihat matanya, Anda bisa melakukannya,” kata Gorlatova.

“Tapi melatih algoritma seperti itu memerlukan data dari ratusan orang yang mengenakan headset selama berjam-jam,” lanjut Gorlatova. “Kami ingin mengembangkan perangkat lunak yang tidak hanya mengurangi kekhawatiran privasi yang terkait dengan mengumpulkan data ini, tetapi juga memungkinkan perusahaan kecil yang tidak memiliki sumber daya seperti itu untuk masuk ke dalam permainan metaverse.”

Mata manusia dapat melakukan banyak hal, seperti menunjukkan apakah kita bosan atau bersemangat, di mana fokus konsentrasi, atau jika kita ahli dalam tugas tertentu.

“Di mana Anda memprioritaskan visi Anda mengatakan banyak tentang Anda sebagai orang, juga,” kata Gorlatova. “Itu dapat mengungkapkan bias seksual dan rasial, minat yang tidak ingin kita bagikan dengan orang lain, dan informasi yang mungkin tidak kita ketahui tentang diri kita sendiri.”

Data gerakan mata sangat berguna bagi perusahaan yang membangun platform dan perangkat lunak di metaverse. Ini dapat memungkinkan pengembang untuk menyesuaikan konten dengan respon keterlibatan atau mengurangi resolusi di penglihatan periferal, yang dapat menghemat daya komputasi.

Tim ilmuwan komputer, yang termasuk mantan asisten postdoktor Guohao Lan dan mahasiswa PhD saat ini Tim Scargill, berusaha mengembangkan mata virtual untuk meniru bagaimana manusia rata-rata merespons berbagai stimulus suara. Untuk melakukan ini, mereka melihat literatur ilmu kognitif yang menjelajahi bagaimana manusia melihat dunia dan memproses informasi virtual.

Lan sekarang adalah asisten profesor di Delft University of Technology di Belanda.

“Jika Anda memberikan EyeSyn banyak input yang berbeda dan menjalankannya beberapa kali, Anda akan membuat dataset gerakan mata sintetis yang cukup besar untuk melatih klasifikasi (pembelajaran mesin) untuk program baru,” kata Gorlatova.

Menguji Sistem

Peneliti menguji akurasi mata sintetis dengan data yang tersedia secara publik. Mata tersebut pertama kali dianalisis untuk menganalisis video Dr. Anthony Fauci yang berbicara dengan media selama konferensi pers. Tim kemudian membandingkannya dengan data dari gerakan mata pemirsa yang sebenarnya. Mereka juga membandingkan dataset virtual mata sintetis yang melihat karya seni dengan dataset yang sebenarnya dikumpulkan dari orang-orang yang melihat melalui museum seni virtual. Hasilnya menunjukkan bahwa EyeSyn dapat menyerupai pola gaze yang sebenarnya dan mensimulasikan cara berbeda orang-orang bereaksi.

Gorlatova mengatakan bahwa hasil ini menunjukkan bahwa mata virtual cukup baik untuk digunakan perusahaan sebagai baseline untuk melatih platform dan perangkat lunak metaverse baru.

“Data sintetis saja tidak sempurna, tapi itu adalah titik awal yang baik,” kata Gorlatova. “Perusahaan kecil dapat menggunakannya daripada menghabiskan waktu dan uang untuk membangun dataset dunia nyata (dengan subyek manusia). Dan karena personalisasi algoritma dapat dilakukan pada sistem lokal, orang tidak perlu khawatir tentang data gerakan mata pribadi mereka menjadi bagian dari database besar.”