Tim Peneliti Mengembangkan Teknik AI untuk Deteksi Ekspresi Wajah 3D

Sebuah tim peneliti gabungan yang dipimpin oleh Profesor Ki-Hun Jeong dan Doheon Lee dari Korea Advanced Institute of Science and Technology (KAIST) telah mengembangkan sebuah teknik baru untuk deteksi ekspresi wajah dengan menggabungkan teknik kamera cahaya-dekat dengan kecerdasan buatan (AI).

Penelitian ini dipublikasikan di Advanced Intelligent Systems.

Kamera Light-Field

Kamera light-field mengandung array lensa mikro di depan sensor gambar, dan ini memungkinkan mereka untuk masuk ke dalam ponsel pintar. Pada saat yang sama, mereka masih dapat memperoleh informasi spasial dan arah cahaya dengan satu tembakan.

Teknik pengambilan gambar ini digunakan untuk merekonstruksi gambar dalam banyak cara, seperti multiview, refocusing, dan akuisisi gambar 3D.

Namun, teknik ini memiliki beberapa keterbatasan. Kamera light-field yang ada telah bergelut untuk memberikan kontras gambar yang akurat dan rekonstruksi 3D pada waktu-waktu tertentu karena bayangan yang disebabkan oleh sumber cahaya eksternal di lingkungan.

Tim peneliti dapat menstabilkan akurasi rekonstruksi gambar 3D yang bergantung pada cahaya lingkungan, dan teknik ini memungkinkan mereka untuk mengatasi keterbatasan kamera light-field yang ada. Mereka mengembangkan kamera baru yang dioptimalkan untuk rekonstruksi gambar 3D ekspresi wajah, dan mereka menggunakannya untuk memperoleh gambar rekonstruksi 3D berkualitas tinggi dari ekspresi wajah dengan berbagai emosi. Mereka dapat mencapai ini terlepas dari kondisi pencahayaan lingkungan.

Pembelajaran Mesin untuk Membedakan Ekspresi

Tim kemudian menggunakan pembelajaran mesin untuk membedakan ekspresi wajah dalam gambar 3D yang diperoleh, yang mencapai tingkat akurasi 85%. Mereka juga menghitung ketergantungan informasi jarak, yang bervariasi dengan ekspresi wajah dalam gambar 3D, untuk mengidentifikasi informasi yang digunakan kamera light-field untuk membedakan ekspresi manusia.

“Kamera light-field sub-miniatur yang dikembangkan oleh tim peneliti ini memiliki potensi untuk menjadi platform baru untuk menganalisis ekspresi wajah dan emosi manusia secara kuantitatif,” kata Profesor Ki-Hun Jeong.

Penelitian ini dapat memiliki dampak besar pada berbagai industri.

“Ini dapat diterapkan dalam berbagai bidang, termasuk perawatan kesehatan mobile, diagnosis lapangan, kognisi sosial, dan interaksi manusia-mesin,” katanya.