Peneliti Semakin Dekat untuk Mencapai AI yang “Cerdas Emosional”

Peneliti di Japan Advanced Institute of Science and Technology telah mengintegrasikan sinyal biologis dengan metode pembelajaran mesin untuk memungkinkan AI yang “cerdas emosional”. Kecerdasan emosional dapat menyebabkan interaksi manusia-mesin yang lebih alami, kata para peneliti. 

Studi baru ini diterbitkan di jurnal IEEE Transactions on Affective Computing.

Mencapai Kecerdasan Emosional

Teknologi pengenalan ucapan dan bahasa seperti Alexa dan Siri terus berkembang, dan penambahan kecerdasan emosional dapat membawa mereka ke tingkat berikutnya. Ini berarti sistem ini dapat mengenali keadaan emosional pengguna, serta memahami bahasa dan menghasilkan respons yang lebih empatik. 

“Analisis sentimen multimodal” adalah sekelompok metode yang membuat standar emas untuk sistem dialog AI dengan deteksi sentimen, dan mereka dapat menganalisis keadaan psikologis seseorang dari ucapan, ekspresi wajah, warna suara, dan postur mereka. Mereka fundamental untuk menciptakan sistem AI yang berpusat pada manusia dan dapat menyebabkan pengembangan AI yang cerdas emosional dengan “kemampuan di luar manusia”. Kemampuan ini akan membantu AI memahami sentimen pengguna sebelum membentuk respons yang tepat. 

Menganalisis Sinyal yang Tidak Teramati

Metode estimasi saat ini sebagian besar berfokus pada informasi yang dapat diamati, yang meninggalkan informasi dalam sinyal yang tidak teramati, yang dapat mencakup sinyal fisiologis. Jenis sinyal ini memiliki banyak data berharga yang dapat meningkatkan estimasi sentimen. 

Dalam studi ini, sinyal fisiologis ditambahkan ke analisis sentimen multimodal untuk pertama kalinya. Tim peneliti yang melakukan studi ini termasuk Associate Professor Shogo Okada dari Japan Advanced Institute of Science and Technology (JSAIT), dan Prof. Kazunori Komatani dari Institute of Scientific and Industrial Research di Osaka University. 

“Manusia sangat baik dalam menyembunyikan perasaan mereka,” kata Dr. Okada. “Keadaan emosional internal pengguna tidak selalu tercermin secara akurat oleh konten dialog, tetapi karena sulit bagi seseorang untuk mengontrol sinyal biologisnya secara sadar, seperti detak jantung, maka mungkin berguna untuk menggunakan ini untuk memperkirakan keadaan emosional mereka. Ini dapat membuat AI dengan kemampuan estimasi sentimen yang di luar manusia.” 

Studi tim ini melibatkan analisis 2.468 pertukaran dengan dialog AI yang diperoleh dari 26 peserta. Dengan data ini, tim dapat memperkirakan tingkat kenikmatan yang dialami pengguna selama percakapan. 

Pengguna kemudian diminta untuk menilai seberapa menyenangkan atau membosankan percakapan itu. Dataset dialog multimodal yang disebut “Hazumi1911” digunakan oleh tim. Dataset ini menggabungkan pengenalan ucapan, sensor warna suara, deteksi postur, dan ekspresi wajah dengan potensial kulit, yang merupakan bentuk respons fisiologis. 

“Dibandingkan dengan semua sumber informasi terpisah, informasi sinyal biologis terbukti lebih efektif daripada suara dan ekspresi wajah,” lanjut Dr. Okada. “Ketika kami menggabungkan informasi bahasa dengan informasi sinyal biologis untuk memperkirakan keadaan internal yang dinilai sendiri saat berbicara dengan sistem, kinerja AI menjadi setara dengan manusia.” 

Temuan baru ini menunjukkan bahwa deteksi sinyal fisiologis pada manusia dapat menyebabkan sistem dialog AI yang sangat cerdas emosional. Sistem AI yang cerdas emosional dapat digunakan untuk mengidentifikasi dan memantau penyakit mental dengan mendeteksi perubahan dalam keadaan emosional sehari-hari. Kasus penggunaan lainnya adalah dalam pendidikan, di mana mereka dapat mengidentifikasi apakah seorang pembelajar tertarik dengan topik atau bosan, yang dapat digunakan untuk mengubah strategi mengajar.