研究人员更接近实现“情感智能”AI

日本_advanced_Institute_of_Science_and_Technology的研究人员将生物信号与机器学习方法集成，以实现“情感智能”AI。研究人员说，情感智能可以带来更自然的人机交互。

该研究发表在 IEEE_Transactions_on_Affective_Computing期刊上。

实现情感智能

语音和语言识别技术，如Alexa和Siri，不断演进，添加情感智能可以将它们提升到下一个水平。这意味着这些系统可以识别用户的情绪状态，以及理解语言和生成更富有同情心的响应。

“多模态情感分析”是一组方法，是AI对话系统中情感检测的金标准，可以自动分析一个人的心理状态，从他们的语音、面部表情、声音色彩和姿势中。它们是创建以人为中心的AI系统的基础，可以带来开发情感智能AI的“超人类能力”。这些能力可以帮助AI理解用户的情绪，然后形成适当的响应。

分析不可观察信号

当前的估计方法主要关注可观察信息，这忽略了不可观察信号中的信息，包括生理信号。这些类型的信号包含了大量有价值的数据，可以改善情感估计。

在这项研究中，生理信号首次被添加到多模态情感分析中。进行这项研究的研究团队包括日本_advanced_Institute_of_Science_and_Technology（JSAIT）的副教授Shogo Okada和大阪大学的研究所教授Kazunori Komatani。

“人类很擅长隐藏自己的情绪，”Okada博士说。“用户的内部情绪状态并不总是被对话内容准确反映，但是由于人很难有意识地控制自己的生物信号，例如心率，因此使用这些信号来估计他们的情绪状态可能很有用。这可以使AI具有超出人类的情感估计能力。”

该团队的研究涉及分析来自26名参与者的2,468次对话AI交互。使用这些数据，团队可以估计用户在对话期间的愉悦程度。

然后要求用户评估对话的愉悦度或枯燥度。该团队使用了名为“Hazumi1911”的多模态对话数据集，该数据集将语音识别、声音色彩传感器、姿势检测和面部表情与皮肤电位相结合，皮肤电位是一种生理反应传感。

“比较所有单独的信息来源，生物信号信息被证明比语音和面部表情更有效，”Okada博士继续说。“当我们将语言信息与生物信号信息结合起来来估计与系统交谈时的自我评估内部状态时，AI的性能变得与人类相当。”

新的发现表明，人类的生理信号检测可以带来高情感智能的AI对话系统。情感智能AI系统可以用来识别和监测精神疾病，通过感知日常情绪状态的变化。另一个可能的用例是在教育领域，它们可以识别学习者是否对某个主题感兴趣或感到无聊，这可以用来改变教学策略。