通过人工智能面部表情评估来诊断精神健康障碍

德国的研究人员开发了一种基于计算机视觉解释面部表情来识别精神障碍的方法。

这种新方法不仅可以区分未受影响的和受影响的对象，还可以正确区分抑郁症和精神分裂症，以及患者当前受疾病影响的程度。

研究人员提供了一张合成图像，代表他们测试的对照组（图像左侧）和患有精神障碍的患者（右侧）。图像中多个人的身份被混合，且没有图像描绘特定的个体：

来源：https://arxiv.org/pdf/2208.01369.pdf

患有情感障碍的人往往有抬起的眉毛、呆滞的凝视、肿胀的脸和垂头丧气的嘴巴表情。为了保护患者隐私，这些合成图像是唯一可用的支持新工作的图像。

到目前为止，面部情感识别主要被用作潜在的基本诊断工具。这种新方法提供了一种可能的方法来评估患者在治疗过程中的进展，或者（虽然论文中没有提到）在他们的家庭环境中进行门诊监测。

论文指出*：

‘超越机器对抑郁症的诊断，在情感计算中已经开发了以前研究，我们展示了通过计算机视觉估计的可测量的情感状态包含的信息远远超过纯粹的分类分类。’

研究人员将这种技术称为光电子脑图（Opto Electronic Encephalography，OEG），这是一种完全被动的方法，通过面部图像分析来推断精神状态，而不是使用局部传感器或基于射线的医疗成像技术。

作者得出结论，OEG不仅可以作为诊断和治疗的次要辅助工具，而且在长期内，它可能取代治疗流程中的某些评估部分，并减少患者监测和初始诊断所需的时间。他们指出：

‘总体而言，机器预测的结果与基于纯粹临床观察者评分的问卷相比具有更好的相关性，并且是客观的。计算机视觉方法的相对较短的测量时间（仅几分钟）也值得注意，而临床采访有时需要几个小时。’

然而，作者强调，患者护理在这个领域是一个多模式的追求，除了面部表情外，还有许多其他指标需要考虑，他们认为现在还为时过早，认为这种系统可以完全取代传统的精神障碍方法。尽管如此，他们认为OEG是一种有前途的辅助技术，特别是在评估药物治疗对患者的影响方面。

论文题为情感障碍的面部，由八位研究人员共同撰写，他们来自私营和公共医疗研究领域的各个机构。

数据

(新论文主要处理当前在患者精神障碍诊断中流行的各种理论和方法，较少关注测试和实验中使用的实际技术和过程)

数据收集在阿亨大学医院进行，共有100名性别平衡的患者和50名非受影响人群的对照组。患者包括35名精神分裂症患者和65名抑郁症患者。

对于患者部分的测试组，初始测量是在入院时进行的，第二次测量是在他们出院之前，平均间隔时间为12周。对照组的参与者从当地人口中随机招募，他们的入院和“出院”与实际患者的入院和出院相镜像。

实际上，这样的实验中最重要的“真实性”必须是通过批准和标准方法获得的诊断，在OEG试验中也是如此。

然而，数据收集阶段获得了更多适合机器解释的数据：平均90分钟的采访被捕获，共三个阶段，使用Logitech c270消费者网络摄像头，帧率为25fps。

第一阶段包括标准的汉密尔顿访谈（基于1960年左右的研究），如通常在入院时所做的那样。在第二阶段，患者（以及对照组中的对应人员）被展示了一系列面部表情的视频，并被要求模仿每一个表情，同时陈述他们自己的估计他们的精神状态，包括情绪状态和强度。这一阶段持续了大约10分钟。

在第三和最后一个阶段，参与者被展示了96个视频，视频中有演员在大约10秒的时间内讲述了强烈的情感经历。然后，参与者被要求评估视频中代表的情感和强度，以及他们自己的对应感受。这一阶段持续了大约15分钟。

方法

为了得到捕获的面部的平均值（见上图），使用EmoNet框架捕获情感地标。然后，通过分段仿射变换确定面部形状与平均（平均）面部形状之间的对应关系。

在每个之前阶段确定的面部地标上进行了维度情感识别和眼神预测。

在这一点上，基于音频的情感推断表明，患者的精神状态中已经出现了一个可教的时刻，任务是捕获相应的面部图像并开发他们的情感状态的这一维度和领域。

(上面的视频展示了作者为新工作开发的维度情感识别技术)

计算了每一帧数据的形状测地线，并应用了奇异值分解（SVD）降维。得到的时间序列数据最终被建模为VAR过程，然后通过SVD进一步降维，然后进行MAP适应。

形状测地线过程的工作流程

EmoNet网络中的情感和唤醒值也以类似的方式处理，使用VAR建模和序列核计算。

实验

如前所述，这项新工作主要是一篇医学研究论文，而不是一篇标准的计算机视觉论文，我们将读者指向论文本身，以获取对多样化的OEG实验的深入介绍。

尽管如此，为了总结一些实验的结果：

情感障碍线索

这里，40名参与者（不属于对照组或患者组）被要求对评估的平均面部（见上图）进行评分，回答一系列问题，没有被告知数据的背景。问题是：

两个面部的性别是什么？
面部是否具有吸引人的外貌？
面部是否值得信任？
面部是否具有行动能力？
面部的情绪是什么？
面部的皮肤外观是什么？
面部的凝视印象是什么？
面部是否具有下垂的嘴角？
面部是否具有扬起的眉毛？
这些人是否是临床患者？

研究人员发现，这些盲评估与处理数据的注册状态相关：

平均面部调查的箱线图结果

临床评估

为了衡量OEG在初始评估中的实用性，研究人员首先评估了标准临床评估的有效性，测量了从入院到第二阶段（通常患者正在接受药物治疗）的改善程度。

研究人员得出结论，状态和症状严重程度可以通过这种方法很好地评估，达到0.82的相关性。然而，准确诊断抑郁症或精神分裂症更加具有挑战性，标准方法在这一早期阶段仅获得-0.03的评分。

作者评论说：

‘本质上，患者的状态可以使用常规问卷相对较好地确定。然而，这基本上是可以从中得出的所有结论。一个人是否患有抑郁症或精神分裂症并没有体现出来。同样适用于治疗反应。’

机器过程的结果能够在这个问题领域获得更高的评分，并且在初始患者评估方面获得了可比的评分：

更高的数字表示更好的结果。左侧为标准面谈评估的准确性结果，右侧为机器评估结果

障碍诊断

通过静态面部图像区分抑郁症和精神分裂症并非易事。交叉验证后，机器过程能够在试验的各个阶段获得高准确率：

在其他实验中，研究人员能够证明OEG可以感知到患者通过药物治疗改善的证据，以及一般的疾病治疗：

‘经验数据的因果推断调整了药物治疗，以观察到面部动态的生理调节的返回。这种返回在临床处方期间无法观察到。 ‘

‘目前尚不清楚，基于机器的推荐是否确实会导致治疗的显著更好成功。特别是因为众所周知，药物在长期内会产生什么样的副作用。 ‘

‘然而，这种患者量身定制的方法将会打破目前在日常生活中仍然占主导地位的常见分类模式的壁垒。’

* 我将作者的内联引用转换为超链接。

首次发表于2022年8月3日。