通过人工智能面部表情评估诊断心理健康障碍

德国研究人员开发了一种根据计算机视觉解读的面部表情来识别精神障碍的方法。

新方法不仅可以区分未受影响和受影响的受试者，还可以正确区分抑郁症和精神分裂症，以及患者目前受疾病影响的程度。

研究人员提供了一张合成图像，代表测试的对照组（下图左侧）和患有精神障碍的患者（右侧）。 多个人的身份混合在图像中，并且两张图像都没有描绘特定的个人：

资料来源：https://arxiv.org/pdf/2208.01369.pdf

患有情感障碍的人往往会扬起眉毛、目光呆滞、脸肿、嘴巴表情下垂。 为了保护患者隐私，这些合成图像是唯一可用于支持新工作的图像。

到目前为止，面部表情识别主要被用作基本诊断的潜在工具。 相反，新方法提供了一种可能的方法来评估患者在整个治疗过程中的进展，或者在他们自己的家庭环境中进行门诊监测（可能，尽管论文没有建议这样做）。

论文指出*：

“情感计算超越了抑郁症的机器诊断，它是在 以前 研究，我们表明，通过计算机视觉估计的可测量情感状态比纯粹的分类包含更多的信息。

研究人员将这种技术称为 光电脑电图 （OEG），一种完全被动的方法，通过面部图像分析而不是局部传感器或基于射线的医学成像技术来推断精神状态。

作者得出的结论是，OEG 可能不仅仅是诊断和治疗的辅助辅助手段，而且从长远来看，它可能替代治疗流程中某些评估部分，并且可以减少患者治疗所需的时间。监测和初步诊断。 他们指出：

“总体而言，与纯粹基于临床观察者评级的问卷调查相比，机器预测的结果显示出更好的相关性，而且也是客观的。” 计算机视觉方法的测量时间相对较短（几分钟），这一点也值得注意，而临床访谈有时需要几个小时。

然而，作者热衷于强调这一领域的患者护理是一种多模式的追求，除了面部表情之外，还需要考虑患者状态的许多其他指标，并且现在认为这样的系统可以实现还为时过早。完全替代治疗精神障碍的传统方法。 尽管如此，他们认为 OEG 是一种有前途的辅助技术，特别是作为一种对患者处方方案中药物治疗效果进行分级的方法。

纸 标题为 情感障碍的面貌，由来自私人和公共医学研究部门的广泛机构的八名研究人员组成。

时间

（这篇新论文主要讨论了目前在精神障碍患者诊断中流行的各种理论和方法，而对测试和各种实验中使用的实际技术和过程的关注较少）

数据收集在亚琛大学医院进行，有 100 名性别平衡的患者和 50 名未受影响的对照组。 这些患者包括35名精神分裂症患者和65名抑郁症患者。

对于测试组的患者部分，在第一次住院时和第二次出院前进行初始测量，平均间隔为 12 周。 对照组参与者是从当地人群中任意招募的，他们自己的诱导和“出院”反映了实际患者的情况。

实际上，此类实验最重要的“基本事实”必须是通过批准的标准方法获得的诊断，OEG 试验就是这种情况。

然而，数据收集阶段获得了更适合机器解释的额外数据：使用以 90 fps 运行的 Logitech c270 消费者网络摄像头分三个阶段捕获平均 25 分钟的访谈。

第一场会议包括标准 汉密尔顿采访 （基于研究 起源 1960 年左右），例如通常在入院时提供的信息。 在第二阶段，不同寻常的是，患者（及其对照组的同行）被展示 视频 一系列面部表情，并要求模仿每一个，同时陈述自己对当时精神状况的估计，包括情绪状态和强度。 这个阶段持续了大约十分钟。

在第三阶段也是最后阶段，参与者观看了 96 个演员的视频，每个视频持续十多秒，显然在讲述强烈的情感经历。 然后，参与者被要求评估视频中所表现的情绪和强度，以及他们自己相应的感受。 这个阶段持续了大约15分钟。

付款方式

为了获得所捕获面部的平均数（参见上面第一张图片），使用 表情网 框架。 随后，通过以下方式确定面部形状和平均面部形状之间的对应关系： 分段仿射变换.

维度情感识别 和 眼睛注视预测 对前一阶段确定的每个地标部分进行了检查。

此时，基于音频的情绪推断表明患者的精神状态已经达到了可教导的时刻，任务是捕捉相应的面部图像并发展其情感状态的维度和领域。

（在上面的视频中，我们看到了研究人员在新工作中使用的维度情感识别技术的作者开发的工作）。

针对每一帧数据计算材料的形状测地线，并进行奇异值分解（SVD) 减少应用。 由此产生的时间序列数据最终被建模为 VAR 过程，然后通过 SVD 进一步减少 地图适应.

测地线缩减过程的工作流程。

EmoNet 网络中的效价和唤醒值也通过 VAR 建模和序列核计算进行类似处理。

实验

如前所述，这项新工作主要是一篇医学研究论文，而不是标准的计算机视觉提交内容，我们建议读者阅读论文本身，以深入了解研究人员进行的各种 OEG 实验。

尽管如此，总结一下其中的一些选择：

情感障碍线索

这里，40 名参与者（不是来自对照组或患者组）被要求对一些问题的评估平均面孔（见上文）进行评分，但不被告知数据的背景。 问题是：

两张脸的性别是什么？
面孔是否具有吸引力？
这些面孔是值得信赖的人吗？
您如何评价这些人的行动能力？
两张脸的表情又是怎样的呢？
两张脸的皮肤是什么样的？
眼神的印象是什么？
两张脸有没有嘴角下垂？
两张脸有凸起的眼棕色吗？
这些人是临床患者吗？

研究人员发现这些盲目评估与处理数据的注册状态相关：

“平均面孔”调查的箱线图结果。

临床评估

为了衡量 OEG 在初始评估中的效用，研究人员首先评估了标准临床评估本身的有效性，测量诱导和第二阶段（此时患者通常正在接受基于药物的治疗）之间的改善水平。

研究人员得出结论，通过这种方法可以很好地评估状态和症状严重程度，相关性达到 0.82。 然而，事实证明，精神分裂症或抑郁症的准确诊断更具挑战性，标准方法在早期阶段只能获得-0.03的分数。

作者评论：

“本质上，使用通常的问卷调查可以相对较好地确定患者的状况。 然而，这基本上就是从中可以得出的全部结论。 没有表明某人是否患有抑郁症或精神分裂症。 这同样适用于治疗反应。

机器过程的结果能够在这个问题领域获得更高的分数，并且在初始患者评估方面获得可比较的分数：

数字越高越好。 左边是测试架构四个阶段基于标准访谈的评估准确性结果； 右边是基于机器的结果。

疾病诊断

通过静态面部图像区分抑郁症和精神分裂症并不是一件小事。 经过交叉验证，机器流程能够在试验的各个阶段获得高精度分数：

在其他实验中，研究人员能够证明 OEG 可以通过药物治疗和疾病的一般治疗来感知患者的改善：

对数据收集的经验先验知识的因果推断调整了药物治疗，以便观察面部动态的生理调节的恢复。 在临床处方期间无法观察到这样的回归。

“目前尚不清楚这种基于机器的建议是否确实会带来显着更好的治疗成功。 特别是因为人们知道药物在很长一段时间内可能产生哪些副作用。

“然而，[这些]为患者量身定制的方法将打破日常生活中仍然主要使用的常见分类分类图的障碍。”

* 我将作者的内联引用转换为超链接。

首次发布于 3 年 2022 月 XNUMX 日。