合成数据：改变面部图像中的种族以解决医学数据集中的偏见

加州大学洛杉矶分校的研究人员开发了一种方法来改变用于训练医疗机器学习系统的数据集中的面部明显种族，试图纠正许多常见数据集所遭受的种族偏见。

这个 新技术 能够以平均每帧 0.005 秒的速度生成逼真且生理学准确的合成视频，并有望帮助开发用于远程医疗诊断和监控的新诊断系统——这一领域在新冠肺炎疫情限制下得到了极大扩展。 该系统旨在提高远程光电体积描记法的适用性（重组PPG），一种计算机视觉技术，可评估面部视频内容，以非侵入性方式检测血液供应的体积变化。

资料来源：https://arxiv.org/pdf/2106.06007.pdf。 点击放大。

尽管这项工作利用了卷积神经网络（CNN），并结合了之前的研究代码 出版 英国杜伦大学于 2020 年推出的新应用程序旨在保留原始测试数据中的脉动信号，而不是像 2020 年的研究那样仅在视觉上改变数据的明显种族。

用于种族转变的 CNN

编码器-解码器系统的第一部分使用 Durham 竞赛传输模型，在 VGGFace2，利用达勒姆研究的先前白种人到非洲部分生成代理目标框架。 这产生了种族特征的平坦转移，但不包含代表患者血流状态的视觉生理指标的颜色和色调的变化。

杜伦大学 2020 年研究的转型管道，其中一部分已纳入加州大学洛杉矶分校的新研究中。 资料来源：https://arxiv.org/pdf/2004.08945.pdf。 点击放大。

第二个网络称为 PhysResNet (PRN)，提供 rPPG 组件。 PhysResNet 经过训练可以学习视觉外观以及定义皮下血量运动的颜色变化。

左下为2020年杜伦研究获得的结果，缺乏PPG信息。 中左，PPG 信息纳入种族转变。 点击放大。

即使在没有肤色增强的情况下，加州大学洛杉矶分校项目提出的架构也优于竞争性的 rPPG 技术，与使用以下优化的类似技术相比，性能提高了 31% MAE 和 RMSE.

加州大学洛杉矶分校网络成功保存了血量和分布信息。 点击放大。

加州大学洛杉矶分校的研究人员希望未来的工作能够承担更广泛的挑战，以纠正医学成像领域的种族偏见，并希望以后的方案能够输出更高分辨率的视频，因为所讨论的系统仅限于 80×80 像素分辨率– 相当适合远程医疗的局限性，但并不理想。

缺乏种族多样化的数据集

多年来，导致种族多样化数据集的经济和实际情况一直是医学研究的障碍。 数据往往是局部生成的，许多因素导致数据主体经常以白人为中心的同质性，其中包括研究所在城市的少数族裔人口构成，以及可能影响非白人主体出现程度的其他社会经济因素研究人员希望在西方数据集中具有更广泛的适用性。

在黑皮肤受试者比例较高的国家，经常缺乏收集数据所需的设备和资源。

来自《美国体质人类学杂志》的土著人民肤色世界地图。

目前，深色皮肤受试者在 rPPG 数据集中的代表性明显不足，分别占常用于此目的的三个主要数据库内容的 0%、5% 和 10%。

同质白人数据

2019年新研究 出版 in 科学 发现在美国医院护理中广泛传播的一种算法严重偏向于白人受试者。 研究发现，黑人在分诊和更深层次的住院治疗中被转介到专门护理的可能性较小。

马来西亚和澳大利亚研究人员当年的进一步研究 成熟 包括亚洲在内的世界许多地区的数据集生成中普遍存在的“自身种族偏见”问题。

规模和架构的潜在限制

导致种族数据集有限的一些限制本质上是务实的而非道德的。 贡献数据的多样性越广泛，它就可以更好地概括该数据中的主题，但训练程序在任何单一数据特征（包括种族）中直觉模式的可能性就越小，因为训练时间的百分比较小，每个可识别的数据子集都可以获得关注和资源。

由于数据大小的限制、批量大小的经济性以及潜在空间作为有限硬件资源的函数的实际限制，这可能导致模型广泛适用，但获得的具体结果较少。

在另一个极端，虽然可以通过将输入数据限制为更有限的特征集（包括种族）来获得有效且精细的结果，但结果可能会“过度拟合”有限的数据，并且不广泛适用，甚至可能跨越获得原始数据集主题的同一地理区域中看不见的主题。

用于 PPG 模拟的合成化身

加州大学洛杉矶分校的论文还指出了微软研究院在 2020 年使用种族灵活的合成化身的先前工作，该化身利用 3D 图像合成来创建富含 PPG 信息的面部视频。

由 Microsoft 研究人员创建的合成头像，带有包含 PPG 数据的光线追踪图像。 资料来源：https://arxiv.org/pdf/2010.12949.pdf。 点击放大。