合成数据：改变面部图像中的种族以解决医学数据集中的偏见

加州大学洛杉矶分校（UCLA）的研究人员开发了一种方法，用于改变用于训练医学机器学习系统的数据集中的面部种族，以解决许多常见数据集中的种族偏见问题。

新的技术能够以每帧0.005秒的平均速度产生逼真和生理学上准确的合成视频，希望能够帮助开发新的远程医疗诊断和监测系统——一个在COVID限制下大大扩展的领域。该系统旨在提高远程光电血容量测量（rPPG）的适用性，rPPG是一种计算机视觉技术，用于评估面部视频内容以检测血液供应的体积变化的方式。

来源：https://arxiv.org/pdf/2106.06007.pdf. 点击放大.

虽然这项工作利用卷积神经网络（CNN），并纳入了英国达勒姆大学2020年发表的前期研究代码，但新的应用程序旨在保留原始测试数据中的脉冲信号，而不仅仅是改变数据的外观种族，如2020年的研究所做的那样。

CNN用于种族转换

编码器-解码器系统的第一部分使用达勒姆大学的种族转移模型，该模型预先训练在VGGFace2上，生成具有前期高加索人到非洲人组件的代理目标帧。该过程产生平坦的种族特征转移，但不包含代表患者血液流动状态的视觉生理指标的颜色和色调变化。

达勒姆大学2020年研究的转换管道，部分纳入新的UCLA研究。 来源：https://arxiv.org/pdf/2004.08945.pdf. 点击放大.

第二个网络，称为PhysResNet（PRN），提供rPPG组件。PhysResNet被训练来学习视觉外观和定义皮下血容量运动的颜色变化。

左下，2020年达勒姆大学研究的结果，缺乏PPG信息。中左，PPG信息整合到种族转换中。 点击放大.

UCLA项目提出的架构即使在没有皮肤颜色增强的情况下也优于其他rPPG技术，代表了相对于使用MAE和RMSE优化的类似技术的31%改进。

UCLA网络成功保留血容量和分布信息。 点击放大.

UCLA研究人员希望未来工作将解决医学图像领域种族偏见的更广泛挑战，并希望后续方案能够输出更高分辨率的视频，因为该系统仅限于80×80像素分辨率——适合远程医疗的限制，但不是理想的。

缺乏种族多样化数据集

导致种族多样化数据集的经济和实际情况已经成为医学研究的障碍多年。数据往往是本地生成的，许多因素导致数据对象的频繁高加索人中心同质性，包括研究发生的城市中少数民族人口的组成以及可能影响非白人受试者在西方数据集中的出现程度的其他社会经济因素。

在黑皮肤受试者比例较高的国家，收集数据所需的设备和资源通常缺乏。

美洲原住民的皮肤色调世界地图，来自美国人类学杂志。

目前，黑皮肤受试者在rPPG数据集中明显欠代表，占三大主要数据库的0％、5％和10％。

同质化高加索数据

2019年发表在《科学》杂志上的新研究发现，一种在美国医院护理中广泛使用的算法严重偏向高加索人受试者。该研究发现，黑人不太可能被转介到专科护理和更深层次的医院入院。

同年，马来西亚和澳大利亚的研究人员进行的进一步研究确定了“自身种族偏见”在全球许多地区（包括亚洲）中的数据集生成的普遍问题。

规模和架构的潜在局限性

导致种族多样化数据集的一些限制是实际的，而不是道德的。数据的多样性越广泛，它就越能推广到所呈现的数据对象，但由于训练时间、注意力和资源的限制，对于数据的任何一个特征（包括种族），可用的训练时间、注意力和资源的百分比就越小。

这可能会导致模型具有广泛的适用性，但由于数据大小、批次大小的经济性和有限硬件资源的实际限制，获得的结果不够具体。

在另一个极端，虽然通过限制输入数据到特征集（包括种族）可以获得有效和细致的结果，但这些结果可能过度拟合到有限的数据，并且可能不适用于同一地理区域中从原始数据集获得的未见受试者。

PPG模拟的合成头像

UCLA论文还提到了微软研究2020年关于使用种族可塑性合成头像的先前工作，该工作利用3D图像合成创建富含PPG信息的面部视频。

微软研究创建的合成头像，具有包含PPG数据的光线追踪图像。 来源：https://arxiv.org/pdf/2010.12949.pdf. 点击放大.