健康防护
视网膜静脉揭示种族，扩大人工智能种族偏见的范围
受到最近揭露的医学人工智能成像的启发 可以透露种族美国和英国的一个研究联盟进行了一项研究，研究视网膜静脉模式是否表明种族，并得出结论：情况确实如此，人工智能能够根据视网膜图像预测父母报告的婴儿种族。不会向研究它们的人类医生透露种族身份，此前人们认为它们不存在种族披露的可能性。
该组织表示担心，医学成像中这种种族分层的额外载体可能会增加医疗保健中人工智能系统使用中的偏见。
来自黑白主体的视网膜图像。 上图是每个种族的全彩视网膜眼底图像，已经具有与颜色倾向相关的种族区分特征。 根据新报告，下面的视网膜血管图源自这些图像，本应“平整”这些种族锚标记，但实际上确实包含种族识别特征。 资料来源：https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf
作者进一步指出以下可能性： 优网，机器学习框架已经定义了基于人工智能的医疗保健领域，并接受了培训 以白人为主的对象*，可能会对观察到的现象产生影响。 然而，作者声称他们是 “目前还无法仅根据 U-Net 假设来完全解释这些发现”.
对项目相关的调查结果发表评论 GitHub存储库，作者指出：
“人工智能可以从灰度 RVM 中检测种族 [视网膜血管图] 不被认为包含种族信息。 对这些发现的两个可能的解释是：黑人和白人婴儿的视网膜血管在生理上存在差异，或者 U-Net 对不同眼底色素沉着的视网膜血管系统进行了不同的分割。
“……无论哪种方式，其含义都是一样的：人工智能算法有可能在实践中表现出种族偏见，即使从底层图像中删除此类信息的初步尝试似乎是成功的。”
纸 标题为 非色盲：人工智能通过黑白视网膜血管分割预测种族身份，是来自美国五个机构和研究部门以及英国一个机构和研究部门的医生和研究人员之间的平等合作。
参与该研究联盟的医生包括 房车陈保罗，医学博士、理学硕士、FACS、眼科委员会认证，以及美国外科医生学会会员； 迈克尔·F·蒋医学博士，马里兰州贝塞斯达国立卫生研究院国家眼科研究所所长； 和 J·彼得·坎贝尔医学博士公共卫生硕士，波特兰俄勒冈健康与科学大学医学院眼科副教授。
的眼中有它
该论文指出，先前已证明的人为偏见有可能传播到人工智能医疗系统中，尤其是在 眼睛的研究*。 视网膜眼底图像（RFI，参见上面的图像比较）用于评估眼部疾病，是全彩色图像，包含足够的色素沉着信息来识别种族。
灰度视网膜血管图 (RVM) 丢弃了大部分信息，以便提取可能定义许多疾病状况的毛细血管的潜在模式。 人们一直认为，在这种蒸馏水平上，这种还原性的医学图像中不存在任何种族特征。
作者使用从接受潜在致盲疾病筛查的婴儿获得的 RFI（全彩色视网膜图像）数据集测试了这一假设。 作者指出，在个人咨询之外、远程医疗和其他远程诊断环境中，对此类图像的筛查越来越重要，并且越来越成为机器学习分析的主题。
这项新研究检验了各种类型的种族识别全彩图像的简化版本是否保留了婴儿父母所报告的种族信息，并发现即使是最具信息破坏性的 RFI 蒸馏（阈值化、骨架化和二值化）可以实现某种程度的种族识别。
数据和方法
作为多中心 i-ROP 队列研究的一部分，245 年 2012 月至 2020 年 50 月期间收集的 20 名婴儿的数据分别按 30/XNUMX/XNUMX 分为训练、验证和测试数据集，并保留种族的自然分布尽可能在源数据允许的情况下。
彩色 RFI 被简化为上述三种简化的成像方式，因此技术上应该从数据中删除“明显的”种族标记。
使用 PyTorch 训练多个卷积神经网络 (CNN) 以实现二元分类（“黑人”/“白人”，基于父母报告的种族）。 CNN 在所有版本的图像（从 RFI 到骨架化版本）上运行数据，应用通常的随机翻转和旋转，得出的图像分辨率为 224×244 像素。
这些模型使用随机梯度下降法进行了最多十个时期的训练，学习率为 0.001 的恒定值，并且在五个时期后识别出感知收敛的情况下实施提前停止并停止训练（即，模型不会因为进一步的训练而变得更加准确）训练）。
由于白人和黑人受试者之间存在人口统计学上的自然不平衡，因此进行了补偿，以确保少数族裔来源不会被系统地视为异常值，并对结果进行交叉检查，以验证整个实验中没有发生数据泄漏。
研究中不同阈值耐受水平的视网膜图样本。
成果
作者表示，从全彩 RFI 图像中提取静脉和毛细血管的 RVM 理论上不应被 CNN 区分为种族。 然而，结果表明，U-Net 为白眼分割的主要动脉数量多于黑眼。
在结束语中，研究人员观察到“我们发现人工智能能够轻松地根据不包含有关色素沉着的可见信息的视网膜血管分割来预测婴儿的种族'， 然后 “即使是肉眼看来缺乏信息的图像也保留了原始婴儿种族的预测信息”。 研究人员进一步提出黑人与白人婴儿的视网膜血管存在差异的可能性 “在某种程度上，人工智能可以欣赏，但人类不能”.
先验偏差？
作者还认为，这种歧视可能是 U-Net 最初训练的白人主导数据的一个函数。 尽管他们将此描述为他们的“主导理论”，但他们也承认，如果发现的偏差是视网膜成像实践技术方面的必然结果，那么捕获传感器的能力可能是造成这种现象的一个因素，或者U-Net 中的数据偏差多年来一直存在。 针对这些可能性，该论文承认：
“然而，U-Net 是在 RFI 上进行训练的，这些 RFI 首先被转换为灰度图像并进行对比度调整——具体来说，对比度限制直方图均衡 (CLAHE)——因此从未真正在彩色 RFI 上进行训练。 因此，我们目前还无法仅根据 U-Net 假设来完全解释这些发现。
然而，作者断言，原因不如结果那么令人担忧，并指出人工智能模型辨别种族的能力可能需要 “使用它们作为输入的医疗人工智能算法存在偏见风险”.
作者指出了所研究种族的高对比度性质，并假设“中间”种族群体可能更难以通过类似的方法来识别，这是他们打算在正在进行的相关工作中研究的一个方面。
* 本文中包含的论文提供的所有支持链接均已从有限访问的 PaperPile 链接转换为公开可用的在线版本（如果可能）。
