基于 CLIP 的图像合成系统的“种族分类”挑战

来自美国的新研究发现，备受赞誉的 DALL-E 系列背后的流行计算机视觉模型之一以及许多其他图像生成和分类模型，表现出一种可证明的趋势： 血统下降 – 种族分类规则（也称为 “一滴”规则）它将具有很小程度“混合”（即非白种人）遗传谱系的人完全归类为“少数”种族分类。

由于低下落有 特征 尽管是人类历史上一些最丑陋的章节，但这篇新论文的作者建议，计算机视觉研究和实施中的此类趋势应该受到更多关注，尤其是因为每月下载近百万次的相关支持框架可能会进一步传播并在下游框架中传播种族偏见。

新作品中正在研究的架构是 对比语言图像预训练 （CLIP），一种多模态机器学习模型，通过对从互联网上提取的图像/标题对进行训练来学习语义关联——这是一种半监督方法，可以显着降低标签成本，但这可能反映了人们的偏见创建了字幕。

从论文：

“我们的结果为 CLIP 嵌入空间中的低下垂提供了证据，这种偏见更强烈地适用于女性图像。 结果进一步表明，CLIP 根据与白人的偏差将图像与种族或民族标签相关联，其中白人为默认值。

该论文还发现，图像的效价关联（与“好”或“坏”事物相关的倾向，“少数”种族标签的效价关联明显高于白人标签，并表明 CLIP 的偏见反映了以美国为中心的语料库）框架接受训练的文献（英语维基百科）。

在评论 CLIP 对低下落的明显支持的影响时，作者指出*：

“CLIP 的第一个用途是训练零样本图像生成模型 DALL-E。 一个更大的、非公开版本的 CLIP 架构被用于训练 达尔-E 2。 与当前研究的结果相一致，DALL-E 2 模型卡中描述的风险和限制 注意 它“产生的图像往往会过度代表白人”。

“这种用途证明了 CLIP 学到的偏差有可能传播到模型的嵌入空间之外，因为它的特征被用来指导其他最先进的人工智能模型中语义的形成。

此外，部分由于 CLIP 和在零样本设置中关联图像和文本的类似模型所取得的进步，多模态架构已经 描述 作为未来广泛使用的互联网应用程序（包括搜索引擎）的基础。

“我们的结果表明，有必要额外关注这些模型从自然语言监督中学到的东西。”

纸 标题为 视觉语义人工智能中的发育迟缓的证据，来自华盛顿大学和哈佛大学的三位研究人员。

CLIP 和不良影响

尽管研究人员证明他们的工作是 CLIP 中对下位的首次分析，但之前的工作已经证明 CLIP 工作流程很大程度上依赖于来自 策划不足 来自网络的数据， 女性代表性不足， 可以生产 令人反感的内容，并且可以证明 语义偏差 （例如反穆斯林情绪）在其图像编码器中。

提出 CLIP 的原始论文承认，在零样本设置中，CLIP 仅将 58.3% 的人与白人种族标签联系起来。 美丽的脸 数据集。 观察到 FairFace 被 Amazon Mechanical Turk 工作人员贴上了可能存在偏见的标签，新论文的作者指出，“在 CLIP 中，被其他人视为白人的极少数人与白人以外的种族有联系。”

他们继续：

“相反的情况似乎并不成立，因为在 FairFace 数据集中被认为属于其他种族或民族标签的个人会通过 CLIP 与这些标签相关联。 这一结果表明，CLIP 可能已经学会了社会科学家所描述的“低等”规则：具有多种族血统的个体更有可能被认为和归类为少数群体或弱势父群体，而不是同样合法的多数群体。或优势家长群体。

“换句话说，黑人和白人父母的孩子被认为比白人更黑人； 亚洲人和白人父母所生的孩子被认为更像亚洲人而不是白人。

该论文有三个核心发现：CLIP 通过将具有多种族身份的人“聚集”到适用于他们的少数种族类别来证明低血统； “白人是 CLIP 中的默认种族”，并且竞争种族是根据其与白人类别的“偏差”来定义的； 然后 价态偏向 （与“坏”概念的关联）与个人被归类为少数种族的程度相关。

方法与数据

为了确定 CLIP 对待多种族受试者的方式，研究人员使用了 先前采用的 变形技术来改变个体图像的种族。 这些照片是从 芝加哥人脸数据库，为涉及种族的心理学研究而开发的一套。

新论文补充材料中的种族变形 CFD 图像示例。 S来源：https://arxiv.org/pdf/2205.10764.pdf

研究人员仅从数据集中选择了“中性表达”图像，以便与之前的工作保持一致。 他们使用生成对抗网络 StyleGAN2-ADA （训练于 FF总部）来完成面部图像的种族变化，并创建间隙图像来展示从一个种族到另一个种族的进展（参见上面的示例图像）。

与之前的工作一致，研究人员将数据集中自认为是黑人、亚洲人和拉丁裔的人的面孔转变为自称为白人的人的面孔。 在此过程中产生了十九个中间阶段。 通过此方法，总共为该项目创建了 21,000 个 1024x1024px 图像。

然后，研究人员获得了每个种族变形集中总共 21 张图像中每张的 CLIP 投影图像嵌入。 此后，他们从 CLIP 中为每张图像请求一个标签：“多种族”、“混血儿”、“混血儿”和“人”（最终的标签省略了种族）。

使用的 CLIP 版本是 CLIP-ViT-基础-补丁32 执行。 作者指出，在撰写研究报告之前的一个月内，该模型的下载量超过 98 万次，占所有 CLIP 模型下载量的 XNUMX%。 变形金刚库.

检测

为了测试 CLIP 的潜在倾向，研究人员注意到 CLIP 在每个人的变形图像梯度中为每个图像分配的种族标签。

根据调查结果，CLIP 倾向于在 50% 的过渡标记左右将人们归为“少数”类别。

在 50% 的混合比例下，其中主题的来源/目标种族相同，CLIP 将更多数量的 1000 个变形女性图像与亚洲人 (89.1%)、拉丁裔 (75.8%) 和黑人 (69.7%) 标签关联起来，而不是同等数量的标签白色标签。

结果表明，在 CLIP 下，女性受试者比男性更容易出现下垂，尽管作者推测这可能是因为表征女性图像的网络衍生和未经策划的标签倾向于比男性更强调受试者的外表，这可能会产生扭曲效应。

对于亚裔白人男性或拉丁裔白人男性变体系列，没有观察到 50% 种族转变的低下型，而 CLIP 在 67.5% 的病例中以 55% 的混合比分配了与黑人标签更高的余弦相似性。

多种族、混血和混血标签的平均余弦相似度。 结果表明，CLIP 对不同比例的种族混合进行了一种“分水岭”分类，很少将这种种族混合分配给白人（在实验的基本原理中是“人”），而是将这种种族混合分配给白人（在实验的原理中是“人”），而不是分配给白人图片。

根据该论文，理想的目标是 CLIP 将中间种族混合准确地归类为“混血”，而不是定义一个“临界点”，在这个点上，该主题经常被完全归为非白人标签。

在某种程度上，CLIP 确实将中间变形步骤分配为混合种族（见上图），但最终表现出中等偏好，将受试者分类为少数贡献种族。

就化合价而言，作者注意到 CLIP 的判断存在偏差：

“[平均]价关联（与坏或不愉快的关联与与好或愉快的关联）随着黑人-白人男性变体系列的混合比例而变化，这样 CLIP 就与自认为最相似的 CFD 志愿者的面孔编码与不愉快的关联。 - 认定为黑人。

效价结果——测试表明，与白标受试者相比，少数群体与图像/对架构中的负面概念更相关。 作者断言，图像的不愉快关联随着模型将图像与黑色标签相关联的可能性而增加。

该文件指出：

“证据表明图像的效价与种族[关联]相关。 更具体地说，我们的结果表明，模型越确定图像反映的是黑人个体，该图像与令人不快的嵌入空间就越相关。

然而，结果也表明亚洲面孔的情况呈负相关。 作者认为，这可能是由于美国文化对亚洲人和社区的积极看法的传递（通过网络数据）。 作者指出*：

观察到亚洲文本标签的愉悦度和概率之间的相关性可能与“模范少数族裔”的刻板印象相对应，其中亚裔血统的人因其向上流动性和对美国文化的同化而受到称赞，甚至 与“良好行为”相关.'

至于最终的目标，从CLIP的角度来检验白色是否是“默认身份”，结果表明了一种嵌入的极性，这表明在这种架构下，成为“一点白色”是相当困难的。

为测试创建的 21,000 张图像之间的余弦相似度。

作者评论：

“证据表明 CLIP 将白人编码为默认种族。 与任何其他种族或族裔群体相比，白人余弦相似性和个人余弦相似性之间的相关性更强，支持了这一点。

*我将作者的内联引用转换为超链接。

首次发布于 24 年 2022 月 XNUMX 日。