CLIP图像合成系统的“种族分类”挑战

最近的美国研究发现，DALL-E系列背后的流行计算机视觉模型，以及许多其他图像生成和分类模型，表现出明显的偏向于低估（hypodescent）——一种种族分类规则（也称为“一滴血”规则），该规则将具有少量“混合”（即非白人）遗传血统的人完全归类为“少数民族”种族分类。

由于低估曾经是人类历史上一些最丑陋的篇章的特征，新论文的作者建议，计算机视觉研究和实施中应对此类趋势给予更多关注，尤其是因为支持框架每月被下载近百万次，可能会进一步在下游框架中传播和宣扬种族偏见。

被研究的架构是对比语言图像预训练（Contrastive Language Image Pretraining，CLIP），一种多模态机器学习模型，通过在互联网上训练图像/字幕对来学习语义关联——一种半监督方法，可以减少标记的巨大成本，但可能会反映创建字幕的人的偏见。

来自论文：

‘我们的结果为CLIP嵌入空间中的低估提供了证据，这种偏见对女性图像更为明显。结果进一步表明，CLIP根据偏离白人的程度将图像与种族或民族标签关联起来，白人是默认种族。 ‘

该论文还发现，图像的价联（与“好”或“坏”事物相关的趋势）在“少数民族”种族标签中比在高加索标签中更高，并表明CLIP的偏见反映了其训练所依据的美国中心语料库（英语维基百科）。

关于CLIP显著支持低估的影响，作者指出：

‘[在CLIP的首次使用中]，用于训练零样本图像生成模型DALL-E。一个更大、非公开的CLIP架构版本被用于训练DALL-E 2。与本研究的发现一致，DALL-E 2模型卡中的风险和局限性注中指出，它“生成的图像往往过度代表白人化的人”。

‘这种使用表明CLIP学习到的偏见可能会传播到模型的嵌入空间之外，因为其特征被用于指导其他最先进的AI模型的语义形成。 ‘

‘此外，部分由于CLIP和类似模型在零样本设置中将图像和文本关联起来的进步，多模态架构被描述为广泛使用的互联网应用程序（包括搜索引擎）的基础。 ‘

‘我们的结果表明，需要对此类模型从自然语言监督中学习的内容给予更多关注。 ‘

该论文题为《视觉语义AI中的低估证据》，由华盛顿大学和哈佛大学的三位研究人员撰写。

CLIP和不良影响

虽然研究人员声称他们的工作是首次分析CLIP中的低估，但之前的工作已经证明了CLIP工作流程，在很大程度上依赖于来自互联网的未经策划的训练数据，会低估女性，会产生令人反感的内容，并且会在其图像编码器中表现出语义偏见（例如反穆斯林情绪）。

原始论文中提出CLIP的作者承认，在零样本设置中，CLIP仅将58.3％的人与白人种族标签关联起来，在FairFace数据集中。观察到FairFace由亚马逊Mechanical Turk工人标记可能存在偏见，新论文的作者指出，“CLIP将大量被人类视为白人的个体关联到其他种族”。

他们继续指出：

‘逆向关系似乎不成立，因为FairFace数据集中被视为属于其他种族或民族标签的个体被CLIP关联到这些标签。该结果表明CLIP可能已经学习了社会科学家描述的“低估”规则：具有多种族血统的个体更有可能被视为和归类为少数民族或不利父系群。 ‘

‘换句话说，一个黑人和白人父母的孩子被认为更黑而不是更白；一个亚洲人和白人父母的孩子被认为更亚洲而不是更白。 ‘

该论文有三个主要发现：CLIP表现出低估的证据，通过将具有多种族身份的人“赶”到少数民族贡献种族类别中；“白人是CLIP的默认种族”；以及竞争种族是通过偏离白人类别来定义的；以及价联偏见（与“坏”概念关联）与个体被归类为种族少数群体的程度相关。

方法和数据

为了确定CLIP处理多种族主题的方式，研究人员使用了一种先前采用的形态学技术来改变个体的种族。照片来自芝加哥面部数据库，这是为涉及种族的心理研究而开发的数据集。

研究人员仅选择数据集中“中性表情”的图像，以便与先前的工作保持一致。他们使用StyleGAN2-ADA（在FFHQ上训练）来改变面部图像的种族，并创建了展示从一种种族到另一种种族过渡的中间图像（见上面的示例图像）。

研究人员将芝加哥面部数据库中自我认同为黑人、亚洲人和拉丁裔的人的面部图像形态学地转换为白人面部图像。形态学过程产生19个中间阶段。总共使用此方法创建了21,000张1024×1024像素的图像用于该项目。

研究人员然后为CLIP的每个形态学图像集获得了投影图像嵌入。之后，他们从CLIP为每个图像获得了一个标签：“多种族”，“双种族”，“混合种族”，和“人”（最后一个标签省略了种族）。

使用的CLIP版本是CLIP-ViT-Base-Patch32实现。作者指出，该模型在撰写研究之前的一个月内被下载超过一百万次，占所有CLIP模型下载的98％，来自Transformers库。

测试

为了测试CLIP对低估的潜在倾向，研究人员注意到CLIP为每个形态学图像集中的每个图像分配的种族标签。

根据发现，CLIP倾向于在大约50％的过渡标记处将人归类为“少数民族”类别。

结果显示，女性比男性更容易受到CLIP的低估的影响，尽管作者假设这可能是因为女性图像的网络来源标签倾向于强调主体的外貌，而男性图像则没有这种倾向，这可能会产生偏差效应。

在50％的种族过渡中，没有观察到低估对亚洲-白人男性或拉丁裔-白人男性形态学系列的影响，而CLIP在55％的混合比例中将67.5％的案例分配给黑人标签。

结果还表明，图像的价联（与“好”或“坏”事物相关的趋势）在“少数民族”种族标签中比在高加索标签中更高，并表明CLIP的偏见反映了其训练所依据的美国中心语料库（英语维基百科）。

‘[平均]价联（与不愉快或令人不快的关联）随着黑人-白人男性形态学系列中的混合比例而变化，使得CLIP对最类似自我认同为黑人的CFD志愿者的面部图像编码不愉快的关联。 ‘

论文指出：

‘证据表明图像的价联与种族关联。更具体地说，我们的结果表明，图像与黑人个体的关联程度越高，图像就越与不愉快的嵌入空间关联。 ‘

然而，结果还表明，在亚洲面部的情况下存在负相关性。作者建议这可能是由于通过网络来源的数据传递了美国文化对亚洲人和社区的积极认知。

‘观察到与亚洲文本标签的可能性之间的相关性可能对应于“模范少数族裔”刻板印象，即亚洲人因其向上流动和融入美国文化而受到赞扬，甚至与“良好行为”相关联。 ‘

关于最终目标，即检查白人是否是CLIP的“默认身份”，结果表明嵌入式偏见，表明在这种架构下，很难“稍微白一点”。

作者指出：

‘证据表明CLIP将白人编码为默认种族。这得到了白人余弦相似度与人余弦相似度之间更强的相关性而不是其他任何种族或民族群体的支持。 ‘

*作者内联引用转换为超链接。

首次发布于2022年5月24日。