Anderson 视角

CLIP图像合成系统的“种族分类”挑战

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
要点CLIP在50%混合比例下将多族裔面孔归类为少数族裔,表现出血统降级偏见。
查看更多
  • CLIP在50%混合比例下将多族裔面孔归类为少数族裔,表现出血统降级偏见。
  • 研究中,女性受试者比男性受试者面临来自CLIP更强的血统降级偏见。
  • CLIP将少数族裔标签与比白人标签更负面的效价相关联。

最近的美国研究发现,DALL-E系列背后的流行计算机视觉模型,以及许多其他图像生成和分类模型,表现出明显的偏向于hypodescent(按弱势血统归类)——一种种族分类规则(也称为“一滴血”规则),该规则将具有少量“混合”(即非白人)遗传血统的人完全归类为“种族少数群体”种族分类。

由于hypodescent曾经体现于人类历史上一些最丑陋的篇章,新论文的作者建议,计算机视觉研究和实施中应对此类趋势给予更多关注,尤其是因为支持框架每月被下载近百万次,可能会进一步在下游框架中传播和宣扬种族偏见。

被研究的架构是对比语言图像预训练(Contrastive Language Image Pretraining,CLIP),一种多模态机器学习模型,通过在互联网上训练图像/图像说明文字对来学习语义关联——一种半监督方法,可以减少标记的巨大成本,但可能会反映创建图像说明文字的人的偏见。

来自论文:

‘我们的结果为CLIP嵌入空间中的hypodescent提供了证据,这种偏见对女性图像更为明显。结果进一步表明,CLIP根据偏离白人的程度将图像与种族或民族标签关联起来,白人是默认种族。 ‘

该论文还发现,图像的情感效价关联(与“好”或“坏”事物相关的趋势)在“种族少数群体”种族标签中比在高加索标签中更高,并表明CLIP的偏见反映了其训练所依据的美国中心语料库(英语维基百科)。

关于CLIP显著支持hypodescent的影响,作者指出:

‘[在CLIP的首次使用中],用于训练零样本图像生成模型DALL-E。一个更大、非公开的CLIP架构版本被用于训练DALL-E 2。与本研究的发现一致,DALL-E 2模型卡中的风险和局限性注中指出,它“生成的图像往往过度代表被视为白人的人”。

‘这种使用表明CLIP学习到的偏见可能会传播到模型的嵌入空间之外,因为其特征被用于指导其他最先进的AI模型的语义形成。 ‘

‘此外,部分由于CLIP和类似模型在零样本设置中将图像和文本关联起来的进步,多模态架构被描述为广泛使用的互联网应用程序(包括搜索引擎)的基础。 ‘

‘我们的结果表明,需要对此类模型从自然语言监督中学习的内容给予更多关注。 ‘

该论文题为《视觉语义AI中的hypodescent证据》,由华盛顿大学和哈佛大学的三位研究人员撰写。

CLIP和不良影响

虽然研究人员表示这是首项针对CLIP中hypodescent的分析,但此前的研究已表明,CLIP依赖主要从网络获取、筛选整理不足的数据进行无监督训练,其流程对女性的代表不足,可能产生令人反感的内容,并在图像编码器中体现语义偏见,例如反穆斯林情绪。

原始论文中提出CLIP的作者承认,在零样本设置中,CLIP仅将58.3%的人与白人种族标签关联起来,在FairFace数据集中。观察到FairFace由亚马逊Mechanical Turk工人标记可能存在偏见,新论文的作者指出,“CLIP将大量被人类视为白人的个体关联到其他种族”。

他们继续指出:

‘逆向关系似乎不成立,因为FairFace数据集中被视为属于其他种族或民族标签的个体被CLIP关联到这些标签。该结果表明CLIP可能已经学习了社会科学家描述的“hypodescent”规则:具有多种族血统的个体更有可能被视为和归类为种族少数群体或处于较弱势的父母一方群体,而不是同样合法的种族多数群体或较有优势的另一方群体。 ‘

‘换句话说,一个黑人和白人父母的孩子被认为更黑而不是更白;一个亚洲人和白人父母的孩子被认为更亚洲而不是更白。 ‘

该论文有三个主要发现:CLIP表现出hypodescent的证据,通过将具有多种族身份的人“赶”到种族少数群体贡献种族类别中;“白人是CLIP的默认种族”;以及竞争种族是通过偏离白人类别来定义的;以及情感效价关联偏见(与“坏”概念关联)与个体被归类为种族少数群体的程度相关。

方法和数据

为了确定CLIP处理多种族背景受试者的方式,研究人员使用了一种先前采用的渐变融合技术来改变个体的种族。照片来自芝加哥面部数据库,这是为涉及种族的心理研究而开发的数据集。

新论文补充材料中按种族特征进行渐变融合的CFD图像示例。来源:https://arxiv.org/pdf/2205.10764.pdf

新论文补充材料中按种族特征进行渐变融合的CFD图像示例。来源:https://arxiv.org/pdf/2205.10764.pdf

研究人员仅选择数据集中“中性表情”的图像,以便与先前的工作保持一致。他们使用StyleGAN2-ADA(在FFHQ上训练)来改变面部图像的种族,并创建了展示从一种种族到另一种种族过渡的中间图像(见上面的示例图像)。

研究人员将芝加哥面部数据库中自我认同为黑人、亚洲人和拉丁裔的人的面部图像渐变融合地转换为白人面部图像。渐变融合过程产生19个中间阶段。总共使用此方法创建了21,000张1024×1024像素的图像用于该项目。

研究人员然后为CLIP的每个渐变融合图像集为每组共21张图像中的每一张获得了投影图像嵌入。之后,他们从CLIP为每个图像获得了一个标签:“多种族”,“双种族”,“混合种族”,和“人”(最后一个标签省略了种族)。

使用的CLIP版本是CLIP-ViT-Base-Patch32实现。作者指出,该模型在撰写研究之前的一个月内被下载超过一百万次,占所有CLIP模型下载的98%,来自Transformers库。

测试

为了测试CLIP对hypodescent的潜在倾向,研究人员注意到CLIP为每个渐变融合图像集中的每个图像分配的种族标签。

根据发现,CLIP倾向于在大约50%的过渡标记处将人归类为“种族少数群体”类别。

在50%的混合比例、即受试者同等体现原始与目标种族特征时,在1000张渐变融合的女性图像中,CLIP关联亚洲(89.1%)、拉丁裔(75.8%)和黑人(69.7%)标签的图像多于关联相应白人标签的图像。

在50%的混合比例、即受试者同等体现原始与目标种族特征时,在1000张渐变融合的女性图像中,CLIP关联亚洲(89.1%)、拉丁裔(75.8%)和黑人(69.7%)标签的图像多于关联相应白人标签的图像。

结果显示,女性比男性更容易受到CLIP的hypodescent的影响,尽管作者假设这可能是因为女性图像的网络来源标签倾向于强调主体的外貌,而男性图像则没有这种倾向,这可能会产生偏差效应。

在50%的种族过渡中,没有观察到hypodescent对亚洲-白人男性或拉丁裔-白人男性渐变融合系列的影响,而CLIP在55%的混合比例中在67.5%的案例中赋予黑人标签更高的余弦相似度。

Multiracial、Biracial和Mixed Race标签的平均余弦相似度。结果显示,CLIP在不同种族混合比例上设置某种分类分界线,相比图像中被识别出的族群,更少将这种混合背景归入白人类别(实验逻辑中的人)。

Multiracial、Biracial和Mixed Race标签的平均余弦相似度。结果显示,CLIP在不同种族混合比例上设置某种分类分界线,相比图像中被识别出的族群,更少将这种混合背景归入白人类别(实验逻辑中的人)。

根据论文,理想目标是把中间状态准确归为混合种族,而不是设定一个转折点,把受试者频繁地完全归入非白人标签。CLIP在一定程度上会把中间的渐变融合状态归为Mixed Race(见上图),但在中段最终仍偏向于按受试者血统中的种族少数群体成分分类。

就情感效价而言,作者指出CLIP的判断存在偏差:

‘[平均]情感效价关联(与负面或不愉快概念的关联,相对于与正面或愉快概念的关联)随着黑人-白人男性渐变融合系列中的混合比例而变化,使得CLIP对最类似自我认同为黑人的CFD志愿者的面部图像编码不愉快的关联。 ‘

情感效价结果显示,在图像配对架构中,种族少数群体比被标为白人的受试者更容易与负面概念关联。作者认为,模型将图像与黑人标签关联的可能性越高,图像与不愉快概念的关联也越强。

情感效价结果显示,在图像配对架构中,种族少数群体比被标为白人的受试者更容易与负面概念关联。作者认为,模型将图像与黑人标签关联的可能性越高,图像与不愉快概念的关联也越强。

论文指出:

‘证据表明图像的情感效价关联与种族关联。更具体地说,我们的结果表明,图像与黑人个体的关联程度越高,图像就越与不愉快的嵌入空间关联。 ‘

然而,结果还表明,在亚洲面部的情况下存在负相关性。作者建议这可能是由于通过网络来源的数据传递了美国文化对亚洲人和社区的积极认知。

‘观察到愉快程度与亚洲文本标签可能性之间的相关性可能对应于“模范少数族裔”刻板印象,即亚洲人因其向上流动和融入美国文化而受到赞扬,甚至与“良好行为”相关联。 ‘

关于最终目标,即检查白人是否是CLIP的“默认身份”,结果表明嵌入式偏见,表明在这种架构下,很难“稍微白一点”。

为测试创建的21,000张图像的余弦相似度。

为测试创建的21,000张图像的余弦相似度。

作者指出:

‘证据表明CLIP将白人编码为默认种族。这得到了白人余弦相似度与人余弦相似度之间更强的相关性而不是其他任何种族或民族群体的支持。 ‘

*作者内联引用转换为超链接。

首次发布于2022年5月24日。

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai