Anderson 视角
招聘申请人的简历基本上不可能去性别化，AI 研究人员发现
纽约大学的研究人员发现，即使是非常简单的自然语言处理（NLP）模型也能够从“去性别化”的简历中确定申请人的性别，即使在使用机器学习方法从文档中删除所有性别指标的情况下也是如此。
在一项涉及处理 348,000 个男女简历的研究后，研究人员得出结论：
‘简历中存在大量性别化信息。即使在尝试从简历中隐藏性别信息后，一个简单的 Tf-Idf 模型也可以学习到区分性别。这从经验上验证了对模型学习性别歧视和在训练数据中下游传播偏见的担忧。’
该发现之所以重要，不是因为在筛选和面试过程中可以隐藏性别（显然这是不可能的），而是因为进入这一阶段可能涉及对简历进行基于 AI 的批判，而没有人工干预——并且人力资源 AI 在近年来已经因性别偏见而声名狼藉。
研究人员的研究结果表明，性别信息对去性别化的尝试具有多大的抵抗力：
纽约大学论文的结果。 来源：https://arxiv.org/pdf/2112.08910.pdf
上述结果使用 0-1 接收者操作特性（AUROC） 指标，其中“1”代表 100% 的性别识别确定性。该表格涵盖了八个实验。
即使在最差的结果中（实验 #7 和 #8），简历已经被去性别化到不能使用的程度，一个简单的 NLP 模型，如 Word2Vec，仍然能够以接近 70% 的准确率识别性别。
研究人员评论道：
‘在算法招聘的背景下，这些结果意味着，除非训练数据是完全无偏见的，否则即使是简单的 NLP 模型也会学习从简历中识别性别并下游传播偏见。’
作者暗示，没有合法的 AI 基础解决方案来“去性别化”简历在实用的招聘流程中，并且主动执行公平对待的机器学习技术是解决性别偏见问题的更好方法。
在 AI 术语中，这相当于“积极歧视”，其中性别显现的简历被接受为不可避免的，但重新排名被主动应用为平等主义措施。这种方法已经被 LinkedIn 在 2019 年提出，并且由德国、意大利和西班牙的研究人员在 2018 年提出。
该论文的标题是 简历中的性别化语言及其对招聘算法偏见的影响，由 Prasanna Parasurama 撰写，他是纽约大学斯特恩商学院技术、运营和统计学系的成员，并由 João Sedoc 撰写，他是斯特恩商学院技术、运营和统计学系的助理教授。
招聘中的性别偏见
作者强调，性别偏见在招聘程序中变得系统化的规模，人力资源经理使用先进的算法和机器学习驱动的“筛选”过程，这相当于基于性别的 AI 启用的拒绝。
作者引用了亚马逊的一个招聘算法的例子，该算法在 2018 年被揭露为以程式化的方式拒绝女性候选人，因为它已经学会了历史上男性更有可能被聘用
‘该模型已经通过历史招聘数据学习到男性更有可能被聘用，因此它将男性简历评分高于女性简历。’
‘虽然候选人性别没有在模型中明确包含，但它已经学会了根据简历中的性别化信息区分男性和女性简历——例如，男性更有可能使用“执行”和“捕获”等词。’
此外，2011 年的研究发现，招聘广告中隐含性别偏见会明显吸引男性，并阻止女性申请该职位。数字化和大数据模式承诺进一步将这些做法固化到自动化系统中，除非积极解决这个问题。
数据
纽约大学的研究人员训练了一系列模型来使用预测模型分类性别。他们还试图确定这些模型在去除越来越多的潜在性别化信息的同时，预测性别的能力如何，以及如何在保留与申请相关的内容的同时生存下来。
数据集来自八家美国 IT 公司的申请人简历，每个简历都附有姓名、性别、工作经验、专业或研究领域以及目标工作岗位的详细信息。
为了从这些数据中提取更深层次的上下文信息，以向量表示的形式，作者训练了一个 Word2Vec 模型。然后将其解析为标记并过滤，最后得出每个简历的一个嵌入表示。
男性和女性样本以 1:1 的比例匹配，并通过将最佳的、客观上与工作相关的男性和女性候选人配对（经验误差为 2 年）获得一个子集。因此，数据集由 174,000 个男性和 174,000 个女性简历组成。
架构和库
用于分类任务的三个模型是词频-逆文档频率（TF-IDF）+ 逻辑回归、词嵌入 + 逻辑回归和 Longformer。
第一个模型提供了一个基于词袋的基线，它根据词汇差异区分性别。第二种方法既使用了现成的词嵌入系统，也使用了去性别化的词嵌入。
数据被分为 80/10/10 的训练、评估和测试集。
如上所示的结果中，基于变换器的 Longformer 库比早期方法更复杂，几乎能够达到完全“未保护”的简历在检测性别方面的能力，即使在文档中主动删除了已知的性别标识符的情况下也是如此。
进行的实验包括数据消融研究，其中从简历中删除了越来越多的性别化信息，并测试了这些更为含蓄的文档的模型。
删除的信息包括爱好（基于维基百科对“爱好”的定义）、LinkedIn ID 和可能揭示性别的 URL。此外，诸如“兄弟会”、“女服务员”和“销售员”等术语也在这些更为简洁的版本中被剥离出来。
额外结果
除了上述结果外，纽约大学的研究人员还发现，去性别化的词嵌入并没有降低模型预测性别的能力。在论文中，作者暗示了性别在书面语言中普遍存在的程度，并指出这些机制和标志尚未被充分理解。
