Julia Stoyanovich教授，负责人工智能责任中心主任 – 采访系列

Julia Stoyanovich 是纽约大学坦登工程学院的教授和人工智能责任中心的创始主任。她最近向纽约市委员会的技术委员会就一项拟议的法案作了证词，该法案将规范人工智能在招聘和就业决策中的使用。

您是纽约大学人工智能责任中心的创始主任。您能否与我们分享该组织所开展的一些计划?

我与 Steven Kuyan 共同领导人工智能责任中心（R/AI）。Steven 和我有互补的兴趣和专业知识。我是一名学者，拥有计算机科学背景，并对数据工程、负责任的数据科学和政策交叉领域的应用研究感兴趣。Steven 是 NYU 坦登未来实验室的管理主任，NYU 坦登未来实验室是一个初创企业孵化器和加速器网络，已经对纽约市产生了巨大的经济影响。我们的 R/AI 愿景是通过应用研究、公共教育和参与，以及帮助大型和小型企业（尤其是小型企业）开发负责任的人工智能，使“负责任的人工智能”成为人工智能的代名词。

过去几个月，R/AI 积极参与自动决策系统（ADS）监督的讨论。我们的方法是基于教育活动和政策参与的结合。

纽约市正在考虑一项拟议的法律，Int 1894，该法案将通过审计和公开披露的结合来规范人工智能在招聘中的使用。R/AI 根据我们的研究和从求职者那里收集的见解提交了对该法案的公开评论，这些见解来自我们组织的几项公共参与活动。

我们还与 The GovLab 和 慕尼黑工业大学人工智能伦理研究所 合作推出了一个名为“人工智能伦理：全球视角”的免费在线课程，该课程于本月初推出。

R/AI 的另一个最近项目是我们的“数据，负责任地”漫画系列。该系列的第一卷名为“镜子，镜子”，它以英文、西班牙文和法文出版，并且可以使用屏幕阅读器以三种语言访问。漫画获得了 创新月度奖，并被 多伦多星报 等媒体报道。

人工智能偏见在招聘和就业决策中存在哪些当前或潜在问题?

这是一个复杂的问题，首先我们需要明确什么是“偏见”。关键点是自动招聘系统是“预测分析”——它们根据过去预测未来。过去由公司聘用的个人和他们的表现历史数据代表。系统在此数据上进行“训练”，即识别统计模式并使用这些模式进行预测。这些统计模式是人工智能的“魔力”，即预测模型的基础。然而，历史数据中没有关于那些没有被聘用的人的信息，因为我们不知道他们在没有获得的工作中会如何表现。这就是偏见发挥作用的地方。如果我们系统地聘用更多来自特定人口统计和社会经济群体的个人，那么这些群体的成员资格和相关特征将成为预测模型的一部分。例如，如果我们只看到顶级大学毕业生被聘用为高管，那么系统无法学习其他学校的毕业生可能也会表现良好。同样，对于性别、种族和残疾状态也存在类似的问题。

人工智能中的偏见远远超过数据中的偏见。它出现于我们尝试在技术解决方案不合适的地方使用技术，或者当我们为人工智能设置错误的目标时——通常是因为我们没有在设计表中拥有多样化的 голос，或者当我们在人工智能部署后放弃了人机交互中的代理权。每一个偏见的原因都值得进行单独的讨论，这可能会超过本文的篇幅。因此，为了保持焦点，我将回到数据中的偏见。

当我解释数据中的偏见时，我喜欢使用镜子反射的隐喻。数据是世界的映像，它的镜子反射。当我们思考数据中的偏见时，我们会审视这个反射。数据中的偏见的一种解释是，反射是扭曲的——我们的镜子低估或高估了世界的某些部分，或者以其他方式扭曲了读数。数据中的偏见的另一种解释是，即使反射是100%忠实的，它仍然是对当今世界的反映，而不是对它应该或可能的世界的反映。重要的是，不是数据或算法来告诉我们它是对破碎世界的完美反映，还是对完美世界的破碎反映，还是这些扭曲的叠加。它取决于人们——个人、群体、整个社会——来达成共识，关于我们是否接受世界的现状，或者如果不是，我们应该如何改进它。

回到预测分析：数据中的差异越大，作为过去的反映，预测模型就越可能将其识别出来，并在未来复制——甚至加剧——它们。

如果我们的目标是改进招聘实践，注重公平和多样性，那么我们就不能将这项工作外包给机器。我们必须直接解决招聘和就业中的偏见问题，并与所有利益相关者协商一个社会、法律和技术解决方案。技术在帮助我们改进现状方面确实发挥了作用：它可以帮助我们对目标和结果保持诚实。但是，认为去偏见数据或预测分析就能解决招聘中的深层次歧视问题是天真至极。

您最近向纽约市委员会的技术委员会作证时提到的一项令人惊讶的评论是：“我们发现，广告商的预算和广告内容都显著地影响了 Facebook (META ) 的广告投放。批判性地，我们观察到在‘真实’的就业和住房机会广告中，尽管目标参数是中性的，但在性别和种族方面存在显著的投放偏差。”如何避免这种偏见?

我所说的评论基于一篇名为“通过优化实现歧视：Facebook 的广告投放如何导致有偏见的结果”的优秀论文。作者发现，广告投放机制本身会引入和放大歧视性影响。显然，这一发现尤其是在 Facebook 和其他平台（如 Google (GOOGL ) 和 Twitter）缺乏透明度的背景下是非常有问题的。平台有紧迫的责任，需要证明他们可以有效地控制这种歧视性影响。除非如此，否则我无法为在住房、就业和其他影响人们生活和生计的领域继续使用个性化广告定位找到理由。

数据科学家和人工智能开发人员如何防止其他非故意偏见进入他们的系统?

这不仅仅取决于数据科学家或任何一个利益相关者群体来确保技术系统与社会价值观保持一致。然而，数据科学家确实处于这场战斗的前沿。作为一名计算机科学家，我可以证明，认为我们设计的系统是“客观的”、“最优的”或“正确的”是很有吸引力的。计算机科学和数据科学如此成功、如此有影响力和广泛使用，这既是福气也是祸根。我们技术人员不再有隐藏在客观性和正确性无法实现的目标背后的奢侈。我们必须认真思考我们在世界中的位置，并教育自己关于我们影响的社会和政治过程。社会不能承受我们快速行动和打破事物的方式，我们必须放慢脚步并反思。

这很有象征意义，哲学曾经是所有科学和社会话语的核心，然后是数学，然后是计算机科学。现在，数据科学占据中心舞台，我们需要重新与我们的哲学根源联系起来。

您还建议创建一个知情的公众。如何让可能不熟悉人工智能或不了解人工智能偏见问题的公众了解情况?

有必要教育非技术人员关于技术，并教育技术人员关于其社会影响。这两项工作都需要政府做出重大承诺和投资。我们需要为这些群体开发材料和教育方法，并找到激励参与的方法。我们不能把这项工作留给商业实体。欧盟正在带头，几个政府为其公民提供基本的人工智能教育支持，并将人工智能课程纳入高中课程。我们在 R/AI 正在开发一门公开可用的和广泛可访问的课程，旨在创建一个参与的公众来帮助使人工智能成为我们想要的样子。我们对这项工作非常兴奋，请在接下来的一个月内关注更多信息。

感谢您提供的详细回答，希望了解更多的读者可以访问人工智能责任中心。