Julia Stoyanovich教授，NYU负责任AI中心主任 – 采访系列

Julia Stoyanovich，是NYU坦登工程学院的教授，并且是负责任AI中心的创始主任。她最近向纽约市议会技术委员会提交了关于一项拟议法案的证词，该法案将规范AI在招聘和就业决策中的使用。

您是NYU负责任AI中心的创始主任，您能否与我们分享该组织的一些举措？

我与Steven Kuyan共同领导NYU的负责任AI中心（R/AI）。Steven和我有互补的兴趣和专业知识。我是一名学者，拥有计算机科学背景，并对数据工程、负责任的数据科学和政策交叉点的用途感兴趣。Steven是NYU坦登未来实验室的管理主任，NYU坦登未来实验室是一个创业孵化器和加速器网络，已经对纽约市产生了巨大的经济影响。我们对R/AI的愿景是通过应用研究、公共教育和参与，以及帮助大型和小型公司（尤其是小型公司）开发负责任的AI，使“负责任的AI”成为“AI”的代名词。

在过去的几个月里，R/AI积极参与了自动决策系统（ADS）监督的讨论。我们的方法基于教育活动和政策参与的结合。

纽约市正在考虑一项拟议法案Int 1894，该法案将通过审计和公开披露的结合来规范ADS在招聘中的使用。R/AI根据我们的研究和从求职者那里收集的见解提交了对该法案的公开评论，这些见解来自我们组织的几项公共参与活动。

我们还与The GovLab和慕尼黑工业大学AI伦理研究所合作推出了一个免费的在线课程，名为“AI伦理：全球视角”，该课程于本月初推出。

R/AI最近的一个项目引起了很多关注，就是我们的“数据，负责任地”漫画系列。该系列的第一卷名为“镜子，镜子”，它有英文、西班牙文和法文版本，并且所有语言版本都可以使用屏幕阅读器访问。该漫画获得了Metro Lab Network和GovTech的“本月创新奖”，并被多伦多星报等媒体报道。

招聘和就业决策中AI偏差的一些当前或潜在问题是什么？

这是一个复杂的问题，需要我们首先明确什么是“偏差”。关键是自动招聘系统是“预测分析”——它们根据过去预测未来。过去由公司聘用的个人和他们的表现历史数据来代表。然后系统在这些数据上进行“训练”，即识别统计模式并使用这些模式进行预测。这些统计模式是AI的“魔力”，即预测模型的基础。很明显，但很重要，历史数据中没有记录那些没有被聘用的人，因为我们根本不知道他们在没有得到的工作中会如何表现。这就是偏差发挥作用的地方。如果我们系统地聘用更多来自特定人口统计和社会经济群体的个人，那么这些群体的成员身份和相关特征将成为预测模型的一部分。例如，如果我们只看到顶尖大学的毕业生被聘用为高管，那么系统就无法学习那些毕业于不同学校的人可能也会表现良好。同样，对于性别、种族和残疾状态也存在类似的问题。

AI偏差远远超过数据偏差。它出现于我们尝试在技术解决方案不合适的地方使用技术，或者当我们为AI设置错误的目标时——往往是因为我们没有在设计表上拥有多元化的发言权，或者当我们在AI部署后放弃了人机交互中的主动权。每一个偏差的原因都值得进行单独的讨论，这可能会比这篇文章的篇幅更长。因此，为了保持专注，我将回到数据偏差的问题上。

当我解释数据偏差时，我喜欢使用镜子反射的隐喻。数据是世界的映像，它的镜子反射。当我们思考数据偏差时，我们会审视这个反射。对“数据偏差”的一个解释是，反射是扭曲的——我们的镜子低估或高估了世界的某些部分，或者以其他方式扭曲了读数。对“数据偏差”的另一个解释是，即使反射是100%忠实的，它仍然是对今天的世界的反映，而不是对世界应该是什么样的反映。重要的是，不是数据或算法来告诉我们是否是一个完美的反映一个破碎的世界，还是一个破碎的反映一个完美的世界，或者这些扭曲是否会叠加。它取决于个人、群体、整个社会来达成共识，是否接受世界的现状，或者如果不接受，我们应该如何改进它。

回到预测分析：数据中的差异越大，作为过去的反映，它们被预测模型捕捉和复制到未来的可能性就越大，并且可能会加剧。

如果我们的目标是改进我们的招聘实践，注重公平和多样性，那么我们不能把这项工作外包给机器。我们必须直接面对招聘和就业中的偏差原因，并与所有利益相关者协商一个社会、法律和技术解决方案。技术在帮助我们改进现状方面确实有作用：它可以帮助我们保持对目标和结果的诚实。但是，认为去除数据或预测分析中的偏差就能解决招聘中的深层次歧视问题是天真至极。

您最近向纽约市议会技术委员会提交了一份证词，其中有一项令人惊讶的评论：“我们发现，广告主的预算和广告内容都显著地影响了Facebook的广告投放。批判性地，我们观察到尽管目标参数中立，但在就业和住房机会的‘真实’广告投放中，性别和种族线上存在显著的偏差。”如何避免这种类型的偏差？

我所说的这句话是基于Ali等人的一篇优秀论文《通过优化实现歧视：Facebook的广告投放如何导致偏差结果》。作者发现，广告投放机制本身会引入和放大歧视性效果。当然，这一发现尤其是在Facebook和其他平台（如Google和Twitter）缺乏透明度的背景下非常有问题。平台有紧迫的责任，必须迅速且令人信服地证明他们可以控制这种歧视性效果。除此之外，我无法找到继续在住房、就业和其他领域使用个性化广告定位的理由，这些领域的人们的生活和生计岌岌可危。

数据科学家和AI开发人员如何最好地防止其他无意的偏差进入他们的系统？

这不仅仅取决于数据科学家，或者任何一个利益相关者群体，来确保技术系统与社会价值观保持一致。但是，数据科学家确实处于这场战斗的前沿。作为一名计算机科学家，我可以证明，认为我们设计的系统是“客观的”、“最优的”或“正确的”是多么有吸引力。计算机科学和数据科学如此成功、如此有影响力和广泛使用，这既是福气也是祸根。我们技术人员不再有隐藏在不可实现的客观性和正确性目标背后的奢侈。我们有责任认真思考我们在世界中的位置，并教育自己关于我们正在影响的社会和政治过程。社会不能承受我们快速行动和打破事物的方式，我们必须放慢脚步，反思。

这是一个象征性的时刻，哲学曾经是所有科学和社会话语的核心，然后是数学，接着是计算机科学。现在，数据科学占据了中心舞台，我们需要重新与我们的哲学根源联系起来。

您还提出了一个关于创建知情公众的建议。如何告知可能不熟悉AI或不了解AI偏差相关问题的公众？

有一个迫切的需要教育非技术人员关于技术，并教育技术人员关于技术的社会影响。实现这两个目标将需要政府的坚定承诺和大量投资。我们需要为所有这些群体开发材料和教育方法，并找到激励参与的方法。我们不能把这项工作留给商业实体。欧盟正在引领潮流，几个政府为其公民提供了基本的AI教育支持，并将AI课程纳入高中课程。我们在R/AI正在开发一个公开且易于访问的课程，旨在创建一个参与的公众，帮助我们使AI成为我们想要的样子。我们对这项工作非常兴奋，请在接下来的一个月内关注更多信息。

谢谢您提供了如此详细的回答，希望了解更多的读者可以访问负责任AI中心。