诺拉·彼得罗娃，Prolific 的机器学习工程师和 AI 咨询师 – 采访系列

诺拉·彼得罗娃是 Prolific 的机器学习工程师和 AI 咨询师。Prolific 于 2014 年成立，已经拥有像 Google、斯坦福大学、牛津大学、伦敦国王学院和欧洲委员会这样的客户，他们使用 Prolific 的参与者网络来测试新产品、训练 AI 系统（如眼动跟踪）以及确定他们的人脸 AI 应用程序是否按预期工作。

您能否分享一些关于您在 Prolific 的背景和职业生涯的信息？是什么让您对 AI 感兴趣？

在 Prolific 的角色是分为两部分：一方面是关于 AI 用例和机会的顾问，另一方面是更hands-on的 ML 工程师。我从软件工程开始，逐渐转向机器学习。过去 5 年里，我大部分时间都专注于 NLP 用例和问题。

最初让我对 AI 感兴趣的是从数据中学习的能力，以及它与我们人类学习和大脑结构的联系。我认为 ML 和神经科学可以相互补充，帮助我们更好地理解如何构建能够在世界中导航、展现创造力和为社会带来价值的 AI 系统。

您个人知道的 AI 偏差问题中，有哪些是最大的？

偏差存在于我们输入到 AI 模型中的数据中，完全消除它非常困难。然而，意识到数据中的偏差并找到方法来减轻有害偏差是至关重要的，尤其是在我们将模型用于社会中的重要任务之前。我们面临的最大问题是模型延续有害的刻板印象、系统性偏见和不公正。在使用 AI 模型之前，我们应该考虑它们将如何被使用以及对用户的影响，并确保它们是安全的。

一些明显的偏差领域包括，在学校和大学招生中，对代表性不足的群体进行歧视，以及性别刻板印象对女性招聘的负面影响。此外，美国的一个刑事司法算法被发现将非裔美国人被告标记为“高风险”的速度几乎是白人被告的两倍，而面部识别技术由于缺乏代表性的训练数据，仍然存在对少数族裔的高错误率。

上述例子仅涵盖了 AI 模型表现出的偏差的一个小子集，如果我们现在不专注于减轻偏差，我们可以预见未来会出现更大的问题。必须记住，AI 模型从包含这些偏差的数据中学习，这些偏差是由人类决策引起的，人类决策受到未经检查和无意识偏差的影响。在很多情况下，依赖人类决策者可能无法消除偏差。真正减轻偏差需要了解数据中存在的偏差，确定导致偏差预测的因素，并集体决定我们想要基于什么来做出重要的决定。开发一套标准，以便我们可以在使用模型进行敏感用例之前评估其安全性，将是一个重要的进步。

AI 幻觉是任何类型的生成式 AI 的巨大问题。您能否讨论如何使用 人机协同（HITL） 训练来减轻这些问题？

AI 模型中的幻觉在某些生成式 AI 的用例中存在问题，但必须注意，这本身并不是一个问题。在某些创造性的生成式 AI 用例中，幻觉是受欢迎的，并有助于产生更具创造力和趣味的响应。

它们在需要依赖事实信息的用例中可能会带来问题。例如，在医疗保健领域，健全的决策至关重要，向医疗保健专业人员提供可靠的事实信息是至关重要的。

HITL 指的是允许人类为模型提供直接反馈的系统，尤其是对于置信度较低的预测。在幻觉的背景下，HITL 可以帮助模型学习在输出响应之前应该具有的置信度水平。这些阈值将根据用例的不同而有所不同，教导模型了解不同用例中所需的严谨性差异将是减轻问题的幻觉的关键步骤。例如，在法律用例中，人类可以向 AI 模型展示，在回答涉及多个条款和条件的复杂法律文件的问题时，事实核查是一个必要的步骤。

AI 工作者（如数据注释员）如何帮助减少潜在的偏差问题？

AI 工作者可以首先帮助识别数据中的偏差。一旦偏差被识别出来，就更容易制定减轻偏差的策略。数据注释员还可以帮助减少偏差。例如，对于 NLP 任务，他们可以通过提供替代方式来表达有问题的文本片段，以减少语言中的偏差。此外，AI 工作者的多样性可以帮助减轻标签偏差的问题。

您如何确保 AI 工作者不会无意中将自己的人类偏差输入到 AI 系统中？

这是一个复杂的问题，需要仔细考虑。消除人类偏差几乎是不可能的，AI 工作者可能会无意中将自己的偏差输入到 AI 模型中，因此，开发指导工作者遵循最佳实践的流程至关重要。

可以采取以下步骤来尽量减少人类偏差：

• 对 AI 工作者进行关于无意识偏差的全面培训，并为他们提供识别和管理自己偏差的工具。
• 检查清单，提醒 AI 工作者在提交之前验证自己的响应。
• 进行评估，以检查 AI 工作者对不同类型偏差的理解程度，他们会被展示不同偏差的响应示例，并被要求选择最不偏差的响应。

全球监管机构计划监管 AI 输出，您认为监管机构误解了什么，以及他们做对了什么？

首先要说，这是一个非常困难的问题，目前还没有找到解决方案。社会和 AI 将相互影响和演变，很难预测其影响。有效的监管实践策略的一部分是关注 AI 的发展、人们如何响应它以及它对不同行业的影响。

我认为监管 AI 的一个重大障碍是缺乏对 AI 模型可以和不能做什么的理解，以及它们的工作原理。这反过来使得预测这些模型对不同部门和社会各个阶层的影响更加困难。另一个缺乏的是关于如何将 AI 模型与人类价值观和安全性相一致的思想领导力。

监管机构已经与 AI 领域的专家进行了合作，避免了过于严格的规则扼杀 AI 的创新，并开始考虑 AI 对工作岗位流失的影响，这些都是非常重要的关注领域。随着我们对 AI 规范的思考逐渐明确，必须谨慎行事，并以民主的方式涉及尽可能多的人来解决这个问题。

Prolific 的解决方案如何帮助企业减少 AI 偏差和我们讨论的其他问题？

AI 项目的数据收集过程以前并不是一个考虑周全或深思熟虑的过程。我们以前看到过抓取、离岸外包等方法的泛滥。但是，我们如何训练 AI 是至关重要的，下一代模型需要建立在故意收集的、高质量的数据之上，这些数据来自真实的人，并且是直接联系的。这就是 Prolific 发挥作用的地方。

其他领域，如民意调查、市场研究或科学研究，早就明白了这一点。您抽样的受众对结果有很大的影响。AI 正在赶上，并且我们现在正处于一个十字路口。

现在是时候开始关心使用更好的样本并与更具代表性的群体合作以训练和改进 AI 模型了。两者对于开发安全、无偏差和一致的模型都是至关重要的。

Prolific 可以帮助企业提供正确的工具来以安全的方式进行 AI 实验，并从参与者那里收集数据，同时检查和减轻偏差。我们可以提供有关数据收集、选择、参与者补偿和公平对待的最佳实践指导。

您对 AI 透明度的看法如何，用户应该能够看到 AI 算法的训练数据吗？

我认为透明度有其优点和缺点，目前尚未找到一个良好的平衡点。由于担心诉讼，公司正在保密他们用来训练 AI 模型的数据。其他公司已经公开了他们的 AI 模型，并发布了所有关于他们用来训练模型的数据的信息。完全透明度会带来许多机会来利用这些模型的漏洞。完全保密并不能帮助建立对安全 AI 的信任，并且不能让社会参与到建设安全 AI 的过程中。一个好的中间立场将提供足够的透明度，以让我们相信 AI 模型是基于我们同意使用的高质量相关数据进行训练的。

我认为考虑用户在可解释性方面会发现什么是令人满意的也很重要。如果他们想了解为什么一个模型会产生某种响应，提供模型训练所用的原始数据可能不会有助于回答他们的问题。因此，构建好的可解释性和可解读性工具是非常重要的。

AI 对齐研究旨在将 AI 系统引导向人类预期的目标、偏好或道德原则。您能否讨论如何训练 AI 工作者以及如何确保 AI 与人类价值观和目标保持一致？

这是一个活跃的研究领域，目前尚无共识关于我们应该使用哪些策略来使 AI 模型与人类价值观或哪些价值观保持一致。

AI 工作者通常被要求真实地代表自己的偏好，并在安全、无偏差、无害和有益的原则下真实地回答关于他们偏好的问题。

关于与目标、道德原则或价值观保持一致，目前有多种方法看起来很有前景。一个值得注意的例子是 Meaning Alignment Institute 的 民主细化 的工作。这里有一篇介绍这个想法的优秀帖子 这里。

感谢这次精彩的采访，并感谢您分享了关于 AI 偏差的看法，希望读者能够通过访问 Prolific 来了解更多信息。