诺拉·彼得罗娃，机器学习工程师和人工智能顾问 – 采访系列

诺拉·彼得罗娃是一位机器学习工程师和人工智能顾问，目前在Prolific公司工作。Prolific成立于2014年，已经拥有像谷歌、斯坦福大学、牛津大学、伦敦国王学院和欧洲委员会这样的客户。这些客户使用Prolific的参与者网络来测试新产品，训练人工智能系统，并确定他们的面向人类的应用程序是否按照预期工作。

您能否分享一些关于您在Prolific的背景和职业生涯的信息？是什么让您对人工智能感兴趣？

我的工作在Prolific主要分为两部分：一部分是作为人工智能使用案例和机会的顾问，另一部分是作为机器学习工程师。我从软件工程开始，逐渐转向机器学习。过去五年中，我大部分时间都专注于自然语言处理的使用案例和问题。

最初让我对人工智能感兴趣的是人工智能可以从数据中学习，并且它与人类的学习方式和大脑结构有关。我认为机器学习和神经科学可以相互补充，帮助我们更好地理解如何构建能够为社会提供价值的人工智能系统。

您个人知道的最大的人工智能偏差问题是什么？

人工智能模型中的偏差来自于我们输入的数据，完全消除偏差非常困难。然而，了解数据中的偏差并找到方法来减轻有害偏差至关重要。我们面临的最大问题是模型延续有害的刻板印象、系统性偏见和社会不公正。我们应该注意到这些人工智能模型将如何被使用以及它们将对用户产生什么影响，并确保它们在被批准用于敏感用例之前是安全的。

人工智能模型表现出有害偏差的著名领域包括，学校和大学招生中对代表性不足群体的歧视，以及性别刻板印象对女性招聘的负面影响。此外，刑事司法算法被发现将非裔美国被告错误地标记为“高风险”人群的比例几乎是白人被告的两倍，而面部识别技术由于缺乏代表性的训练数据，仍然存在对少数族裔的高错误率。

上述例子仅涵盖人工智能模型表现出的偏差的一个小子集。如果我们现在不专注于减轻偏差，我们可以预见更大的问题将在未来出现。人工智能模型从数据中学习，而这些数据包含偏差，这是由于人类决策受到未被检查和无意识偏差的影响。在许多情况下，转向人类决策者可能无法消除偏差。真正减轻偏差需要了解数据中存在的偏差，分离导致偏差预测的因素，并集体决定我们想要基于什么来做出重要的决定。制定一套标准来评估模型的安全性，以便在它们被用于敏感用例之前，是一个重要的步骤。

人工智能幻觉是生成式人工智能的一个巨大问题。您能否讨论如何使用人工智能训练（HITL）来减轻这些问题？

人工智能模型中的幻觉在某些生成式人工智能的使用案例中是一个问题，但必须注意，这些幻觉本身并不是问题。在某些创造性的生成式人工智能使用中，幻觉是受欢迎的，并有助于产生更具创造力和趣味的响应。

然而，在需要依赖事实信息的使用案例中，幻觉可能会带来问题。例如，在医疗保健领域，提供可靠的事实信息给医疗专业人员至关重要。

人工智能训练（HITL）指的是允许人类直接向模型提供反馈的系统，用于置信度较低的预测。在幻觉的背景下，HITL可以帮助模型学习在不同使用案例中应有的置信度水平，并在输出响应之前学习这些阈值。这些阈值将根据使用案例而有所不同，并教导模型如何区分不同使用案例的严谨性，这将是减轻问题的幻觉的一个关键步骤。例如，在法律使用案例中，人类可以向人工智能模型展示，在回答涉及复杂法律文件的多个条款和条件的问题时，事实核查是一个必要的步骤。

人工智能工作者，例如数据注释员，如何帮助减少潜在的偏差问题？

人工智能工作者可以首先帮助识别数据中的偏差。一旦偏差被识别，就更容易制定减轻偏差的策略。数据注释员还可以帮助减少偏差。例如，对于自然语言处理任务，他们可以通过提供替代方式来表达有问题的文本片段，以减少语言中的偏差。此外，人工智能工作者的多样性可以帮助减轻标注偏差的问题。

您如何确保人工智能工作者不会无意中将自己的偏差输入人工智能系统？

这是一个复杂的问题，需要仔细考虑。消除人类偏差几乎是不可能的，人工智能工作者可能会无意中将自己的偏差输入人工智能模型。因此，开发引导工作者朝着最佳实践发展的流程至关重要。

可以采取以下步骤来尽量减少人类偏差：

• 对人工智能工作者进行无意识偏差的全面培训，并为他们提供识别和管理偏差的工具。
• 检查清单，提醒人工智能工作者在提交响应之前验证自己的响应。
• 进行评估，以检查人工智能工作者对不同类型偏差的理解程度，并要求他们选择最不偏差的响应。

全球监管机构计划监管人工智能输出，您认为监管机构误解了什么，并且他们做对了什么？

首先要说的是，这是一个非常困难的问题，尚未找到解决方案。社会和人工智能将相互影响，很难预测它们将如何演变。找到强大和有用的监管实践的一个关键部分是关注人工智能的发展、人们如何对其做出反应以及它对不同行业的影响。

我认为，人工智能监管的一个重大障碍是缺乏对人工智能模型能力和工作原理的理解。这使得准确预测这些模型对不同行业和社会各个方面的影响变得更加困难。另一个缺乏的领域是关于如何使人工智能模型与人类价值观和安全标准相一致的思想领导力。

监管机构已经与人工智能领域的专家进行了合作，避免了过于严格的规则扼杀创新，并开始考虑人工智能对工作岗位的影响，这些都是非常重要的关注点。随着我们对人工智能监管的思考逐渐明确，必须谨慎行事，并在解决这个问题时尽可能地让更多的人参与其中，以便采取民主的方式来处理这个问题。

如何利用Prolific的解决方案帮助企业减少人工智能偏差和我们讨论的其他问题？

人工智能项目的数据收集过程并不总是经过深思熟虑。我们以前见过抓取、外包和其他方法被滥用。然而，人工智能的训练至关重要，下一代模型需要建立在故意收集的高质量数据之上，这些数据来自真实的人，并且与这些人有直接的联系。这就是Prolific发挥作用的地方。

其他领域，如民意调查、市场研究或科学研究，早就学会了这一点。您采样的受众对结果有很大的影响。人工智能正在赶上，并且我们现在正处于一个十字路口。

现在是开始关心使用更好的样本和与更具代表性的群体合作以训练和改进人工智能的时刻。两者对于开发安全、无偏差和对齐的模型都是至关重要的。

Prolific可以帮助企业提供正确的工具来以安全的方式进行人工智能实验，并从参与者那里收集数据，同时在整个过程中检查和减轻偏差。我们可以提供有关数据收集、选择、补偿和参与者公平对待的最佳实践的指导。

您对人工智能透明度的看法是什么？用户应该能够看到人工智能算法的训练数据吗？

我认为人工智能透明度的利弊都存在，尚未找到一个良好的平衡点。由于害怕诉讼，一些公司不愿透露他们用于训练人工智能模型的数据。其他公司则公开了他们的模型并发布了所有相关数据。完全透明会带来很多被利用的机会，而完全不透明则不能帮助建立对人工智能的信任。找到一个中间立场可以让我们相信人工智能模型是基于高质量的相关数据训练的，并且我们已经同意使用这些数据。我们需要密切关注人工智能如何影响不同行业，并与相关方进行开放的对话，确保我们为所有人开发出有效的实践。

我认为，考虑用户在可解释性方面的期望也很重要。如果他们想知道为什么模型会产生某种响应，提供原始训练数据可能无法回答他们的问题。因此，构建好的可解释性和可理解性工具至关重要。

人工智能对齐研究旨在引导人工智能系统朝着人类预期的目标、偏好或道德原则发展。您能否讨论人工智能工作者的培训以及如何确保人工智能与人类价值观对齐？

这是一个活跃的研究领域，尚未就应该使用什么策略来使人工智能模型与人类价值观或哪些价值观对齐达成共识。

人工智能工作者通常被要求真实地代表自己的偏好，并在遵循安全、无偏差、无害和有益原则的同时，诚实地回答关于他们偏好的问题。

关于与目标、道德原则或价值观对齐的方法，有多种方法看起来很有前景。一个值得注意的例子是意义对齐研究所关于民主微调的工作。这里有一篇介绍这个想法的优秀文章。

感谢这次精彩的采访，并感谢您与我们分享您对人工智能偏差的看法。希望了解更多的人工智能偏差信息的读者可以访问Prolific。