面试
Nora Petrova，Prolific 机器学习工程师兼人工智能顾问 – 访谈系列
Nora Petrova，是一名机器学习工程师兼人工智能顾问 多产。 Prolific 成立于 2014 年，其客户包括谷歌、斯坦福大学、牛津大学、伦敦国王学院和欧盟委员会等组织，利用其参与者网络测试新产品、训练眼动追踪等领域的人工智能系统。确定他们的面向人类的人工智能应用程序是否按照其创建者的预期运行。
您能否分享一些有关您在 Prolific 的背景和迄今为止的职业生涯的信息？ 是什么让您对人工智能感兴趣？
我在 Prolific 的角色分为两部分：担任人工智能用例和机会的顾问，以及更注重实际操作的机器学习工程师。 我的职业生涯始于软件工程，并逐渐转向机器学习。 过去 5 年的大部分时间我都专注于 NLP 用例和问题。
最初让我对人工智能感兴趣的是从数据中学习的能力，以及我们作为人类如何学习以及我们的大脑如何构造的联系。 我认为机器学习和神经科学可以相辅相成，帮助我们进一步了解如何构建能够驾驭世界、展现创造力并为社会增加价值的人工智能系统。
您个人意识到的最大的人工智能偏见问题是什么？
偏见是我们输入人工智能模型的数据所固有的，要完全消除它是非常困难的。 然而，在我们将社会中的重要任务委托给模型之前，我们必须意识到数据中存在的偏见，并找到减轻有害偏见的方法。 我们面临的最大问题是使社会中有害的刻板印象、系统性偏见和不公正现象长期存在的模式。 我们应该注意这些人工智能模型的使用方式以及它们对用户的影响，并在批准它们用于敏感用例之前确保它们的安全。
人工智能模型表现出有害偏见的一些突出领域包括，在学校和大学招生中对代表性不足的群体的歧视，以及对女性招聘产生负面影响的性别刻板印象。 不仅如此，刑事司法算法被发现将非洲裔美国被告错误地标记为“高风险”，其错误率几乎是美国将白人被告错误地标记为“高风险”的比率的两倍，而面部识别技术仍然因少数族裔的错误率而受到影响。缺乏代表性的训练数据。
上面的例子涵盖了人工智能模型所展示的一小部分偏见，如果我们现在不专注于减轻偏见，我们可以预见未来会出现更大的问题。 重要的是要记住，人工智能模型从包含这些偏见的数据中学习，这是由于人类决策受到未经检查和无意识偏见的影响。 在很多情况下，服从人类决策者可能无法消除偏见。 真正减少偏差需要了解它们在我们用来训练模型的数据中如何存在，隔离导致有偏差的预测的因素，并共同决定我们想要作为重要决策的基础。 制定一套标准，以便我们可以在将模型用于敏感用例之前对其安全性进行评估，这将是向前迈出的重要一步。
对于任何类型的生成人工智能来说，人工智能幻觉都是一个大问题。 你能讨论一下如何 人在环 （HITL）培训是否能够缓解这些问题？
人工智能模型中的幻觉在生成人工智能的特定用例中是有问题的，但重要的是要注意它们本身并不是问题。 在生成人工智能的某些创造性用途中，幻觉是受欢迎的，并且有助于产生更具创造性和有趣的反应。
在高度依赖事实信息的用例中，它们可能会出现问题。 例如，在医疗保健领域，稳健的决策是关键，因此为医疗保健专业人员提供可靠的事实信息势在必行。
HITL 是指允许人类向模型提供直接反馈以进行低于一定置信度的预测的系统。 在幻觉的背景下，HITL 可用于帮助模型在输出响应之前了解不同用例应具有的确定性级别。 这些阈值将根据用例和教学模型而有所不同，回答不同用例的问题所需的严格性差异将是减轻有问题的幻觉的关键一步。 例如，在法律用例中，人类可以向人工智能模型证明，在回答基于包含许多条款和条件的复杂法律文件的问题时，事实检查是必要的步骤。
数据注释者等人工智能工作者如何帮助减少潜在的偏见问题？
人工智能工作者首先可以帮助识别数据中存在的偏见。 一旦发现了偏见，就更容易制定缓解策略。 数据注释器还可以帮助想出减少偏见的方法。 例如，对于 NLP 任务，他们可以通过提供替代的方式来表述有问题的文本片段，从而减少语言中存在的偏见。 此外，人工智能工作者的多样性可以帮助缓解标签偏见问题。
如何确保人工智能工作者不会无意中将自己的人类偏见带入人工智能系统？
这无疑是一个复杂的问题，需要仔细考虑。 消除人类偏见几乎是不可能的，人工智能工作人员可能会无意中将他们的偏见传递给人工智能模型，因此开发引导工作人员实现最佳实践的流程至关重要。
可以采取一些措施将人类偏见降至最低，包括：
- 对人工智能工作者进行有关无意识偏见的全面培训，并为他们提供如何在标记过程中识别和管理自己偏见的工具。
- 检查表提醒人工智能工作者在提交之前验证自己的回答。
- 进行一项评估，检查人工智能工作者的理解程度，向他们展示不同类型偏见的反应示例，并要求他们选择偏见最小的反应。
世界各地的监管机构都打算监管人工智能输出，您认为监管机构误解了什么，他们有什么权利？
首先要说的是，这是一个非常困难的问题，没有人找到解决方案。 社会和人工智能都将以难以预测的方式发展并相互影响。 寻找强有力且有用的监管实践的有效策略的一部分是关注人工智能正在发生的事情、人们如何应对它以及它对不同行业的影响。
我认为有效监管人工智能的一个重大障碍是缺乏对人工智能模型能做什么、不能做什么以及它们如何工作的理解。 反过来，这使得准确预测这些模型将对社会不同部门和不同阶层产生的后果变得更加困难。 另一个缺乏的领域是如何使人工智能模型与人类价值观保持一致以及更具体地讲安全是什么样子的思想领导力。
监管机构寻求与人工智能领域的专家合作，小心翼翼地避免因人工智能过于严格的规则而扼杀创新，并开始考虑人工智能对就业岗位流失的影响，这些都是非常重要的关注领域。 随着时间的推移，我们对人工智能监管的想法逐渐清晰，并让尽可能多的人参与进来，以便以民主的方式解决这个问题，因此仔细讨论这一点很重要。
Prolific 解决方案如何帮助企业减少人工智能偏见以及我们讨论过的其他问题？
人工智能项目的数据收集并不总是一个经过深思熟虑或深思熟虑的过程。 我们之前已经看到了抓取、离岸外包和其他方法的盛行。 然而，我们如何训练人工智能至关重要，下一代模型将需要建立在有意收集的高质量数据的基础上，这些数据来自真实的人和你直接接触的人。 这就是 Prolific 留下痕迹的地方。
其他领域，例如民意调查、市场研究或科学研究，很早以前就认识到了这一点。 您抽样的受众对您获得的结果有很大影响。 人工智能开始迎头赶上，我们现在正走到十字路口。
现在是开始关心使用更好的样本并与更具代表性的群体合作进行人工智能训练和细化的时候了。 两者对于开发安全、公正和一致的模型都至关重要。
Prolific 可以帮助企业提供正确的工具，以安全的方式进行人工智能实验，并从参与者那里收集数据，并在此过程中检查和减轻偏见。 我们可以帮助提供有关数据收集、参与者选择、补偿和公平待遇的最佳实践指导。
您对人工智能透明度有何看法？用户是否应该能够看到人工智能算法训练的数据？
我认为透明度有利有弊，但尚未找到良好的平衡点。 由于担心诉讼，公司隐瞒了用于训练人工智能模型的数据信息。 其他人则致力于公开他们的人工智能模型，并发布了有关他们所使用的数据的所有信息。 完全透明为利用这些模型的漏洞提供了很多机会。 完全保密无助于建立信任和让社会参与构建安全的人工智能。 良好的中间立场将提供足够的透明度，让我们相信人工智能模型已经接受了我们同意的高质量相关数据的训练。 我们需要密切关注人工智能如何影响不同行业，并与受影响各方进行公开对话，确保我们开发出适合所有人的实践。
我认为考虑用户在可解释性方面会感到满意的内容也很重要。 如果他们想了解模型为何产生某种响应，向他们提供模型训练所用的原始数据很可能无助于回答他们的问题。 因此，构建良好的可解释性和可解释性工具非常重要。
人工智能一致性研究旨在引导人工智能系统实现人类的预期目标、偏好或道德原则。 您能否讨论如何培训人工智能工作人员以及如何利用培训来确保人工智能尽可能最佳地保持一致？
这是一个活跃的研究领域，对于我们应该使用什么策略来使人工智能模型与人类价值观保持一致，甚至我们应该将它们与哪一组价值观保持一致，目前还没有达成共识。
人工智能工作者通常被要求真实地表达他们的偏好，并如实回答有关他们偏好的问题，同时遵守安全、无偏见、无害和有益的原则。
关于目标、道德原则或价值观的一致性，有多种方法看起来很有前途。 一个值得注意的例子是意义对齐研究所 (The Meaning Alignment Institute) 的一项工作 民主微调。 有一篇很棒的文章介绍了这个想法 此处.
感谢您的精彩采访并分享您对人工智能偏见的看法，希望了解更多信息的读者应该访问 多产的.
