Yaron Singer，Robust Intelligence CEO 及哈佛大学计算机科学教授 – 采访系列

Yaron Singer 是 Robust Intelligence 的 CEO 和哈佛大学计算机科学及应用数学教授。Yaron 以其在机器学习、算法和优化方面的突破性成果而闻名。之前，Yaron 曾在 Google 研究院工作，并从 UC Berkeley 获得博士学位。

您最初是什么时候对计算机科学和机器学习领域产生了兴趣?

我的旅程始于数学，这让我走向了计算机科学，然后又走向了机器学习。数学最初吸引了我的注意，因为其公理系统让我能够创造新的世界。通过计算机科学，我了解了存在证明，也了解了它们背后的算法。从创造性的角度来看，计算机科学是绘制我们可以和不能做的事情的界限。

我对机器学习的兴趣一直根植于对真实数据的兴趣，几乎是其物理方面。从真实世界中取出东西并对其建模以产生有意义的东西。我们可以通过有意义的建模来设计一个更好的世界。所以，数学给我提供了证明事物的基础，计算机科学帮助我看到什么可以做和什么不能做，而机器学习使我能够在世界中建模这些概念。

直到最近，您都是哈佛大学计算机科学和应用数学教授，您从这段经历中得到了什么关键的收获?

我作为哈佛大学教师的最大收获是，它培养了人们做大事的欲望。哈佛传统上有一个小型教师团队，对于任期制教师的期望是解决大问题和创造新领域。你必须大胆。这最终成为启动创造类别的初创公司并定义新空间的极佳准备。如果我不一定推荐先走哈佛的任期制教师之路——但如果你能幸存下来，那么建立初创公司会更容易。

您能描述一下您的“啊哈”时刻，当时您意识到复杂的 AI 系统容易受到坏数据的影响，这可能会带来一些深远的影响吗?

当我还是 UC Berkeley 的研究生时，我休假了一段时间，创办了一家为社交网络营销构建机器学习模型的初创公司。那是 2010 年。我们从社交媒体中获得了大量数据，并从头开始编码所有模型。对于零售商来说，财务影响非常显著，所以我们密切关注模型的性能。由于我们使用的是社交媒体数据，因此输入中存在许多错误，以及漂移。我们看到，很小的错误会导致模型输出发生很大的变化，并可能导致使用该产品的零售商出现糟糕的财务结果。

当我转到 Google+（对于我们这些记得的人来说）时，我看到了完全相同的效果。更戏剧性的是，在 AdWords 等系统中，它们会预测人们点击广告的可能性，我们注意到输入模型中的小错误会导致预测非常糟糕。当你在 Google 规模上看到这个问题时，你会意识到这个问题是普遍的。

这些经历极大地塑造了我的研究重点，我在哈佛大学的时间都花在了调查为什么 AI 模型会犯错误，以及如何设计算法来防止模型犯错误。这当然导致了更多的“啊哈”时刻，并最终导致了 Robust Intelligence 的诞生。

您能分享 Robust Intelligence 的起源故事吗?

Robust Intelligence 起源于对最初的理论问题的研究：我们可以对使用 AI 模型做出的决定有何种保证。Kojin 是哈佛的一名学生，我们一起合作，最初撰写研究论文。所以，它从撰写概述理论上什么是可能和不可能的论文开始。这些结果后来继续成为设计能够在实践中运行这些算法的算法和模型的程序。然后，启动一家公司，使组织能够使用这样的系统，这是一个自然的下一步。

Robust Intelligence 解决的许多问题都是沉默错误，什么是沉默错误，它们为什么这么危险?

在给出沉默错误的技术定义之前，值得退一步，了解为什么我们应该关心 AI 模型犯错误。我们关心 AI 模型犯错误的原因是这些错误的后果。我们的世界正在使用 AI 来自动化关键决策：谁能获得商业贷款和以什么利率，谁能获得医疗保险覆盖和以什么利率，哪些社区应该由警察巡逻，谁是工作的顶级候选人，如何组织机场安检等等。AI 模型极易出错的事实意味着，在自动化这些关键决策时，我们继承了大量风险。在 Robust Intelligence，我们称之为“AI 风险”，我们的使命是消除 AI 风险。

沉默错误是 AI 模型错误，其中 AI 模型接收输入并产生预测或决策作为输出，这些预测或决策是错误或有偏见的。所以，从功能角度来看，表面上一切对系统来说似乎都很好。然而，预测或决策是错误的。这些错误是沉默的，因为系统不知道有错误。这可能比 AI 模型无法产生输出的情况更糟糕，因为组织可能需要很长时间才能意识到他们的 AI 系统有缺陷。然后，AI 风险就会变成 AI 故障，这可能会产生严重的后果。

Robust Intelligence 基本上设计了一个 AI 防火墙，这个想法以前被认为是不可能的。为什么这是一个技术挑战?

AI 防火墙具有挑战性的一个原因是，它违背了机器学习社区的范式。机器学习社区以前的范式是，为了消除错误，需要将更多的数据，包括坏数据，输入模型。通过这样做，模型将自己训练并学会自我纠正错误。这种方法的问题是，它会导致模型的准确性大幅下降。例如，针对图像的最著名结果会导致 AI 模型的准确性从 98.5% 下降到约 37%。

AI 防火墙提供了不同的解决方案。我们将识别错误的问题与创建预测的角色分离，这意味着防火墙可以专注于一个特定的任务：确定数据点是否会产生错误的预测。

这本身就是一个挑战，因为预测单个数据点很困难。模型出错有很多原因，所以构建能够预测这些错误的技术并不容易。我们很幸运拥有我们现在的工程师。

系统如何帮助防止 AI 偏差?

模型偏差来自模型训练数据与用于做出预测的数据之间的差异。回想一下 AI 风险，偏差是沉默错误的主要问题。例如，这通常是代表性不足的人口中存在的问题。模型可能由于看到的数据较少而存在偏差，这将极大地影响模型的性能和预测的准确性。AI 防火墙可以提醒组织注意这些数据差异，并帮助模型做出正确的决策。

AI 防火墙还可以帮助组织防止哪些其他风险?

任何使用 AI 自动化决策（尤其是关键决策）的公司都会自动引入风险。坏数据可能只是输入 0 而不是 1，但仍可能导致严重的后果。无论风险是错误的医疗预测还是虚假的贷款预测，AI 防火墙都可以帮助组织防止风险。

您还想分享关于 Robust Intelligence 的其他信息吗?

Robust Intelligence 正在迅速发展，我们收到了很多优秀候选人的申请。但是我真正想强调的是，对于那些考虑申请的人来说，我们寻找的最重要的品质是他们对使命的热情。我们遇到了很多技术上很强的候选人，所以这真的取决于他们是否真正热衷于消除 AI 风险，以使世界变得更安全、更好。

在我们即将进入的世界中，目前由人类做出的许多决定将会被自动化。无论我们是否喜欢，这都是一个事实。鉴于此，Robust Intelligence 的所有人都希望自动化的决策是负责任的。因此，任何对产生影响、理解这将如何影响人们生活的人，我们都希望他们加入 Robust Intelligence。我们正在寻找这种热情。我们正在寻找将创建全世界都会使用的技术的人。

感谢这次精彩的采访，我很高兴了解您的关于防止 AI 偏差和需要 AI 防火墙的观点，希望了解更多的读者可以访问 Robust Intelligence。