Yaron Singer，Robust Intelligence 首席执行官兼哈佛大学计算机科学教授 – 访谈系列

亚龙·辛格 (Yaron Singer) 是 强大的智能 哈佛大学计算机科学和应用数学教授。 Yaron 以其在机器学习、算法和优化方面的突破性成果而闻名。此前，Yaron 曾在谷歌研究院工作，并在加州大学伯克利分校获得博士学位。

是什么最初吸引您进入计算机科学和机器学习领域？

我的旅程始于数学，它引导我进入计算机科学，这让我走上了机器学习的道路。 数学最初引起了我的兴趣，因为它的公理系统让我有能力创造新世界。 通过计算机科学，我了解了存在证明，也了解了它们背后的算法。 从创造性的角度来看，计算机科学是在我们能做什么和不能做什么之间划定界限。

我对机器学习的兴趣始终植根于对真实数据的兴趣，几乎是它的物理方面。 从现实世界中获取事物并对它们进行建模，使之变得有意义。 我们确实可以通过有意义的建模来设计一个更美好的世界。 因此，数学为我提供了证明事物的基础，计算机科学帮助我了解什么可以做，什么不可以做，而机器学习使我能够在世界上对这些概念进行建模。

直到最近您还是哈佛大学计算机科学和应用数学教授，您从这段经历中得到的主要收获是什么？

作为一名哈佛大学教员，我最大的收获是它培养了一个人做大事的胃口。 哈佛传统上教职人员规模较小，而终身教授的期望是解决重大问题并创造新领域。 你必须大胆。 这最终为启动一个创建品类的初创公司定义一个新的空间做好了很好的准备。 我不一定建议先通过哈佛终身教职——但如果你能挺过这一关，创办一家初创公司就会更容易。

当您意识到复杂的人工智能系统容易受到不良数据的影响并产生一些潜在的深远影响时，您能描述一下您的“顿悟”时刻吗？

当我还是加州大学伯克利分校的研究生时，我花了一些时间创办了一家初创公司，为社交网络营销构建机器学习模型。 那是在 2010 年。我们拥有来自社交媒体的大量数据，并且我们从头开始对所有模型进行编码。 这对零售商的财务影响相当重大，因此我们密切关注模型的表现。 由于我们使用的数据来自社交媒体，因此输入中存在很多错误，并且存在偏差。 我们发现非常小的错误会导致模型输出发生巨大变化，并可能给使用该产品的零售商带来糟糕的财务结果。

当我转而在 Google+ 上工作时（对于我们这些还记得的人来说），我看到了完全相同的效果。 更引人注目的是，在 AdWords 等预测人们点击关键字广告的可能性的系统中，我们注意到模型输入中的小错误会导致非常糟糕的预测。 当您在 Google 规模上目睹这个问题时，您就会意识到这个问题是普遍存在的。

这些经历极大地影响了我的研究重点，我在哈佛花了很多时间研究人工智能模型为什么会犯错误，更重要的是，如何设计可以防止模型犯错误的算法。 当然，这导致了更多的“顿悟”时刻，并最终创造了鲁棒智能。

您能分享一下鲁棒智能背后的起源故事吗？

鲁棒智能从研究最初的理论问题开始：我们可以为使用人工智能模型做出的决策提供哪些保证。 Kojin 是哈佛大学的学生，我们一起工作，最初撰写研究论文。 因此，首先要撰写论文，概述理论上什么是根本上可能的和不可能的。 这些结果后来继续用于设计对人工智能故障具有鲁棒性的算法和模型的程序。 然后我们构建可以在实践中运行这些算法的系统。 之后，自然而然地创办一家公司，让组织可以使用这样的系统。

鲁棒智能解决的许多问题都是无声错误，这些错误是什么以及是什么让它们如此危险？

在给出无声错误的技术定义之前，值得退后一步并理解为什么我们首先应该关心人工智能犯的错误。 我们关心人工智能模型犯错误的原因是这些错误的后果。 我们的世界正在使用人工智能来自动化关键决策：谁获得商业贷款以及利率是多少，谁获得医疗保险覆盖范围以及利率是多少，警察应该巡逻哪些社区，谁最有可能成为工作的最佳候选人，我们应该如何组织机场安检等等。 事实上，人工智能模型极易出错，这意味着在自动化这些关键决策时，我们会承受很大的风险。 在 Robust Intelligence，我们称之为“人工智能风险”，我们公司的使命是消除人工智能风险。

无声错误是人工智能模型的错误，其中人工智能模型接收输入并生成错误或有偏见的预测或决策作为输出。 因此，从表面上看，系统的一切看起来都很好，因为人工智能模型正在做从功能角度来看应该做的事情。 但预测或决定是错误的。 这些错误是无声的，因为系统不知道存在错误。 这可能比人工智能模型没有产生输出的情况更糟糕，因为组织可能需要很长时间才能意识到他们的人工智能系统有缺陷。 然后，人工智能风险就会变成人工智能失败，这可能会带来可怕的后果。

鲁棒智能本质上设计了一个人工智能防火墙，这个想法以前被认为是不可能的。 为什么这是一个如此大的技术挑战？

人工智能防火墙之所以如此具有挑战性，原因之一是它违背了机器学习社区的范式。 机器学习社区之前的范式是，为了消除错误，需要向模型提供更多数据，包括不良数据。 通过这样做，模型将自我训练并学习如何自我纠正错误。 这种方法的问题在于它会导致模型的准确性急剧下降。 例如，最著名的图像结果导致 AI 模型的准确率从 98.5% 下降到 37% 左右。

AI防火墙提供了不同的解决方案。 我们将识别错误的问题与创建预测的角色分离，这意味着防火墙可以专注于一项特定任务：确定数据点是否会产生错误的预测。

由于很难对单个数据点进行预测，这本身就是一个挑战。 模型出错的原因有很多，因此构建一种可以预测这些错误的技术并不是一件容易的事。 我们非常幸运拥有我们这样的工程师。

该系统如何帮助防止人工智能偏见？

模型偏差来自模型训练所用的数据与其用于进行预测的数据之间的差异。 回到人工智能风险，偏见是归因于无声错误的一个主要问题。 例如，这通常是代表性不足的人群的问题。 模型可能存在偏差，因为它从该群体中看到的数据较少，这将极大地影响该模型的性能及其预测的准确性。 AI 防火墙可以向组织发出这些数据差异的警报，并帮助模型做出正确的决策。

人工智能防火墙可以帮助防止组织面临哪些其他风险？

任何使用人工智能自动化决策（尤其是关键决策）的公司都会自动引入风险。 不良数据可能像输入零而不是一一样小，但仍然会导致严重后果。 无论风险是错误的医疗预测还是错误的贷款预测，人工智能防火墙都可以帮助组织完全预防风险。

关于鲁棒智能，您还有什么想分享的吗？

Robust Intelligence 正在迅速发展，我们收到了很多优秀的候选人申请职位。 但我真正想向正在考虑申请的人强调的是，我们在候选人中寻求的最重要的品质是他们对使命的热情。 我们遇到了很多技术过硬的候选人，所以这实际上取决于了解他们是否真正热衷于消除人工智能风险，让世界变得更安全、更美好。

在我们即将迈向的世界中，目前由人类做出的许多决策都将实现自动化。 不管我们喜欢与否，这都是事实。 鉴于此，Robust Intelligence 的所有人都希望负责任地完成自动化决策。 因此，任何热衷于产生影响、了解影响人们生活的方式的人，都是我们正在寻找加入 Robust Intelligence 的候选人。 我们正在寻找那种激情。 我们正在寻找能够创造这项全世界都将使用的技术的人。

感谢您的精彩采访，我很高兴了解您对防止人工智能偏见以及人工智能防火墙的必要性的看法，希望了解更多信息的读者应该访问 强大的智能。