谷歌创建新的可解释性 AI 程序以增强透明度和调试性

谷歌最近宣布创建一个新的云平台，旨在让人们更容易地了解 AI 程序如何做出决定，使得调试程序变得更容易，并增强透明度。据 The Register 报道，这个云平台被称为可解释性 AI，这是谷歌在 AI 可解释性方面的一项重大尝试。

人工神经网络被用于今天世界上许多，甚至大多数主要的 AI 系统。这些神经网络可能非常复杂和庞大，随着系统的复杂性增加，变得越来越难以理解为什么会做出某个决定。正如谷歌在其白皮书中解释的那样，随着 AI 系统变得更加强大，它们也变得更加复杂和难以调试。同时，透明度也会丧失，这意味着偏见算法很难被识别和解决。

复杂系统的推理过程难以解释，这通常会产生严重的后果。除了使得反对 AI 偏见变得困难之外，还会使得区分虚假关联和真正重要的关联变得非常困难。

许多公司和研究团队正在探索如何解决 AI 的“黑盒子”问题，并创建一个能够充分解释 AI 为什么做出某些决定的系统。谷歌的可解释性 AI 平台代表了其自身解决这一挑战的尝试。可解释性 AI 由三个不同的工具组成。第一个工具是一个系统，它描述了 AI 选择了哪些特征，并显示了一个归因分数，代表了特定特征对最终预测的影响。谷歌关于该工具的报告给出了一个预测自行车骑行时间的例子，基于雨量、当前温度、星期几和开始时间等变量。网络做出决定后，会提供反馈，显示哪些特征对预测产生了最大的影响。

这个工具如何在图像数据的情况下提供这样的反馈？在这种情况下，工具会生成一个覆盖层，突出显示图像中对渲染的决定产生了最大影响的区域。

工具包中的另一个工具是“假设”工具，它显示了模型性能在个别属性被操纵时的潜在波动。最后，最后一个工具可以设置为定期向人类审查员提供示例结果。

谷歌的首席科学家安德鲁·摩尔博士描述了该项目的灵感。摩尔解释说，大约五年前，学术界开始担心 AI 使用的有害副作用，谷歌希望确保其系统仅被用于道德方式。摩尔描述了一个事件，公司试图设计一个计算机视觉程序来提醒建筑工人是否没有戴头盔，但他们担心监控可能会被过度扩展并变得去人性化。摩尔说，谷歌决定不发布通用面部识别 API 的原因是类似的，因为公司希望对其技术的使用有更多控制，并确保其仅被用于道德方式。

摩尔还强调了 为什么 AI 的决策需要被解释的重要性：

“如果你有一个安全关键系统或一个社会上重要的事情，它可能会产生意想不到的后果，如果你认为你的模型犯了一个错误，你必须能够诊断它。我们希望仔细解释可解释性可以和不能做什么。这不是万能药。