ما هي الذكاء الاصطناعي القابل للشرح؟

随着人工智能（AI）变得更加复杂和被广泛应用于社会，解释性人工智能（Explainable AI）成为了一种关键的过程和方法，通常被称为XAI。

可以将解释性人工智能定义为：

• 一组帮助人类用户理解和信任机器学习算法结果的过程和方法。

随着人工智能算法控制了许多领域，这种可解释性变得非常重要，因为它带来了偏见、有缺陷的算法和其他问题的风险。通过实现透明度，世界可以真正利用人工智能的力量。

解释性人工智能，如其名称所示，帮助描述人工智能模型、其影响和潜在偏见。它还在人工智能驱动的决策过程中发挥着作用，表征模型的准确性、公平性、透明度和结果。

今天的人工智能驱动的组织应该始终采用解释性人工智能过程，以帮助建立对生产环境中的人工智能模型的信任和信心。解释性人工智能也是成为今天环境中负责任的公司的关键。

由于今天的人工智能系统非常先进，人类通常需要进行计算过程来追踪算法如何得出其结果。这个过程变成了一个“黑盒”，这意味着它无法被理解。当这些不可解释的模型直接从数据中开发出来时，没人能够理解内部发生了什么。

通过解释性人工智能，开发人员可以确保系统按照预期工作。它还可以帮助确保模型符合监管标准，并提供了对模型进行挑战或更改的机会。

图片：Dr. Matt Turek/DARPA

人工智能和解释性人工智能之间的区别

一些关键的区别可以将“普通”人工智能与解释性人工智能区分开来，但最重要的是，XAI实现了特定的技术和方法，以确保机器学习过程中的每个决策都是可追踪和可解释的。相比之下，普通人工智能通常使用机器学习算法得出结果，但无法完全理解算法如何得出结果。在普通人工智能的情况下，很难检查准确性，导致缺乏控制、问责和审计。

解释性人工智能的益处

对于任何希望采用解释性人工智能的组织来说，有许多益处，例如：

• 更快的结果： 解释性人工智能使组织能够系统地监控和管理模型，以优化业务结果。可以不断评估和改进模型性能，并对模型开发进行微调。
• 减轻风险： 通过采用解释性人工智能过程，可以确保人工智能模型是可解释和透明的。可以管理监管、合规、风险和其他要求，同时尽量减少手动检查的开销。这也有助于减轻意外偏见的风险。
• 建立信任： 解释性人工智能有助于在生产环境中建立对人工智能模型的信任。人工智能模型可以快速部署，确保可解释性和可理解性，并简化和使模型评估过程更加透明。

解释性人工智能的技术

有几种XAI技术，所有组织都应该考虑，它们包括三个主要方法： 预测准确性、可追溯性和决策理解。

这三个方法中的第一个，预测准确性，对于成功使用人工智能在日常运作中至关重要。可以进行模拟，并比较XAI输出和训练数据集的结果，以帮助确定预测准确性。实现这一点的一种流行技术称为局部可解释的模型无关解释（LIME），它通过机器学习算法解释分类器的预测。

第二种方法是可追溯性，它是通过限制决策可以做出的方式以及为机器学习规则和特征建立狭窄的范围来实现的。可追溯性的一种常见技术是DeepLIFT，或称深度学习重要特征。DeepLIFT通过比较每个神经元的激活与其参考神经元来展示每个激活神经元之间的可追溯链接，并展示它们之间的依赖关系。

第三种也是最后一种方法是决策理解，它与其他两种方法不同，侧重于人。决策理解涉及教育组织，特别是与人工智能合作的团队，使他们能够理解人工智能如何以及为什么做出决策。这一方法对于在系统中建立信任至关重要。

解释性人工智能的原则

为了更好地理解XAI及其原则，美国商务部下属的国家标准与技术研究所（NIST）为解释性人工智能提供了四个原则的定义：

1. 人工智能系统应该为每个输出提供证据、支持或推理。
2. 人工智能系统应该提供用户可以理解的解释。
3. 解释应该准确反映系统用来得出输出的过程。
4. 人工智能系统应该仅在其设计条件下运行，不应该在缺乏足够信心的情况下提供输出。

这些原则可以进一步组织为：

• 有意义的： 要实现有意义的原则，用户应该理解提供的解释。这也可能意味着，在人工智能算法被不同类型的用户使用的情况下，可能会有多个解释。例如，在自动驾驶汽车的情况下，一个解释可能是“人工智能将道路上的塑料袋归类为岩石，因此采取了避免撞击它的行动”。虽然这个例子对驾驶员有效，但对于希望纠正问题的人工智能开发人员来说，它可能不是很有用。在这种情况下，开发人员必须了解为什么会发生错误分类。
• 解释准确性： 与输出准确性不同，解释准确性涉及人工智能算法准确地解释它如何得出输出。例如，如果贷款批准算法根据申请人的收入解释决策，但实际上是基于申请人的居住地，解释将是不准确的。
• 知识限制： 人工智能的知识限制可以通过两种方式实现，涉及输入超出了系统的专业知识。例如，如果系统被设计用来分类鸟类物种，并且它被给予一张苹果的图片，它应该能够解释输入不是一只鸟。如果系统被给予一张模糊的图片，它应该能够报告它无法识别图片中的鸟，或者它的识别结果有很低的置信度。

数据在解释性人工智能中的作用

解释性人工智能中最重要的组成部分之一是数据。

根据谷歌的说法，关于数据和解释性人工智能，“人工智能系统最好通过其底层训练数据和训练过程，以及所产生的人工智能模型来理解。”这种理解依赖于将训练好的人工智能模型映射到用于训练它的确切数据集的能力，以及能够密切检查数据的能力。

为了增强模型的可解释性，必须注意训练数据。团队应该确定用于训练算法的数据的来源、获取数据的合法性和道德性、数据中的潜在偏见以及可以采取的措施来减轻偏见。

数据和XAI的另一个关键方面是，系统中不相关的数据应该被排除。在训练集中或输入数据中不应包含不相关的数据。

谷歌推荐了一套实践来实现可解释性和问责制：

• 规划解释性追求的选项
• 将解释性作为用户体验的核心部分
• 设计可解释的模型
• 选择反映最终目标和任务的指标
• 了解训练好的模型
• 向模型用户传达解释
• 进行大量测试以确保人工智能系统按预期工作

通过遵循这些推荐的实践，组织可以确保实现解释性人工智能，这是任何人工智能驱动的组织在今天的环境中都至关重要的。