AI 入门 101
什么是可解释的 AI？
随着人工智能（AI）变得更加复杂和广泛应用于社会，解释性人工智能（Explainable AI），有时也被称为 XAI，是最关键的一组过程和方法之一。
可解释性人工智能可以定义为：
- 一组帮助人类用户理解和信任机器学习算法结果的过程和方法。
如您所料，这种解释性是非常重要的，因为 AI 算法控制了许多行业，这带来了偏差、有缺陷的算法和其他问题的风险。通过实现透明度和解释性，世界可以真正利用人工智能的力量。
可解释性人工智能，如其名称所示，帮助描述 AI 模型、其影响和潜在偏差。它还在表征模型准确性、公平性、透明度和 AI 驱动的决策过程中的结果方面发挥作用。
今天的 AI 驱动型组织应该始终采用可解释性人工智能过程，以帮助建立对生产环境中 AI 模型的信任和信心。可解释性人工智能也是在今天的 AI 环境中成为一家负责的公司的关键。
由于今天的 AI 系统非常先进，人类通常会进行计算过程来重现算法如何得出其结果。这个过程变成了一个“黑盒”，这意味着它无法被理解。当这些不可解释的模型直接从数据中开发出来时，没人能理解内部发生了什么。
通过了解 AI 系统如何通过可解释性人工智能运作，开发人员可以确保系统按照预期工作。它还可以帮助确保模型符合监管标准，并提供机会让模型被挑战或更改。
图片：Dr. Matt Turek/DARPA
AI 和 XAI 之间的差异
有一些关键差异可以区分“普通”AI 和可解释性人工智能，但最重要的是，XAI 实现了特定的技术和方法，以确保机器学习过程中的每个决策都是可追踪和可解释的。相比之下，普通 AI 通常使用机器学习算法得出结果，但无法完全理解算法如何得出结果。在普通 AI 的情况下，很难检查准确性，导致缺乏控制、问责和审计。
可解释性人工智能的益处
对于任何希望采用可解释性人工智能的组织来说，有很多益处，例如：
- 更快的结果： 可解释性人工智能使组织能够系统地监控和管理模型，以优化业务结果。可以不断评估和改进模型性能，并微调模型开发。
- 减轻风险： 通过采用可解释性人工智能过程，可以确保 AI 模型是可解释和透明的。可以管理监管、合规、风险和其他要求，同时最小化手动检查的开销。所有这些也可以帮助减轻意外偏差的风险。
- 建立信任： 可解释性人工智能有助于在生产环境中建立对 AI 模型的信任。AI 模型可以快速投入生产，可以确保可解释性和可理解性，并且模型评估过程可以简化和变得更加透明。
可解释性人工智能的技术
有一些 XAI 技术，所有组织都应该考虑，它们包括三个主要方法： 预测准确性、可追踪性和决策理解。
这三种方法中的第一种，预测准确性，对于成功使用 AI 在日常操作中至关重要。可以进行模拟，并且 XAI 输出可以与训练数据集中的结果进行比较，这有助于确定预测准确性。实现这一点的一种更流行的技术称为局部可解释的模型无关解释（LIME），它解释了机器学习算法的预测。
第二种方法是可追踪性，它是通过限制决策可以做出的方式以及为机器学习规则和特征建立一个更窄的范围来实现的。可追踪性的一种最常见的技术是 DeepLIFT 或深度学习重要特征。DeepLIFT 比较每个神经元的激活与其参考神经元，同时展示每个激活神经元之间的可追踪链接，并显示它们之间的依赖关系。
第三种也是最后一种方法是决策理解，它是以人为中心的，与其他两种方法不同。决策理解涉及教育组织，特别是与 AI 合作的团队，使他们能够理解 AI 如何以及为什么做出决定。这种方法对于在系统中建立信任至关重要。
可解释性人工智能的原则
为了更好地理解 XAI 和其原则，美国商务部下属的国家标准与技术研究所（NIST）为可解释性人工智能提供了四个原则的定义：
- AI 系统应该为每个输出提供证据、支持或推理。
- AI 系统应该提供用户可以理解的解释。
- 解释应该准确反映系统用来得出其输出的过程。
- AI 系统应该只在其设计的条件下运行，并且不应该在缺乏足够的信心时提供输出。
这些原则可以进一步组织成：
- 有意义的： 要实现有意义的原则，用户应该理解所提供的解释。这也可能意味着，在 AI 算法被不同类型的用户使用的情况下，可能会有多个解释。例如，在自动驾驶汽车的情况下，一个解释可能是“AI 将道路上的塑料袋归类为岩石，因此采取了避免撞击的行动”。虽然这个例子对驾驶员有效，但对于想要纠正问题的 AI 开发人员来说，它并不是很有用。在这种情况下，开发人员必须了解为什么会发生误分类。
- 解释准确性： 与输出准确性不同，解释准确性涉及 AI 算法准确地解释它如何得出其输出。例如，如果贷款批准算法根据申请人的收入解释其决定，但实际上是基于申请人的居住地，解释将是不准确的。
- 知识限制： AI 的知识限制可以通过两种方式实现，涉及输入超出了系统的专业知识。例如，如果系统被设计为分类鸟类，并且它被给予一个苹果的图片，它应该能够解释输入不是一只鸟。如果系统被给予一张模糊的图片，它应该能够报告它无法识别图片中的鸟，或者它的识别具有非常低的置信度。
数据在可解释性人工智能中的作用
可解释性人工智能中最重要的组成部分之一是数据。
根据 Google 的说法，关于数据和可解释性人工智能，“AI 系统最好通过其底层训练数据和训练过程以及所得的 AI 模型来理解”。这种理解依赖于将训练的 AI 模型映射到用于训练它的确切数据集的能力，以及检查数据的能力。
为了增强模型的可解释性，必须注意训练数据。团队应该确定用于训练算法的数据的来源、获取数据的合法性和伦理性、数据中的潜在偏差以及可以采取的措施来减轻偏差。
数据和 XAI 的另一个关键方面是，系统中不相关的数据应该被排除。为此，必须确保不相关的数据不包含在训练集中或输入数据中。
Google 推荐了一套实践来实现可解释性和问责制：
- 规划解释性追求的选项
- 将解释性视为用户体验的核心部分
- 设计模型以使其可解释
- 选择反映最终目标和最终任务的指标
- 了解训练模型
- 向模型用户传达解释
- 进行大量测试以确保 AI 系统按预期工作
通过遵循这些推荐的实践，组织可以确保实现可解释性人工智能，这是任何 AI 驱动型组织在今天的环境中都至关重要的。
理解训练模型，传达解释给模型用户，进行大量测试以确保 AI 系统按预期工作，通过遵循这些推荐的实践，组织可以确保实现可解释性人工智能，这是任何 AI 驱动型组织在今天的环境中都至关重要的。
