思想领袖
如何让人工智能变得更可解释和值得信赖
随着人工智能（AI）在企业中变得更加普遍，它正逐渐成为我们生活中不可或缺的一部分。这种普及的重要方面是，终端用户应该能够完全理解人工智能使用的过程和机制，以及它如何运作以达到预期的结果。作为人类，我们有着深刻的需求，去揭示任何现象的“为什么”和“如何”，这推动了我们的技术进步。在人工智能的背景下，这种理解被称为“可解释性”。
为什么可解释性是当今的需求？
我们经常将人工智能视为一个“黑盒”，我们只知道输入和输出，但其中的过程却难以理解。复杂的深度学习预测系统和自然语言处理（NLP）等人工智能的流行形式所使用的算法，即使对于最熟练的从业者来说，也是高度抽象的。
信任和透明度：为了让用户信任人工智能的预测，人工智能必须具有一定的内在可解释性。例如，如果一个医疗从业者需要根据人工智能的预测推荐治疗方案，他需要对预测充满信心。银行必须对拒绝或批准贷款的决定充满信心，并能够为所有利益相关者辩护。用于筛选和招聘的人工智能必须证明其底层机制是公平和公正的。
使人工智能更人性化并增加采用率：在麦肯锡的2020年人工智能现状报告中，我们了解到，一家制造商使用极其透明的模型来获得工厂工人的接受，他们需要相信人工智能关于安全的判断。快速采用人工智能，获得利益相关者的认可是从简单的点解决方案扩展到企业级并最大限度地发挥投资回报的主要障碍。如果性能可以向更广泛的受众解释清楚，这将在很大程度上缓解这一问题。从商业角度来看，可解释性提高了整体用户体验和客户满意度。根据IBM商业价值研究所的调查，68%的高管认为，客户将在未来三年内要求人工智能提供更多的可解释性。
揭示偏见和改进模型性能：开发人员需要知道如何改进模型的性能，以及如何调试和微调它。清晰的可解释性框架是进行彻底分析的最重要工具之一。
获得更清晰、更全面的洞察力：为了完全理解人工智能的任何处方，需要对其进行360度的了解。例如，如果人工智能用于做出投资决策，人们还需要知道背后的理由，以便将这种学习转移到其他领域，并了解采取该决策的潜在陷阱。对人工智能的运作有深刻的理解，也将使决策者能够发现新的用例。
法规和问责制：像GDPR这样的法规正在要求解释权，以解决自动决策过程中产生的问责问题。在像自动驾驶汽车这样的系统中，如果发生事故导致生命和财产损失，需要对根源有适当的了解，这在黑盒系统中将很难确定。
如何使人工智能更具可解释性？
可解释的人工智能系统（XAI）是使用不同技术开发的，这些技术专注于解释整个模型或通过某些算法的帮助来解释个别预测。
大多数可解释性技术都依赖于：
- 将模型分解为个别组件)
- 可视化模型预测（例如，如果模型将一辆车归类为某个品牌，它会突出显示导致它被归类为该品牌的部分）
- 解释挖掘（使用机器学习技术来查找相关数据以解释人工智能算法的预测）
在一种称为代理建模的技术中，使用一个更简单、更易于理解的模型（如决策树）来近似表示更复杂的人工智能模型。这些简单的解释可以从高层次上提供对模型的合理了解，但有时会抑制某些细微差别。
另一种方法称为“设计可解释性”，这种方法通过在设计和训练人工智能网络时施加约束，尝试以一种新的方式构建整个网络，从较小、更简单的可解释块开始。这涉及在准确性和可解释性之间进行权衡，并限制了数据科学家工具箱中的某些方法。它也可能需要大量计算。
人工智能训练和测试也可以采用无关数据验证技术，例如局部可解释模型（LIME）和Shapley加性解释（SHAP），这些技术应该根据F分数、精度和其他指标来实现高准确率。当然，所有结果都应该使用各种数据进行监控和验证。使用LIME，例如，组织可以创建临时模型来模拟非透明算法（如机器学习）进行预测。这些LIME模型可以根据给定的数据集和其对应的输出创建大量的变体，然后可以用来训练更简单、更易于解释的模型，并为每个决策和/或预测提供完整的解释列表。SHAP框架以合作博弈论为基础，特别是以Shapley值为基础，结合了最优信用分配和局部解释，使用原始Shapley值和其后代。
原则性运营
然而，在更战略性的层面上，人工智能可靠性框架应该包含一系列原则，以确保在部署初期和随着模型在不断变化的环境中演变时的适当结果。至少，这些框架应该包括以下内容：
- 偏见检测 – 所有数据集都应清除偏见和歧视性属性，并在应用于训练模型时给予适当的权重和酌情权；
- 人工干预 – 操作员应能够在任何时候调查和解释算法输出，特别是在模型用于执法和保护民权时；
- 辩护 – 所有预测都必须能够经受住审查，这本质上需要高度的透明度，以便外部观察者能够衡量用于产生结果的过程和标准；
- 可复制性 – 可靠的人工智能模型必须在预测中保持一致，并在遇到新数据时表现出高水平的稳定性。
但XAI不应该仅仅被视为提高盈利能力的手段，而是为了带来问责制，确保机构能够解释和辩护其创造对整个社会的影响。
