艾夫拉因·鲁赫，Digitate EMEA 首席技术官 – 采访系列

艾夫拉因·鲁赫是 Digitate 的首席技术官，负责 EMEA 地区的技术战略，重点关注企业人工智能、自动化和大规模运营转型。他与欧洲、中东和非洲的客户密切合作，帮助组织负责地部署人工智能，强调实用执行、治理和可衡量的成果。鲁赫是行业讨论中关于代理人工智能、MLOps 成熟度和从人工智能试验到生产系统的现实性的频繁贡献者。

Digitate 是一家企业软件公司，也是塔塔咨询服务公司的子公司，专门从事 IT 和业务运营的人工智能驱动自动化。其核心平台 ignio 通过结合机器学习、知识图和智能自动化，实现自主运营，能够检测问题、预测结果和自我修复复杂企业环境中的系统。Digitate 为大型全球组织提供服务，旨在通过应用人工智能减少运营复杂性、提高弹性和效率。

考虑到您在 Digitate 的广泛技术领导角色和您之前在 IT 运营、架构和企业系统方面的实践经验，您如何看待可解释人工智能的重要性相比于许多组织仍然依赖的黑盒自动化模型？

早期的自动化主要是反应性和基于规则的，这使得黑盒行为更容易忍受，因为结果非常可预测。随着人工智能系统转向能够推理和生成自身响应的主动代理，耐受不透明度的空间消失了。IT 领导者负责保持关键系统的可用性，他们的责任几乎没有空间用于无法验证其推理的系统的实验。可解释性因此从技术特性转变为运营要求，使得大规模的信任成为可能。为了信任这些新的人工智能代理，必须让他们分享自己的思维过程（基本上是如何得出解决方案）和推理结果。

为什么信任和可解释性成为企业 IT 中采用先进人工智能驱动自动化的最大障碍？

企业 IT 在不断的问责和风险中运营。当人工智能系统自主做出决定，特别是在预防或自我修复的运营模式中，监督团队必须能够理解为什么采取某一行动。没有对证据、上下文和决策逻辑的可见性，人工智能引入了不确定性而不是减少它。这种缺乏透明度和不确定性影响了信任，因此，减缓了采用速度，尤其是在 IT 团队中，远远超过了模型准确性或性能。

人工智能驱动的 IT 运营中真正的可解释性是什么样子，它如何帮助团队在系统自主执行之前验证决策？

真正的可解释性是实用和面向操作员的。这意味着技术需要清晰地显示用于推理的数据，验证系统理解正确的运营上下文，并以人类可读的术语解释推荐的行动方案。它还包括历史验证，例如类似决策是否以前做出过以及结果如何。这使得团队能够快速验证行动，并在风险低的情况下自信地扩大自主执行。如果人们无法快速消化和采取行动，则可解释性工具未能发挥其作用。

可解释性的缺乏如何转化为大型组织的实际运营、财务或业务风险？

如果你经营一家工厂，关键设备缺乏维护警报，最终会在没有警报的情况下出现故障，导致产品质量差或计划外停机。同样，缺乏可解释性的人工智能可以将小数据问题转化为重大业务事件。一个基于不完整数据运行的 AI 基于容量预测系统可能会降低基础设施容量以节省成本，但在峰值处理期间会导致严重的性能下降。在企业人工智能系统中，你经常看到糟糕的可解释性的影响，表现为错过的服务等级协议、经济处罚和客户影响。同样，激进的警报抑制可以隐藏关键故障，允许停机在未被发现之前变成真正的紧急情况。

从您的角度来看，人工智能平台在使其推理可审计和可理解方面应该扮演什么角色，以便 IT 团队可以操作关键系统？

一个设计良好的人工智能代理或平台具有内置的可解释性，简单明了。自主系统应该记录使用的数据、应用的逻辑、推荐或采取的行动以及随后的结果。这些信息需要以 IT 团队使用的运营语言呈现，例如依赖项、历史事件和业务影响，而不是抽象的 AI 评分。可审计性对于问责、学习和长期信任至关重要。

哪些架构或设计方法正在帮助企业从不透明的自动化转向更透明、更清晰的决策？

企业正在采用将人工智能决策建立在高质量的运营数据基础上的架构，并清晰地将数据验证与决策逻辑分开。透明的系统确保人工智能在采取行动之前使用正确的输入和假设。许多组织还使用分阶段的自主性，首先提供建议，然后在信心增长的情况下转向自主执行。开放的数据访问和清晰的策略层对于避免黑盒行为至关重要，因为自主性增加。然而，行业仍有很大的空间来发展可解释性，我认为我们今年将会看到可解释性功能的爆发。

组织如何在自主人工智能行动和人工监督之间取得平衡，而不减慢运营速度？

平衡是通过基于风险的控制而不是全面监督来实现的。低风险、高频率的任务可以在有防护栏的情况下端到端自动化，而更高影响力的决策在系统证明可靠之前仍由人类验证。随着可解释性的改进和人工智能的一贯正确判断，自主性会自然扩大，而不会引入运营摩擦。

您会给那些希望在 IT 运营中扩大人工智能但由于可见性和问责问题而面临内部阻力的 CIO 和 CTO 什么建议？

首先要有透明度，而不是自主性。早期让 IT 团队参与，并在设计和推出中优先考虑可见性，以建立信任。阻力通常源于对人工智能决策缺乏洞察力，而不是对创新本身的反对。然后，专注于减少噪音、消除警报疲劳和清晰解释决策的用例，然后允许系统独立执行。

随着人工智能系统承担更多决策责任，领导团队应该如何重新思考治理、验证和信任模型？

治理必须从静态批准流程转变为持续验证。领导团队需要定义自主性被允许的区域、所需的证据以及何时需要人工干预。信任应该通过可衡量的成果来获得，例如准确性、减少事件和更快的解决时间，而不是对模型复杂性的假设。

展望未来，您如何看待可解释和透明的人工智能在未来几年内重塑自主 IT 运营的未来？

可解释的人工智能将成为构建自主 IT 运营以安全扩展的基本组成部分，而不会失去 IT 团队的信任。生成式人工智能已经通过使系统能够表面化证据、验证事实和以人类可读的术语解释决策来提高透明度。未来几年，这种可解释性将成为标准，使组织能够超越实验，将人工智能深度嵌入运营、治理和工作流中，而不是作为不透明的决策者。未来几年，人工智能代理将被用来管理组织的各种活动，它们将成为我们日常生活的一部分，但为了这些，我们需要能够信任它们，准确性和透明度是实现这一目标的关键方面。感谢您接受这次精彩的采访，希望了解更多的读者可以访问 Digitate。