Geordie AI 首席 AI 官 Hanah-Marie Darley – 采访系列

Hanah-Marie Darley，Geordie AI 首席 AI 官，是一位经验丰富的 AI 和安全领导者，她联合创立了 Geordie AI，以帮助企业 IT、风险和安全团队采用代理 AI，并提供清晰和控制的解决方案。在美国联邦政府支持情报行动近十年后，她在 Darktrace 担任高级领导职务，结合了深厚的威胁情报、地缘政治分析和应用心理学专业知识，以及在 AI 战略和产品开发方面的实践经验。她的工作重点是将自主系统与人类意图对齐，使企业能够以平衡创新、监督和现实约束的方式运营 AI 代理。

Geordie AI 是一家位于伦敦的企业软件公司，专注于保护和管理 AI 代理在企业环境中的部署。其平台为代理活动提供了可见性，持续监测风险态势，并提供结构化的治理控制，使组织能够自信地部署和扩展 AI 系统。通过提供针对代理时代的可观察性、合规支持和运营监督，Geordie AI 致力于为企业提供必要的透明度和控制，以便在不损害安全性或责任的情况下整合日益自主的技术。

您在美国联邦威胁情报和地缘政治分析领域工作近十年，后来在 Darktrace 领导威胁研究和 AI 战略职责，现在领导 Geordie AI 的 AI 和产品战略。您在政府和企业安全领域的哪些经验最影响您决定建立 Geordie AI，哪些核心问题您决心解决？

在政府和企业安全领域，我一直遇到同样的结构性紧张。组织大量投资于 AI，但对这些系统的行为缺乏信心。挑战不在于能力，而在于信任。

随着 AI 从实验工具转向运营工作流，该差距变得更加明显。代理引入了自主决策和持久性，传统软件无法做到这一点。企业需要了解代理如何运作、在哪里运作以及如何通过其行为产生风险。Geordie AI 致力于填补这一清晰度差距，使组织能够自信地采用自主技术，而不是犹豫不决。

在您的看法中，代理或代理 AI 系统对企业带来的最不被理解的风险是什么？“链式效应”如何通过上下文决策与传统的网络安全暴露模型有所不同？

静默故障仍然是最不被理解的风险。代理可以在批准的权限和合法访问边界内运作，同时产生与预期结果不同的结果。

这反映了代理系统的性质。它们解释上下文并实时做出决策。与确定性软件不同，行为是通过一系列动作动态塑造的。这改变了安全模型。暴露不再仅仅依赖于访问违规。它通过决策、工具和上下文随时间的交互而产生。

Geordie AI 的方法强调行为可观察性、上下文风险评估和代理活动的动态控制。企业如何平衡对此类实时可见性的需求与对运营复杂性或系统性能的担忧？

企业不应该为了监督而牺牲性能。我们的架构故意避免内联代理和网关，使组织能够在运营上有意义的地方构建和运营代理。

可见性和控制必须与自主性一起扩展，而不引入摩擦或延迟。如果治理机制阻碍工作流，采用就会停滞。有效的安全性使生态系统能够安全扩展，而不是限制创新。

根据您与企业客户和风险领导者的工作，哪些工作流或用例最容易出现代理偏离高风险活动，如何在它们升级为重大事件之前检测早期指标？

风险往往随着复杂性增加。代理独立做出的选择越多，行为偏差的潜力就越大。

偏差通常通过工具链、上下文重用和出现的工作流来表现。早期指标包括意外工具调用、不寻常的序列模式和数据移动的变化。检测这些信号需要行为分析，而不是孤立事件监控。

当 AI 代理在任务之间重用上下文和工具时，安全团队应该密切关注哪些最微妙或被低估的故障模式？

上下文重用仍然被低估。暴露往往不仅仅是由于过度权限，还由于信息如何在任务之间持续和传播。

代理可以在一个上下文中合法访问数据，并将该状态无意中带入另一个上下文。结合工具链，这可能会导致敏感信息的意外披露或转换。

许多组织仍然依赖传统的企业安全工具，例如端点检测和响应（EDR）和扩展检测和响应（XDR）平台。当管理采取多步骤操作的自主 AI 系统时，这些方法在哪里存在不足？

EDR 和 XDR 平台仍然是必不可少的，但它们是为以人为中心的威胁模型而设计的。代理在超出端点和身份 telemetry 的决策层上运行。

了解代理行为需要对推理模式、工具选择和上下文决策流有所了解。没有这一层，大部分代理活动将保持不透明。

对于希望促进创新但避免失控自主性的 IT、风险和安全领导者来说，“治理自主性”在实践中是什么样的？

治理自主性从可见性开始。组织必须了解代理在哪里运行、代理拥有多少决策权以及代理的能力引入了哪些风险。治理最有效的方式是在早期嵌入，允许在定义的边界内进行实验。这支持创新，同时保持对结果的信心。

可解释性通常在模型输出级别被讨论。企业如何看待代理采取一系列操作的可解释性和可审计性，而真正的风险可能在于这些操作的序列？

模型可解释性只是等式的一部分。企业风险越来越多地存在于行为序列中，而不是孤立的输出中。

可审计性需要了解如何塑造解释的边界、调用了哪些工具以及上下文如何影响决策。行为可观察性成为问责的基础。

对于认识到需要更强大监督的自主 AI 系统的组织来说，今天可以采取哪些具体步骤来减少代理风险而不阻碍创新？Geordie AI 如何帮助企业实现控制和能力之间的平衡？

组织可以从清点、行为可见性和了解代理如何与系统交互开始。治理模型不应引入延迟。监督必须与运营速度保持一致。Geordie AI 提供了代理配置、行为和风险动态的可见性，同时提供了针对自主系统的纠正控制。

展望未来，哪些因素将区分成功扩展代理 AI 到工作流的组织和由于未经管理的风险而遭受挫折的组织？领导者如何现在为此做准备？

早期的区别将是清晰度和衡量标准。了解代理能力、影响和行为模式的团队将更自信地扩展。

从长远来看，具有特定上下文感知代理生态系统的组织将拥有竞争优势。精确度而不是概括性成为性能和恢复力的驱动力。

感谢您接受这次精彩的采访，希望了解更多的读者可以访问 Geordie AI。