逻辑门（LogicGate）首席信息安全官/首席信息官尼克·卡特曼（Nick Kathmann）- 采访系列

尼古拉斯·卡特曼（Nicholas Kathmann） 是逻辑门（LogicGate）的首席信息安全官（CISO），他领导公司的信息安全计划，监督平台安全创新，并与客户合作管理网络安全风险。凭借超过二十年的IT经验和十八年以上的网络安全经验，卡特曼曾为小型企业和财富100强企业建立和领导安全运营。

逻辑门（LogicGate） 是一个风险和合规平台，帮助组织自动化和扩展其治理、风险和合规（GRC）计划。通过其旗舰产品Risk Cloud®，逻辑门使团队能够识别、评估和管理整个企业的风险，具有可定制的工作流、实时洞察和集成。该平台支持广泛的用例，包括第三方风险、网络安全合规和内部审计管理，帮助公司建立更敏捷和更有弹性的风险策略

您同时担任逻辑门的CISO和CIO——您如何看待AI在未来2-3年内转变这些角色的职责？

AI已经在转变这两个角色，但在未来2-3年内，我认为我们将看到具有重新定义日常业务流程能力的代理AI的崛起。通常会发送到IT帮助台的内容——例如重置密码、安装应用程序等——都可以由AI代理处理。另一个关键用例将是利用AI代理处理单调的审计评估，使CISO和CIO能够优先考虑更战略性的请求。

在联邦网络裁员和放松管制趋势下，企业如何在保持强大安全态势的同时部署AI？

虽然我们在美国看到放松管制的趋势，但欧盟的管制却在加强。因此，如果您是一家跨国企业，预计需要遵守全球关于AI负责任使用的管制要求。对于仅在美国运营的公司，我认为他们需要经历一个学习期，以适应AI采用。对于这些企业来说，形成强大的AI治理政策并在部署过程中保持一定的人类监督至关重要，确保没有事情失控。

您认为当前将AI集成到现有网络安全框架中的最大盲点是什么？

虽然有几个领域我可以想到，但最有影响力的盲点将是您的数据位于哪里以及它的传递路径。AI的引入只会使得对该区域的监督更加具有挑战性。供应商正在其产品中启用AI功能，但这些数据并不总是直接发送到AI模型/供应商。这使得传统的安全工具（如DLP和Web监控）有效地失明。

您曾说过，大多数AI治理战略都是“纸老虎”。什么是真正有效的治理框架的核心成分？

当我说“纸老虎”时，我指的是治理战略，只有一个小团队了解流程和标准，并且这些标准在整个组织中没有得到执行或理解。AI非常普遍，影响每个团队和每个小组。“一刀切”的战略不会奏效。一个财务团队在其ERP中实现AI功能与一个产品团队在特定产品中实现AI功能是不同的，等等。强大治理框架的核心成分各不相同，但IAPP、OWASP、NIST和其他咨询机构都有不错的框架来确定需要评估什么。最困难的部分是确定何时将要求应用于每种用例。

公司如何避免AI模型漂移并在时间上确保负责任的使用，而不至于过度设计其政策？

漂移和退化只是使用技术的一部分，AI可以显著加速这一过程。但是，如果漂移变得太大，需要采取纠正措施。需要一个全面测试策略来寻找和测量准确性、偏见和其他危险信号。公司如果想要避免偏见和漂移，需要首先确保他们拥有识别和测量的工具。

更改日志、有限的政策更新和实时反馈循环在维持敏捷AI治理方面应该发挥什么作用？

虽然它们目前在减少风险和责任方面发挥作用，但实时反馈循环会阻碍客户和用户执行AI治理的能力，特别是如果通信机制发生变化太频繁的话。

您对AI偏见和歧视在核准或信用评分（特别是“买现在，稍后付款”（BNPL）服务）中的担忧是什么？

去年，我与一家大型跨国银行的一位AI/ML研究人员交谈过，他曾在其风险模型中尝试过AI/LLM。即使在大型和准确的数据集上训练过的模型，也会做出令人惊讶的、不支持的决策来批准或拒绝核准。例如，如果聊天记录或与客户的通信中提到了“良好的信用”，模型会默认拒绝贷款——无论客户是否说过这句话，还是银行员工说过。 如果要依赖AI，银行需要更好的监督和问责制，并且需要将这些“惊喜”降到最低。

您如何看待我们应该如何审计或评估做出高风险决策的算法——以及谁应该对此负责？

这与综合测试模型有关，需要尽可能接近实时地持续测试和基准算法/模型。这可能很困难，因为模型输出可能具有理想的结果，需要人类来识别异常值。以银行为例，一个拒绝所有贷款的模型将具有很好的风险评级，因为它批准的贷款永远不会违约。在这种情况下，实施模型/算法的组织应该对模型的结果负责，就像他们会对人类做出的决定负责一样。

随着更多企业需要网络保险，AI工具如何重塑风险格局和保险核准本身？

AI工具擅长传播大量数据并找到模式或趋势。在客户端，这些工具将在了解组织的实际风险和管理风险方面发挥重要作用。在承保人方面，这些工具将有助于找到不一致性和随着时间推移而变得不成熟的组织。

公司如何利用AI主动降低网络风险并在今天的保险市场上谈判更好的条款？

目前，利用AI降低风险和谈判更好的保险条款的最佳方法是过滤掉噪音和干扰，帮助您专注于最重要的风险。如果您以综合的方式降低这些风险，您的网络保险费率应该会降低。很容易被风险的庞大数量所淹没。不要陷入试图解决每个问题的困境，而是专注于最关键的问题可以产生更大的影响。

对于想要负责任地实施AI但不知道从哪里开始的公司，您推荐哪些战术步骤？

首先，您需要了解您的用例是什么，并记录所需的结果。每个人都想实施AI，但首先思考您的目标然后逆向推导至关重要——我认为很多组织今天都难以做到这一点。一旦您对您的用例有了良好的理解，您就可以研究不同的AI框架，并了解哪些适用的控制措施对您的用例和实施至关重要。强大的AI治理对于风险缓解和效率也至关重要，因为自动化的有用性仅限于其数据输入。利用AI的组织必须这样做，以便对合作伙伴和潜在客户负责，因为他们正在提出有关AI扩散和使用的艰难问题。不知道答案可能意味着错失业务机会，这直接影响了底线。

如果您必须预测五年后最大的AI相关安全风险是什么——以及我们今天如何为此做准备？

我的预测是，随着代理AI被构建到更多的业务流程和应用程序中，攻击者将从事欺诈和滥用以操纵这些代理实现恶意结果。我们已经看到这种现象，即客户服务代理的操纵导致了未经授权的交易和退款。威胁者使用语言技巧来绕过政策并干扰代理的决策过程。

感谢这次精彩的采访，希望了解更多的读者可以访问逻辑门（LogicGate）。