Audian Paxson，IRONSCALES 首席技术策略师——访谈系列

Audian Paxson是 IRONSCALES 的首席技术策略师，也是网络安全与产品战略领域的资深人士，拥有二十多年从事电子邮件安全、威胁检测、网络技术和企业级技术的经验。在 IRONSCALES，他主要负责产品发布、信息传达与定位、市场进入策略，以及围绕运用人工智能和机器学习应对新兴电子邮件安全威胁所开展的行业思想引领。他的职业生涯包括在 Netgate、BlueCat、Alert Logic、Critical Watch、Iconix、Strix Systems 和 Intel 担任高级产品管理、产品营销和业务拓展职务。Paxson 曾在网络安全和网络产品发布、企业市场进入策略制定以及公司拓展新市场等方面发挥关键作用，同时也是一项已获专利安全技术的共同发明人。

IRONSCALES是一家由人工智能驱动的电子邮件安全公司，致力于保护组织免受网络钓鱼、商务电子邮件入侵、账户接管、深度伪造以及其他不断演变的社会工程威胁。其平台将自适应 AI 与人类及社群情报相结合，用于检测、调查并处置 Microsoft 365 和 Google Workspace 中的威胁，同时还提供网络钓鱼模拟、安全意识培训、外发邮件保护和域名安全等功能。该公司进一步拓展了这一方案，推出专门用于红队演练、网络钓鱼安全运营和网络钓鱼模拟的 AI 智能体，旨在预判攻击、调查可疑活动并强化员工防御能力。IRONSCALES 表示，已有超过 18,000 家组织使用其技术，其平台还整合了由超过 36,000 名安全专业人士组成的社群贡献的情报。

您从事电子邮件安全工作已超过二十年，曾参与开发早期反网络钓鱼产品，如今则专注于探索如何运用 AI 和机器学习应对新兴电子邮件威胁。凭借这样的经历，您认为 AI 驱动的社会工程攻击有哪些真正新颖之处？而问题中的哪些方面又意外地似曾相识？

谢谢你暴露我的年龄！21 世纪初我们开始对抗网络钓鱼时，最大的问题是人们缺乏安全意识，而过滤器只能评估发件人域名的信誉。但攻击手法并没有太大变化：制造紧迫感、借助权威施压、伪造发票。我今天看到的几乎每一种借口都似曾相识。AI 改变的是攻击者的制作门槛：如今，即使缺乏技巧的攻击者，也能大规模炮制出毫无破绽、经过个性化定制的 2004 年诈骗版本。

Anthropic 发现，如果将真实互联网的迹象单独呈现，Claude Mythos 5 能够识别这些迹象；但当它沉浸在一项任务中时，即使面对同样的证据，也基本无法据此采取行动。这种差距说明，AI 模型拥有某项知识，与它能否在恰当时机实际运用这项知识，有何不同？

我是做电子邮件安全的，不是 AI 研究人员，所以我从这个角度来理解这件事。Mythos 一开始就被告知自己处于模拟环境中，而这种设定占了上风。它把真实证据解释成无关紧要，因为这些证据与它已经置身其中的情境不符。这说明诱导性借口发挥了作用，也正因如此，攻击者会竭力抢先设定情境。

这与人类面对网络钓鱼时的行为颇有相似之处：员工在培训中或许能轻易识别可疑迹象，但当他们赶时间或专注于完成另一项任务时，却可能忽略同样的迹象。您认为，人类判断与 AI 判断之间的这种比较，合理而言可以延伸到什么程度？

在一定程度上可以。两者埋头处理任务时都会偏离重点；如果一条消息看起来像常规业务流程（“以下申报内容需要审核”），无论是人还是模型，都可能直接放行。但二者的差异在于情绪。人会因为赶时间而慌乱、感到害怕，或急于讨好别人。智能体则会被自身的触发因素绊住，例如，它可能无法分辨指令与自己正在读取的数据。

传统的安全培训主要教人们识别恶意链接、异常请求、冒充身份以及其他警示信号。如果人和 AI 系统都可能忽略自己明明能够理解的信号，安全团队是否应少关注识别能力，转而更多思考人们在压力之下、身处特定情境时如何作出决策？

是的。识别培训的前提是人们会集中注意力。攻击者会精心设计消息，让它们在人们分心时出现，或使人们忘记所学内容。更值得投入的做法，是在关键环节设置暂停机制（例如付款、重置凭据和变更访问权限），确保无论是人还是智能体，都不会在毫无思考的情况下作出决定。

随着 AI 智能体日益深入地融入收件箱和企业工作流程，攻击者可能越来越多地直接对 AI 系统实施社会工程攻击，而不再只针对员工。专门操纵电子邮件智能体或自主助手的攻击，可能会是什么样子？

这是一封专门写给智能体的邮件，指令通过白底白字、图片替代文本或另一种语言隐藏起来，让针对英语内容调优的过滤器将其漏过。我们的研究团队设计过这样一种情境：攻击者在智能体的记忆中植入一个虚假的“事实”（“来自 finance@ 的审批已获预先授权”），于是几周后，一封伪造的财务邮件便能畅通无阻地通过。另一种做法是在发票图片中藏入文字，指示智能体将其标记为低风险，并概述为可以放心付款。人类信任了这份摘要。

攻击者是否会故意制造一连串看似合理的互动，逐步诱使 AI 系统做出错误决定，而不是依赖一封显然恶意的邮件或提示？对于如今的安全工具来说，这类多步骤攻击有多难侦测？

这类攻击已经发生在人身上，接下来就会针对智能体。攻击者会先发送几封无害邮件（自我介绍、致谢），以消除首次发件人标记；接着转而发送与目标职责相关的邮件，最后才投放攻击载荷，通常是一封会议邀请：其中的链接会向扫描器显示干净页面，却把真实用户带到钓鱼网站。逐封独立判断邮件的工具会漏掉这种攻击。单看任何一封邮件都没有问题，因此必须随着时间推移评估双方的互动关系。

谈到 AI 生成的钓鱼攻击，人们常常关注文笔更好、个性化程度更高以及深度伪造。您更担心 AI 改进社会工程攻击的内容，还是担心攻击者利用 AI 精准判断某个特定目标最可能在何时、以何种方式犯错？

两者都担心，而且内容层面的较量早已尘埃落定。自 ChatGPT 融入主流以来，精心润色的 AI 撰写钓鱼邮件就已成为常态。更大的变化在于，目标选择、个性化和发送时机如今都实现了自动化，因此即使毫无技术技能的人，也能把泄露数据与密码转储（例如臭名昭著的 RockYou 列表）结合起来，接管一个真实邮箱，并在目标正好预期会收到某封日常交易邮件时，发送一封仿冒邮件。

随着攻击者越来越善于消除明显的技术红旗，让恶意信息看起来名正言顺，哪些信号对于区分正常沟通与操纵行为变得最重要？

首先要看上下文。比如，这个人或供应商在这个渠道、这个时间发来这样的信息，是否合乎常理？接下来要看紧迫性和重复程度。真有紧急请求的人会打电话，或者在 Teams 或 Slack 上联系你，而不会把同一封邮件连发三次。还要相信自己的直觉。我的原则是：“别急着行动，先停下来。”因此，先暂停一下，请另一个人帮忙查看，再通过不同渠道核实。

当人类和 AI 都可能存在弱点时，组织应如何安排双方的监督机制？如果人和 AI 都以为对方已经核实过决定，人类判断与 AI 相结合是否反而会产生新的盲点？

让双方各自承担最擅长的工作，并明确交接方式。AI 负责处理大量事务，并发现整个环境中的模式；高后果决策（如转移资金、授予访问权限）由人类负责，而 AI 必须展示证据，让审核者能够检查其推理过程。您所说的盲点确实存在。解决办法是制定一条硬性规定……“AI 说安全”绝不能算作经过人工审核。

如果根本问题在于，人类或 AI 系统掌握的信息与其在实际执行任务时能够识别的信息之间存在落差，那么组织今天可以采取哪些切实措施来缩小这一落差，并大幅提高社会工程攻击得手的难度？

借鉴一项过去用于支票开具的老控制措施——“职责分离”。一个人可以创建新用户，但不能激活该用户；第二个人可以激活用户，但不能创建用户；第三个人则会收到这两项操作的通知。将同样的分工机制落实到付款、供应商信息变更和 AI 智能体中（任何智能体都不应同时提出并批准一项操作）。这样一来，无论是一个受骗的员工，还是一个遭劫持的智能体，都无法独自完成攻击。

感谢您接受这次精彩的采访。想了解更多信息的读者，请访问 IRONSCALES。