Ivan Shkvarun, Social Links 首席执行官和创始人 & Darkside AI 倡议作者 Ivan Shkvarun Social Links 首席执行官和创始人 & Darkside AI 倡议作者

犯罪分子如何在企业开始之前赢得人工智能军备竞赛

在人工智能以前所未有的速度改变行业的时代，科技革命的黑暗面同样令人担忧。随着企业争相利用人工智能的潜力，网络犯罪者正在利用这些进步，改变网络犯罪和欺诈的动态。改变网络犯罪和欺诈的经济学网络犯罪者使用与企业相同的人工智能模型和技术，通常在发布后几天内就进行了修改。这种滥用的早期例子之一是使用ChatGPT-1自动化CAPTCHA解决，这表明了生成模型如何快速绕过基本的安全控制。从那时起，每一个重要的生成人工智能突破都被迅速地被犯罪者所利用，包括深度伪造的声音和视频生成，这些技术几乎立刻出现在暗网平台上。这种加速的循环使得诈骗者能够利用复杂的技术来制造令人信服的骗局，破坏传统的安全措施。仅2025年第一季度，深度伪造启用的欺诈就报告造成了超过$200万的财务损失。网络犯罪的利润性迅速增加，提供“欺诈即服务”的平台使得犯罪者比以往任何时候都更容易执行复杂的计划，包括合成身份和高级钓鱼工具。企业在努力扩大其人工智能能力的同时，犯罪者却正在超越他们，持续创新和利用安全框架留下的漏洞。为什么传统的网络安全和信任框架无法对抗人工智能驱动的攻击者传统的网络安全措施，曾经提供了一定的保护，现在被证明是不充分的。依赖黑名单、CAPTCHA和单因素身份验证的传统系统，无法应对人工智能驱动的攻击的不断演变。犯罪者使用可以欺骗生物识别扫描器的深度伪造和可以轻松绕过KYC协议的合成身份。这种失败是由这样一个事实所加剧的：许多组织仍然将网络安全视为一种成本中心，而不是一种关键的基础设施组件。随着五角大楼投资数百万美元来聘请人工智能黑客，技术差距变得明显。企业陷入合规剧场，而犯罪者则利用人工智能来利用人类的弱点，例如模仿高管沟通的鱼叉式钓鱼攻击。人工智能驱动的攻击在实践中是什么样的现代欺诈策略已经远远超出了过去的钓鱼计划。攻击者构建了看似合法的欺诈链。想象一个熟悉的公司早晨。星期二，9:43。首席财务官收到一封标记为“紧急”的电子邮件，似乎来自首席执行官。语气很熟悉。语言与以前的请求相符。几分钟后，在不同的渠道上收到了一条后续消息，强调了紧急程度。到11:00，批准了一笔数百万美元的电汇，但后来发现它被路由到攻击者控制的离岸账户。这些人工智能本土攻击是利用信任和权威的心理操纵。这种操作的复杂性凸显了现有安全措施的差距，这些措施无法检测到现代欺诈的微妙行为异常。企业在内部部署更多人工智能之前应该优先考虑什么在内部部署更多人工智能之前，企业需要暂停并重新评估他们对信任的假设。人工智能启用的犯罪的加速已经暴露了一个结构性的弱点：组织仍然在为昨天的威胁进行防御，而今天的攻击被设计为默认情况下看起来合法。1. 公司必须重新思考风险的定义。传统的风险矩阵是围绕故障构建的，例如系统故障、数据泄露、政策违规。在人工智能时代，风险越来越多地来自模拟而不是故障。与其问“可能会出错什么”，不如问“什么可以在规模上令人信服地伪造，我们无法及时反应。”合成身份、执行官模仿和人工智能生成的叙述与传统威胁的行为不同：它们传播得更快，融入合法活动，并利用信任而不是技术漏洞。毫不意外，这些风险往往比其非人工智能前辈排名更高，发生得更频繁，隐藏在网络安全、欺诈、声誉风险或合规性中。2. 组织必须接受预防措施不再足够。顶级企业现在将人工智能风险映射到三个防御层，这些层对应于人工智能防御者的模块化架构： 风险预防 – 现在包括预测利用人工智能生成内容和人类信任的攻击，而不仅仅是阻止已知的威胁。 人工智能感知身份验证 设备和会话完整性 高管沟通保护 威胁检测和监控 将技术异常分析与行为和媒体监控相结合，反映了许多人工智能本土攻击在通信模式中表现出来，而不是代码。 持续监控信号和异常 人工智能对抗人工智能检测 叙述和媒体监控 调查和归因 – 专注于重建事件、归因意图并产生可采取行动的证据，启用组织有效响应，即使欺骗的规模比他们的初始防御更快。 人工智能警报的可解释性 可疑活动的归因 证据级OSINT 3. 企业必须面对人工智能本土欺诈的人性化维度。员工仍然是现代攻击的主要入口点，但利用的性质已经改变。人工智能驱动的欺诈中经常观察到的一种常见模式涉及内部类似的交互，而不是外部攻击。员工可能会收到来自似乎是人力资源的短视频通话，要求“快速验证身份”以解决工资问题。面部、声音和品牌看起来都是真实的。请求本身看似无害，但它在当天晚些时候悄悄地使帐户接管成为可能。这种场景说明了为什么人工智能驱动的欺诈利用背景、权威和时机，通常以令人不安的精度模仿高管沟通。 在这种环境中，传统的安全培训风险变得不再相关，只提供了安慰而没有真正的韧性。挑战不仅在于意识，还在于问题的表述方式。重新定义问题（这是步骤零）旧的思维模式：“训练员工不要犯错误。”新的思维模式：“假设员工将被针对、操纵和武器化。”培训是注射和肌肉记忆。从这个角度来看，团队必须被训练来识别反复出现的欺诈模式。5种主要的AI欺诈向量通过员工传递 – 这些都不会被意识到： 向量...