拥有超过二十年的设计、管理和实施高级软件和电子系统的经验,Todd是一位经验丰富的技术专家,热衷于利用大型语言模型来改变人机交互。Todd致力于推进自然语言技术的发展,不断寻求开发有影响力、最先进的应用程序,以重新定义人机协作的边界。
AI 代理的迅速崛起为安全和 IT 团队带来了新的挑战。在向更加自动化的工作流转变的过程中,最近的测试发现,AI 代理在某些条件下可能表现出不安全或欺骗性的行为,从而为企业带来了新的内部威胁。这表明组织需要适当地监控访问敏感数据和在没有人工监督的情况下运行的 AI 代理。这可能会引入新的风险类别,这些风险更快、更难预测、更难以归因。这些风险的现实是双重的。一方面,安全团队需要为利用 AI 代理来加强社会工程攻击的恶意行为者做好准备。另一方面,他们必须为可能表现出创造新安全风险和漏洞的行为的公司内部 AI 代理做好准备。内部 AI 代理如何导致内部威胁AI 代理在企业网络内存在两种关键的内部安全风险。首先,它们在没有人类固有的道德界限和内置责任的情况下自主运行。根据推断的目标而不是明确的指令运行,它们的效率和坚持可以推动它们超越界限并在未经批准的情况下采取行动。没有必要的检查和平衡,漏洞可以轻易被创建和忽视。这些代理也可能具有访问大量数据的能力,但缺乏区分特权和常规信息的能力。因此,即使是简单的任务,如分析数据集,也可能导致数据泄露或暴露给外部方。这一挑战变得更加复杂,当 AI 跨不同系统和工作流扩展时,具有不同的数据规则和协议。代理在不同区域运行时,经常违反特定位置的数据处理规则,导致不一致的政策执行,从而构建安全风险。事实上,只有 30% 的美国企业正在积极地绘制哪些 AI 代理可以访问关键系统,创建了一个重大的安全盲点。外部 AI 代理如何导致内部威胁最常见的入侵方式之一是通过钓鱼和社会工程攻击。恶意行为者和网络犯罪集团正在使用 AI 代理来增强这些攻击,并实施复杂的深度伪造和冒充事件。AI 代理可以被用来创建看起来更真实和可信的钓鱼和社会工程攻击。 60%...