Girish Chandrasekar 是 Straiker 的产品负责人，帮助公司从零到一。他之前曾在 Robust Intelligence（被 Cisco 收购）的产品团队工作，此前他曾在 Postmates 和 JPMorgan Asset Management 的机器学习团队中担任技术角色。
随着 AI 应用 的发展，从简单的聊天机器人到能够代表用户采取行动的智能系统，风险也随之呈指数级增长。智能应用可以通过工具采取行动，这为攻击者打开了新的威胁途径，他们可以操纵这些工具来改变用户应用和数据的状态。传统的防护措施和安全模型是为狭窄、明确定义的威胁而设计的，但它们难以应对现代攻击技术的多样性和创造性。这一新现实需要一个范式转变：应用 AI 来防御 AI，实现自适应和可扩展的防护措施，以匹配当今对手的聪明才智和不可预测性。理解扩展风险AI 正在渗透到软件的每一层，从 CRM 到日历、电子邮件、工作流、浏览器 等，到处嵌入智能。最初的对话式助手现在已经发展成为能够独立采取行动的自主代理。例如，OpenAI 的新兴“代理”可以浏览互联网或执行在线任务。这些功能解锁了巨大的生产力，但也暴露了一个巨大、未知的攻击面。风险不仅仅是数据泄露，还包括行为操纵、模型规避和提示注入攻击——这些威胁会动态演变，针对模型的逻辑而不是其基础设施。对于企业来说，这一转变意味着安全性必须像 AI 本身一样快速演进。技术和安全领导者面临的挑战是如何在不减慢创新速度的情况下保护创新，这一紧张关系长期以来一直存在于安全和 AI 开发团队之间。传统防护措施的不足大多数当前的 AI 安全工具仍然依赖于静态、狭窄训练的机器学习模型，旨在识别特定类型的攻击。每一种新的规避或提示注入方法通常需要重新训练或重新部署专用模型。这种反应性方法假设恶意行为者会以可预测的方式行事。然而，事实是攻击者现在利用 AI 生成自适应、创造性和快速移动的威胁，传统的防御措施无法预测。即使被誉为最先进的防护措施，也往往在范围和能力上受到限制，仅在它们被训练的场景中有效。旧的范式需要为每一种新的攻击训练一个单独的模型，这是一种脆弱且不可持续的方法，因为潜在的利用技术数量已经达到数百个。此外，安全和 AI 团队之间存在文化脱节。AI 开发人员通常将安全视为一个阻碍——减慢他们的速度——而安全团队则承担责任，如果出现任何问题。这种缺乏协作使得许多组织在设计上容易受到攻击。所需的防御措施是无缝集成到 AI 生命周期中的，提供监督而不引起摩擦。颠覆局势：使用 AI...
