Corey Thuen, CEO & Co-Founder, Gravwell Corey Thuen CEO & Co-Founder, Gravwell

人工智能可见性危机：为什么安全团队正在飞盲和为什么他们不必这样做

人工智能代理在生产环境中的集成正在加速，但保障它们的安全架构却严重滞后。我们正处于一个时代，一个人工智能代理可以独立地决定“修复”凭证不匹配的问题，方法是删除数据库卷。作为一个行业，我们在人工智能安全和可观察性方面的基本原则上正在关闭我们的脑袋。安全团队正在飞盲，但他们不必这样做。系统提示和安全工具的神话人工智能领域中一个普遍的神话是，我们可以仅通过告诉代理遵守规则来控制其行为。系统提示是建议性的，而不是强制性的。在前面提到的事件中，人工智能的系统规则明确指出永远不应运行破坏性命令，但代理违反了自己的宣传防护措施并执行了最不可逆转的操作。我们必须在这样的假设下工作：人工智能实际上不知道任何事情。对人工智能的攻击是社会工程学攻击，除了目标比普通人更容易上当。任何有渗透测试经验的人都知道，组织要防御社会工程学攻击是多么困难。现在我们的计算机也容易受到攻击。此外，人工智能工具最终只是软件，而所有软件都有漏洞。我们已经看到人工智能工具自动启动未经身份验证的HTTP服务器，允许任何本地进程或网站使用用户权限执行任意shell命令。人工智能审计的黑盒如果人工智能失控或被操纵，弄清楚它做了什么是一场噩梦。人工智能工具通常不提供审计日志。如果您足够幸运地拥有企业级别的支持，您收到的日志严重缺乏。例如，您可能会收到一个模糊的事件，指出用户“使用了通用人工智能”，并且只会收到基本的指标，详细说明输入和输出令牌计数。这些都无法帮助安全分析师回答基本问题：这个代理到底执行了什么？揭开人工智能的面纱：如何停止飞盲好消息是，您不一定需要一个闪亮的新的人工智能安全设备来重新获得可见性。 影子人工智能的使用和代理活动可以使用现有的日志分析技术来检测，您的团队应该已经具备了这些技术。人工智能工具调用、命令执行和系统更改事件可以使用现有的进程执行分析（您正在使用安全信息和事件管理（SIEM）来执行，对吧？）。以下是如何利用现有的基础设施来检测人工智能活动： DNS分析：分析DNS日志以检测人工智能服务域的查询，可以帮助检测环境中的人工智能使用情况。 威胁列表：此方法需要维护一个与人工智能平台或模型提供商相关的域名的更新威胁列表。 社区资源：有社区项目和阻止列表可用，可以修改为程序化使用的查找表。 SSL跟踪：可以使用SSL日志来跟踪服务器名称，尽管它提供的详细信息稍少，因为不会记录完整的URL。 端点遥测：可以使用Sysmon等工具来计算子进程并寻找高bash生成器，这是潜在人工智能代理在端点上执行命令的强烈指标。 需要主动更改数据收集的盲点是提示本身。用户要求人工智能做什么？他们是否上传任何可能造成合规问题的敏感文档？回答这些问题可能需要收集提供商的API请求；网页代理、LLM代理和数据摄取工具来自日志和SIEM提供商。这些可以去除阻挡这一宝贵数据源的面纱。新兴威胁：恶意MCP服务器模型上下文协议（MCP）已经成为指定人工智能应用程序如何与外部工具和数据源集成的一种方式。虽然它标准化了连接，但也通过“恶意MCP”服务器引入了大量新的攻击向量。我举办了一场实践培训工作坊，学生可以亲身经历这种攻击。他们设计了一个恶意的MCP服务器来欺骗LLM调用合法工具并将输出发送回攻击者。由于LLM对社会工程学非常脆弱，绕过其内置防护措施通常只需要选择更好的措辞或更巧妙的借口。学生经常使用他们的恶意服务器指示人工智能处于“维护模式”，必须将数据传递给辅助工具进行“审计日志记录”，从而导致数据泄露。有些人的提示比其他人更具创意，但他们通常都能成功。重新掌控要在现实世界中正确审计人工智能活动，需要一个代理来拦截人工智能请求和一个能够处理大量JSON有效载荷的日志收集工具。有了这种可见性，您可以检测和处理威胁。您不能仅仅依赖人工智能供应商来提供安全层。执行必须在您的组织系统中进行，而不是在我们希望模型决定遵守的文本段落中。有了良好的日志解决方案，安全团队就有了遥测数据；是时候他们开始查询它了。