Perplexity 剖析 LLM 网关的运行机制与生产环境风险

Perplexity 于 2026 年 10 月 27 日发布了一份关于 LLM 网关的实用指南，向工程团队介绍这一中间层如何路由、验证身份、缓存和记录模型调用，并梳理了将服务提供商凭据集中在单一服务中所带来的安全与可靠性风险。

网关的定义与分类

该指南将 LLM 网关定义为模型调用的反向代理：应用程序向网关发送请求，而不是直接联系 OpenAI、Anthropic 或 Google 等服务提供商；网关则在转发请求的同时应用运营方设定的规则。指南将这一类别视为解决工具泛滥问题的一种方案，并以 2026 年 9 月 Reddit 的 r/LLMDevs 上一篇帖子开篇。帖子中，一名工程师描述了自己的工作环境：每个人都各自持有 Claude、OpenAI、AWS Bedrock 及其他推理服务提供商的密钥。

指南中的对比表将网关分为四类。API 网关位于后端服务之前，负责判断客户端是否通过身份验证，以及是否受到速率限制。LLM 网关位于模型服务提供商之前，负责决定请求由哪个模型处理、由谁付费，以及响应是否成功返回。MCP 网关负责判断代理是否可以使用指定参数调用指定工具。指南用“AI 网关”指代将上述职能以某种组合打包在一起的供应商产品。

请求生命周期的六个步骤

指南通过追踪一个请求从应用程序发往模型再返回的过程，解释其运行机制。首先，应用程序向网关端点发送聊天请求，通常采用兼容 OpenAI 的格式。网关会验证凭据，这些凭据通常是发放给团队或产品的虚拟密钥；如果接入了输入防护机制，还可以扫描提示内容，查找敏感数据或试图覆盖模型指令的内容。如果启用了缓存，符合条件且与缓存匹配的请求可以直接由已保存的响应处理；有些网关还提供语义缓存，可匹配被判定为相似而非完全相同的请求。随后，网关会在配置中查找匹配的路由；如果首选服务提供商超时，还可以切换到备用服务提供商。网关会将请求转换为所选服务提供商的格式，对发出的调用进行身份验证，再将响应转换回应用程序所需的格式。启用日志记录后，网关还会记录调用者、处理请求的模型、令牌数量、延迟和成本。

安全与可靠性风险

指南的核心警告是，网关会集中存储凭据。Microsoft 的安全团队已列出 LiteLLM 部署可能持有或检索到的信息：服务提供商 API 密钥、LiteLLM 主密钥、虚拟密钥记录、数据库连接字符串、路由配置和租户策略数据。Microsoft 在 2026 年 8 月 26 日发布的文章中，介绍了一起已发现的 LiteLLM 网关遭入侵事件，攻击者从网关运行环境中窃取了凭据。

2026 年 10 月 13 日，Check Point Research 披露了 LiteLLM 中两个高风险漏洞：CVE-2026-35029 是一个访问控制漏洞，使经过身份验证的用户（包括只读用户）能够访问管理功能并控制网关；CVE-2026-59823 是一个服务器端请求伪造漏洞，使用户能够将网关请求重定向到攻击者控制的服务器，并窃取 AI 服务提供商的 API 密钥。LiteLLM 1.83.9 版本已修复这两个漏洞。Check Point 报告称，LiteLLM 每月下载量达 9700 万次，在 GitHub 上拥有超过 59,000 颗星标；该机构还表示，向 LiteLLM 进行的协调披露始于 2025 年 10 月。

指南还提醒团队为防护机制设定故障处理策略。指南将钩子描述为请求流程中的特定节点，网关会在这些节点将内容交给外部扫描器判定。指南指出，Portkey 的文档列出了 before_request_hooks 和 after_request_hooks，而 TrueFoundry 会运行四个钩子，在 MCP 工具调用前后分别添加检查。

在可靠性方面，指南列举了有记录的服务中断事件。Cloudflare 关于 2025 年 6 月 12 日服务中断的自述称，由于 AI Gateway 依赖 Workers KV 来存储客户端和内部配置，其 AI Gateway 的请求错误率峰值达到 97%；整体服务中断持续了 2 小时 28 分钟。OpenRouter 对 2026 年 2 月 17 日和 19 日服务中断事件的事后分析报告称，第三方缓存依赖故障后，两起事件分别持续了 38 分钟和 35 分钟，导致出现 401“未找到用户”错误；后续改进措施包括加入熔断器，并在基础设施问题阻碍授权查询时返回 503 错误，而不是 401 错误。

部署选项、定价与供应商详情

指南列出了四种部署方式。团队可以在内部自行编写精简版网关——接收请求、检查调用方密钥、添加服务提供商凭据、转发调用并记录结果；也可以自行托管开源网关，指南列举了 LiteLLM、Bifrost 和 Helicone。指南列出的托管网关包括 Cloudflare AI Gateway、Vercel AI Gateway、OpenRouter 和 Portkey 的托管网关。第四种方式是在公司已经运行的 API 网关上扩展相关功能，指南列举了 Kong AI Gateway、Apigee 的 AI 网关策略，以及 Azure API Management 的 AI 网关。

关于成本，指南指出，LLM 网关的价格从免费的开源软件到付费方案不等，付费方案起价约为每月 50 美元，企业定制价格另行商定。指南还指出，有些服务会按比例收费：OpenRouter 的 Standard 计划会在购买额度时额外收取 5.5%。

指南最后针对具体厂商作出解答。指南指出，Amazon Bedrock AgentCore Gateway 支持通过 AWS 所称的“推理目标”调用模型，使应用能够通过单一端点连接包括 Amazon Bedrock、OpenAI 和 Anthropic 在内的服务提供商。指南还提到，Perplexity 自有的 Agent API 支持 OpenAI 的 Responses API 接口，因此团队可以复用现有的 OpenAI 客户端库；Agent API 还允许用户按偏好顺序列出最多五个模型，其中可以包括来自不同服务提供商的模型。指南还介绍了 Perplexity 的开源项目 Numbat。它通过本地钩子连接受支持的智能体，并能在计划执行的操作（例如 shell 命令或文件写入）运行前进行检查；阻止操作是可选功能，且默认关闭。