Perplexity 发布文章详解 AI 网关的运作机制与局限

Perplexity 于 2026 年 10 月 20 日发布了一篇指南，介绍 AI 网关如何在应用程序与大语言模型之间路由、计量和治理流量，以及组织何时需要部署 AI 网关。文章标题为《什么是 AI 网关？LLM 与智能体流量的路由、成本控制和治理指南》，并作为该公司博客的最新文章发布。

定义与请求处理

这篇指南将 AI 网关定义为一个中央代理层，位于组织的应用程序或 AI 智能体与它们调用的大语言模型和工具之间，在同一处处理路由、成本控制、安全策略执行和使用情况监控。由于每家提供商（指南列举了 OpenAI、Anthropic、Google、开源模型和自托管端点）都有自己的 SDK、API 密钥和请求格式，网关会接收统一格式的请求，并将其转换为目标提供商所需的格式。添加、替换或停用模型，都可以通过网关配置完成，而不必修改应用程序代码。

根据指南，所有发往网关基础 URL 的请求都会经过相同的四个步骤：网关通过密钥和角色对调用方进行身份验证与授权；应用令牌限额、预算和防护措施等策略，包括对个人身份信息（PII）进行脱敏；根据成本、延迟或可用性将请求路由至某个模型或提供商，在必要时切换到备用选项，并将请求转换为目标提供商所需的格式；记录模型、令牌数量、延迟和结果，以便跟踪支出和排查问题。

功能与明确提及的局限

指南介绍了六类功能。路由与故障切换会根据成本、延迟或能力选择模型，并在提供商不可用或受到速率限制时自动将请求转至其他选项。基于令牌的速率限制和预算会为每个团队、项目或用户设定用量上限，达到配额后拒绝请求。语义缓存会根据含义将新提示与已存储的答案进行匹配；当提示足够相似时，无需调用模型即可返回已保存的响应。防护措施会检查每条提示和响应，在内容到达提供商之前移除个人或敏感信息、降低提示注入风险，并过滤不需要的内容。可观测性功能会记录所运行的模型、令牌用量、延迟和故障情况；治理功能则会根据角色授予模型访问权限，并保留每次调用的审计日志。

关于局限，指南指出，网关会增加延迟，但对于 LLM 流量而言，这种延迟相对较小。指南引用了 Broadcom 的 VMware Cloud Foundation 团队于 2026 年 6 月开展的一项独立基准测试：在启用路由和速率限制、但不进行内容检查的情况下，经过调优的 Envoy AI Gateway 在最多 224 个并发用户时，每个请求增加约 2 毫秒延迟。指南引用的同一项基准测试还指出，防护措施和语义缓存可能会增加数十至数百毫秒的延迟。指南还指出，网关不会决定向模型提出什么问题、不会记住对话、不会执行智能体逐步运行的逻辑，也不会评估答案质量；此外，指南提醒，以成本为导向的路由可能会降低质量，因为较便宜的模型可能给出更差的答案。

网关类型与智能体流量

指南从多个方面对比了 AI 网关与传统 API 网关：前者按令牌计量，后者按请求数设限；前者进行语义缓存，后者进行精确匹配缓存；前者会检查提示中是否含有敏感数据和隐藏指令，后者则进行密钥验证；前者根据成本、延迟或能力将请求路由至模型，后者则将请求路由至后端服务。指南还区分了两个范围较窄的术语：LLM 网关负责处理模型调用本身，而 MCP 网关则通过模型上下文协议（MCP）管理智能体可访问的工具和数据源。指南指出，LiteLLM、Portkey、Azure API Management 和 Envoy AI Gateway 现在也都加入了 MCP 治理功能，因此这些术语所指的是彼此重叠的控制层。

对于智能体，指南将其描述为通过循环调用模型和使用工具来完成任务。网关会控制和监控所有由智能体发起的流量，授权智能体访问相应的工具和数据源，并在审计日志中记录所有模型调用和工具调用。

引用的采用情况数据与部署指南

为评估需求规模，指南引用了第三方数据。Cisco 的《2025 年 AI 就绪度指数》发现，在接受调查、来自员工人数超过 500 人组织的 8,039 名高级商业领袖中，83% 计划开发或部署 AI 智能体；Gartner 预计，到 2026 年底，40% 的企业应用将配备特定任务智能体，高于 2025 年不到 5% 的比例。关于成本，指南引用了 DoiT/Sapio 的 2026 年调查，其中 79% 的受访财务负责人表示，他们在过去一年超出了 AI 预算；指南还引用了 Dataiku 与 Harris Poll 于 2026 年开展的一项调查，其中 93% 的企业 CIO 表示，不同模型在不同用例中的表现各有优劣，81% 的企业预计将使用两家或更多模型提供商，55% 至少更换过一次 LLM 提供商。

该指南援引的独立监测数据显示，2026年5月，领先的大语言模型（LLM）提供商的正常运行时间约为99.85%–99.9%。指南据此换算出，每年大约会有9–13小时的停机时间。在Cockroach Labs于2026年对1,125名基础设施高级主管开展的一项调查中，三分之二的受访者估计，人工智能服务停机一小时会给其所在机构造成超过100,000美元的损失。指南还援引了OWASP于2025年发布的排名，其中提示词注入被列为首要的LLM安全风险；此外，Zscaler ThreatLabz发现，企业发送至人工智能应用的数据量一年内增长了93%，仅ChatGPT就触发了4.1亿次数据防泄漏违规事件。

该指南列出了表明机构需要部署网关的迹象：多个代码库中硬编码了服务提供商密钥；财务部门无法将模型账单归属到具体项目；因依赖单一服务提供商而出现限流或停机错误；敏感数据随未经检查的提示词一同传送；各团队分别集成了相互竞争的服务提供商；集成了MCP工具；以及缺少安全或合规概况。指南指出，如果只是运行单个原型、低流量的业余项目，或在安全要求极低的情况下调用单一模型端点，就没有必要部署网关。指南列出的自托管方案包括LiteLLM、Portkey和Apache APISIX，可部署在私有云、Kubernetes或本地基础设施上；托管方案则包括Cloudflare AI Gateway、Azure API Management和Amazon Bedrock AgentCore Gateway。指南将选择方案的考量因素归纳为数据控制与隐私、运维负担（包括PostgreSQL、Redis或etcd等状态存储）、部署速度以及集成能力。其常见问题解答指出，“生成式人工智能网关”与“人工智能网关”可互换使用，而且不存在唯一最好的开源人工智能网关。