Perplexity опубликовала разъяснение о принципах работы и ограничениях AI-шлюзов

Perplexity опубликовала 20 октября 2026 года руководство, в котором объясняется, как AI-шлюзы маршрутизируют, учитывают и регулируют трафик между приложениями и большими языковыми моделями, а также когда такой шлюз нужен организации. Статья под названием «Что такое AI-шлюз? Руководство по маршрутизации, контролю затрат и управлению трафиком LLM и ИИ-агентов» стала самой свежей публикацией в блоге компании.

Определение и обработка запросов

В руководстве AI-шлюз определяется как центральный прокси-уровень между приложениями или ИИ-агентами организации, с одной стороны, и большими языковыми моделями и инструментами, к которым они обращаются, — с другой. На этом уровне централизованно выполняются маршрутизация, контроль затрат, обеспечение безопасности и мониторинг использования. Поскольку каждый поставщик (в руководстве названы OpenAI, Anthropic, Google, модели с открытым исходным кодом и самостоятельно размещённые конечные точки) использует собственные SDK, ключи API и формат запросов, шлюз принимает запрос в едином стандартном формате и преобразует его для нужного поставщика. Модели добавляют, заменяют или выводят из эксплуатации в настройках шлюза, а не в коде приложения.

Согласно руководству, каждый запрос, направленный на базовый URL шлюза, проходит одни и те же четыре этапа: шлюз проверяет подлинность вызывающей стороны и предоставляет ей доступ на основе ключа и роли; применяет политики, такие как ограничения на количество токенов, бюджеты и меры защиты, включая удаление персональных данных; направляет запрос к модели или поставщику с учётом стоимости, задержки или доступности, при необходимости переключает его на резервный вариант и преобразует запрос в формат целевого поставщика; записывает сведения о модели, количестве токенов, задержке и результате для отслеживания расходов и отладки.

Возможности и заявленные ограничения

В руководстве описаны шесть областей возможностей. Маршрутизация и переключение на резервный вариант позволяют выбирать модель по стоимости, задержке или возможностям и автоматически перенаправлять запросы, если поставщик недоступен или ограничивает частоту запросов. Ограничения скорости и бюджеты, рассчитываемые по числу токенов, позволяют устанавливать лимиты использования для команды, проекта или пользователя и отклонять запросы после исчерпания выделенного объёма. Семантическое кэширование сопоставляет новые запросы с сохранёнными ответами по смыслу и возвращает сохранённый ответ без обращения к модели, если запросы достаточно близки. Механизмы защиты проверяют каждый запрос и ответ, удаляют личные или конфиденциальные данные до их передачи поставщику, снижают риск внедрения промптов и фильтруют нежелательный контент. Средства наблюдаемости фиксируют, какая модель использовалась, расход токенов, задержку и сбои, а функции управления предоставляют доступ к моделям на основе ролей и ведут журнал аудита каждого вызова.

Говоря об ограничениях, руководство отмечает, что шлюз увеличивает задержку, но характеризует её как относительно небольшую для трафика LLM. В нём приводятся результаты независимого тестирования, проведённого в июне 2026 года командой VMware Cloud Foundation компании Broadcom: настроенный Envoy AI Gateway добавлял около 2 миллисекунд на запрос при нагрузке до 224 одновременных пользователей, если использовались маршрутизация и ограничение частоты запросов, но не проверка содержимого. В том же тестировании, согласно цитируемым данным, отмечается, что механизмы защиты и семантическое кэширование могут добавлять от десятков до сотен миллисекунд. В руководстве также говорится, что шлюзы не решают, что следует спросить у модели, не запоминают беседы, не выполняют пошаговую логику агента и не оценивают качество ответа. Кроме того, предупреждается, что маршрутизация с учётом затрат может ухудшить качество, если более дешёвая модель выдаёт худший ответ.

Типы шлюзов и трафик агентов

В руководстве сопоставляются AI-шлюзы и традиционные API-шлюзы по нескольким параметрам: учёт токенов вместо ограничений по числу запросов, семантическое кэширование вместо кэширования по точному совпадению, проверка запросов на наличие конфиденциальных данных и скрытых инструкций вместо аутентификации по ключу, а также маршрутизация к моделям по стоимости, задержке или возможностям вместо маршрутизации к внутренним сервисам. В нём также разграничиваются два более узких понятия: LLM-шлюз обрабатывает непосредственно вызов модели, а MCP-шлюз управляет тем, к каким инструментам и источникам данных агент может обращаться через протокол Model Context Protocol (MCP). Как отмечается в руководстве, LiteLLM, Portkey, Azure API Management и Envoy AI Gateway теперь добавляют функции управления MCP, поэтому эти термины описывают пересекающиеся уровни контроля.

Согласно руководству, агенты работают в циклах вызовов модели и использования инструментов до завершения задачи. Шлюз контролирует и отслеживает весь трафик, инициируемый агентом, определяет, к каким инструментам и источникам данных агенту разрешён доступ, и заносит все вызовы моделей и инструментов в журнал аудита.

Данные об использовании и рекомендации по внедрению

Чтобы оценить спрос, в руководстве приводятся данные третьих сторон. Согласно индексу AI Readiness Index 2025 компании Cisco, 83% из 8 039 опрошенных руководителей высшего звена в организациях с численностью сотрудников более 500 человек планируют разрабатывать ИИ-агентов или внедрять их. Gartner ожидает, что к концу 2026 года специализированные агенты будут использоваться в 40% корпоративных приложений против менее 5% в 2025 году. Говоря о затратах, руководство ссылается на опрос DoiT/Sapio 2026 года, в котором 79% участвовавших в нём финансовых руководителей сообщили, что за последний год превысили бюджет на ИИ. Также приводятся результаты опроса Dataiku и Harris Poll 2026 года: 93% ИТ-директоров крупных компаний заявили, что разные модели лучше подходят для разных сценариев использования; 81% компаний планируют использовать две или более платформы поставщиков моделей; 55% хотя бы раз меняли поставщика LLM.

Согласно независимому мониторингу, на который ссылается руководство, в мае 2026 года доступность ведущих провайдеров больших языковых моделей составляла около 99,85–99,9% — это примерно 9–13 часов простоя в год. В опросе Cockroach Labs за 2026 год, в котором участвовали 1 125 руководителей инфраструктурных подразделений, две трети респондентов оценили, что час простоя ИИ обойдётся их организации более чем в 100 000 долларов. Руководство также ссылается на рейтинг OWASP за 2025 год, где внедрение промптов занимает первое место среди рисков безопасности больших языковых моделей, и на данные Zscaler ThreatLabz: за год объём корпоративных данных, отправляемых в приложения ИИ, вырос на 93%, а только ChatGPT вызвал 410 миллионов срабатываний систем предотвращения утечек данных.

В руководстве перечислены признаки того, что организации нужен шлюз: ключи провайдеров жёстко прописаны в нескольких кодовых базах; финансовый отдел не может отнести расходы на модели к конкретным подразделениям или проектам; возникают ошибки ограничения частоты запросов или сбои, связанные с зависимостью от одного провайдера; конфиденциальные данные передаются в непроверенных промптах; команды используют конкурирующие интеграции провайдеров; применяются интеграции инструментов MCP; отсутствует общее представление о безопасности и соблюдении требований. При этом шлюз не нужен для отдельного прототипа, небольшого побочного проекта или обращений к одной конечной точке модели при минимальных требованиях к безопасности. Среди решений для самостоятельного размещения названы LiteLLM, Portkey и Apache APISIX — их можно развернуть в частном облаке, Kubernetes или локальной инфраструктуре. Среди управляемых решений указаны Cloudflare AI Gateway, Azure API Management и Amazon Bedrock AgentCore Gateway. Выбор, как отмечает руководство, зависит от требований к контролю над данными и конфиденциальности, объёма операционной нагрузки, включая обслуживание хранилищ состояния, таких как PostgreSQL, Redis или etcd, скорости развёртывания и необходимых интеграций. В разделе часто задаваемых вопросов сказано, что термины «шлюз генеративного ИИ» и «шлюз ИИ» взаимозаменяемы и что единственного лучшего шлюза ИИ с открытым исходным кодом не существует.