Perplexity, AI 게이트웨이의 작동 방식과 한계를 설명하는 자료 공개

Perplexity는 2026년 10월 20일, AI 게이트웨이가 애플리케이션과 대규모 언어 모델 사이의 트래픽을 어떻게 라우팅하고 사용량을 측정·관리하는지, 그리고 조직에 AI 게이트웨이가 필요한 시점은 언제인지를 설명하는 안내 자료를 공개했다. 「AI 게이트웨이란 무엇인가? LLM 및 에이전트 트래픽의 라우팅, 비용 제어, 거버넌스 안내」라는 제목의 이 글은 회사 블로그에 가장 최근에 게시된 글이다.

정의와 요청 처리

안내 자료는 AI 게이트웨이를 조직의 애플리케이션이나 AI 에이전트와 이들이 호출하는 대규모 언어 모델 및 도구 사이에 놓이는 중앙 프록시 계층으로 정의한다. 라우팅, 비용 제어, 보안 정책 적용, 사용량 모니터링을 한곳에서 처리하는 구조다. 각 제공업체(OpenAI, Anthropic, Google, 오픈 소스 모델, 자체 호스팅 엔드포인트 등)는 각기 다른 SDK, API 키, 요청 형식을 제공하므로, 게이트웨이는 표준 요청 하나를 받아 호출 대상 제공업체에 맞게 변환한다. 애플리케이션 코드를 수정하는 대신 게이트웨이 설정을 통해 모델을 추가하거나 교체하거나 사용 중단할 수 있다.

안내 자료에 따르면 게이트웨이의 기본 URL로 전송된 모든 요청은 같은 네 단계를 거친다. 게이트웨이는 키와 역할을 기준으로 호출자를 인증하고 권한을 부여하며, 토큰 한도, 예산, 개인 식별 정보(PII) 삭제를 포함한 보호 장치 등의 정책을 적용한다. 이어 비용, 지연 시간 또는 가용성을 기준으로 모델이나 제공업체에 요청을 라우팅하고, 장애 조치가 필요하면 백업 대상으로 전환하면서 요청을 대상 제공업체의 형식으로 변환한다. 마지막으로 지출 추적과 디버깅을 위해 모델, 토큰 수, 지연 시간, 처리 결과를 기록한다.

기능과 명시된 한계

안내 자료는 여섯 가지 기능 영역을 설명한다. 라우팅 및 장애 조치 기능은 비용, 지연 시간 또는 성능을 기준으로 모델을 선택하고, 제공업체가 작동하지 않거나 요청 한도에 도달하면 요청을 자동으로 다른 곳으로 돌린다. 토큰 기반 요청 한도와 예산은 팀, 프로젝트 또는 사용자별 사용량에 상한을 설정하고, 할당량에 도달하면 요청을 거부한다. 의미 기반 캐싱은 새로운 프롬프트와 저장된 답변의 의미를 비교해 프롬프트가 충분히 유사할 경우 모델을 호출하지 않고 저장된 응답을 반환한다. 보호 장치는 각 프롬프트와 응답을 검사해 개인정보나 민감 정보를 제공업체에 전달하기 전에 제거하고, 프롬프트 인젝션 위험을 줄이며, 원치 않는 콘텐츠를 걸러낸다. 관측 기능은 어떤 모델이 실행됐는지, 토큰 사용량, 지연 시간, 오류를 기록한다. 거버넌스 기능은 역할에 따라 모델 접근 권한을 부여하고 모든 호출의 감사 로그를 보관한다.

한계와 관련해 안내 자료는 게이트웨이가 지연 시간을 늘리지만 LLM 트래픽에서는 그 지연이 비교적 작다고 설명한다. 자료는 Broadcom의 VMware Cloud Foundation 팀이 2026년 6월에 실시한 독립 벤치마크를 인용한다. 이 벤치마크에서 설정을 최적화한 Envoy AI Gateway는 콘텐츠 검사 없이 라우팅과 요청 한도 적용을 수행할 때 동시 사용자 최대 224명 기준 요청당 약 2밀리초의 지연을 더했다. 자료는 같은 벤치마크를 인용해 보호 장치와 의미 기반 캐싱을 적용하면 수십에서 수백 밀리초가 추가될 수 있다고도 전한다. 또한 게이트웨이는 모델에 무엇을 물을지 결정하거나, 대화를 기억하거나, 에이전트의 단계별 로직을 실행하거나, 답변의 품질을 평가하지 않는다고 설명한다. 비용을 기준으로 라우팅하면 더 저렴한 모델이 더 낮은 품질의 답변을 내놓을 때 결과의 품질이 떨어질 수 있다고 경고한다.

게이트웨이 유형과 에이전트 트래픽

안내 자료는 여러 측면에서 AI 게이트웨이와 기존 API 게이트웨이를 비교한다. 토큰 사용량 측정과 요청 횟수 제한, 의미 기반 캐싱과 정확히 일치하는 항목만 찾는 캐싱, 민감 정보와 숨겨진 지침을 찾기 위한 프롬프트 검사와 키 인증, 비용·지연 시간·성능을 기준으로 한 모델 라우팅과 백엔드 서비스 라우팅을 각각 대조한다. 또한 범위가 더 좁은 두 용어를 구분한다. LLM 게이트웨이는 모델 호출 자체를 처리하고, MCP 게이트웨이는 모델 컨텍스트 프로토콜(Model Context Protocol)을 통해 에이전트가 접근할 수 있는 도구와 데이터 소스를 관리한다. 안내 자료에 따르면 LiteLLM, Portkey, Azure API Management, Envoy AI Gateway는 이제 MCP 거버넌스 기능도 제공하므로, 두 용어는 통제 계층이 서로 겹치는 경우가 있음을 나타낸다.

안내 자료에서 에이전트는 작업을 마칠 때까지 모델 호출과 도구 사용을 반복하는 방식으로 작동한다고 설명한다. 게이트웨이는 에이전트가 시작한 모든 트래픽을 제어하고 모니터링하며, 에이전트가 접근할 수 있는 도구와 데이터 소스를 승인하고, 모든 모델 및 도구 호출을 감사 로그에 기록한다.

인용된 도입 현황 데이터와 배포 지침

수요 규모를 가늠하기 위해 안내 자료는 제삼자 기관의 수치를 인용한다. Cisco의 AI Readiness Index 2025에 따르면 직원이 500명 넘는 조직의 고위 경영진 응답자 8,039명 가운데 83%가 AI 에이전트를 개발하거나 배포할 계획이라고 답했다. Gartner는 특정 작업에 특화된 에이전트가 2026년 말까지 기업용 애플리케이션의 40%에 도입될 것으로 전망했다. 이는 2025년 5% 미만에서 증가한 수치다. 비용과 관련해서는 DoiT/Sapio 2026 설문조사를 인용한다. 참여한 재무 책임자 중 79%가 지난 1년 동안 AI 예산을 초과했다고 답했다. 또한 Dataiku와 Harris Poll이 2026년에 실시한 설문조사에서 기업 CIO의 93%는 사용 사례에 따라 더 나은 성능을 내는 모델이 다르다고 답했으며, 기업의 81%는 두 개 이상의 모델 제공업체를 이용할 것으로 예상했고, 55%는 LLM 제공업체를 한 번 이상 변경한 적이 있다고 답했다.

가이드가 인용한 독립 모니터링 자료에 따르면 2026년 5월 주요 LLM 제공업체의 가동률은 약 99.85~99.9%였으며, 가이드는 이를 연간 대략 9~13시간의 다운타임에 해당한다고 설명한다. Cockroach Labs가 인프라 분야 고위 책임자 1,125명을 대상으로 실시한 2026년 설문조사에서는 응답자의 3분의 2가 AI 다운타임이 한 시간 발생하면 조직에 10만 달러가 넘는 비용이 들 것으로 추산했다. 또한 가이드는 OWASP가 2025년 프롬프트 인젝션을 LLM 보안 위험 1위로 꼽은 순위와, Zscaler ThreatLabz가 발표한 기업 데이터의 AI 애플리케이션 전송량이 1년 새 93% 증가했다는 조사 결과를 인용한다. ChatGPT만으로도 데이터 손실 방지 위반이 4억 1,000만 건 발생했다.

가이드에는 조직에 게이트웨이가 필요하다는 신호로 여러 코드베이스에 공급자 키가 하드코딩되어 있는 경우, 재무팀이 비용 귀속을 파악할 수 없는 모델 청구액, 단일 공급자 의존과 관련된 요청 제한 또는 다운타임 오류, 민감한 데이터가 포함된 프롬프트를 검사하지 않는 경우, 팀마다 서로 다른 공급자 연동을 구축한 경우, MCP 도구 연동, 보안이나 규정 준수 현황을 한눈에 파악할 수 없는 경우가 제시되어 있다. 반면 단일 프로토타입이나 사용량이 적은 사이드 프로젝트, 보안 요구 사항이 최소한인 단일 모델 엔드포인트 호출에는 게이트웨이가 필요하지 않다고 설명한다. 자체 호스팅 옵션으로는 프라이빗 클라우드, Kubernetes 또는 온프레미스 인프라에서 사용하는 LiteLLM, Portkey, Apache APISIX가 있으며, 관리형 옵션으로는 Cloudflare AI Gateway, Azure API Management, Amazon Bedrock AgentCore Gateway가 있다. 가이드는 데이터 제어 및 개인정보 보호, PostgreSQL, Redis, etcd와 같은 상태 저장소를 포함한 운영 부담, 배포 속도, 연동 기능을 기준으로 선택해야 한다고 설명한다. FAQ에서는 “생성형 AI 게이트웨이”와 “AI 게이트웨이”를 서로 바꿔 쓸 수 있으며, 단 하나의 최선의 오픈소스 AI 게이트웨이가 있는 것은 아니라고 밝힌다.