Perplexity, LLM 게이트웨이의 작동 방식과 프로덕션 환경의 위험을 분석하다

Perplexity는 2026년 10월 27일 LLM 게이트웨이에 관한 실용 가이드를 공개했다. 이 가이드는 엔지니어링 팀을 대상으로 중간 계층이 모델 호출을 라우팅하고, 인증하고, 캐시하고, 기록하는 방식을 설명하며, 공급자 인증 정보를 하나의 서비스에 집중시킬 때 발생하는 보안 및 안정성 위험을 정리한다.

게이트웨이의 정의와 유형

이 가이드에서는 LLM 게이트웨이를 모델 호출을 위한 역방향 프록시로 정의한다. 애플리케이션은 OpenAI, Anthropic, Google 같은 공급자에 직접 요청을 보내는 대신 게이트웨이에 요청을 보내며, 게이트웨이는 운영자의 규칙을 적용해 해당 요청을 전달한다. 또한 여러 도구가 난립하는 문제를 해결하기 위한 방안으로 이 범주를 제시한다. 글은 2026년 9월 Reddit의 r/LLMDevs에 올라온 게시물로 시작하는데, 여기서 한 엔지니어는 직장에서 모든 사람이 Claude, OpenAI, AWS Bedrock 및 기타 추론 공급자의 자체 키를 보유하고 있다고 설명했다.

가이드의 비교표는 게이트웨이를 네 가지 유형으로 나눈다. API 게이트웨이는 백엔드 서비스 앞에 위치해 클라이언트가 인증되었는지, 요청 한도 내에 있는지를 판단한다. LLM 게이트웨이는 모델 공급자 앞에 위치해 요청을 어느 모델로 보낼지, 비용을 누가 부담할지, 응답이 돌아왔는지를 판단한다. MCP 게이트웨이는 에이전트가 특정 인수를 사용해 특정 도구를 호출해도 되는지 판단한다. 가이드에서는 이러한 역할을 일부 조합해 제공하는 공급업체 제품을 ‘AI 게이트웨이’라고 부른다.

요청 처리의 6단계

가이드는 애플리케이션에서 모델로 갔다가 돌아오는 요청 하나를 추적하며 작동 방식을 설명한다. 먼저 애플리케이션이 대화 요청을 게이트웨이 엔드포인트로 보낸다. 이 요청은 흔히 OpenAI 호환 형식으로 전송된다. 게이트웨이는 인증 정보를 검증한다. 인증 정보는 팀이나 제품에 발급된 가상 키인 경우가 많다. 입력 가드레일이 연동되어 있으면 민감한 데이터가 포함됐는지, 모델의 지시를 무시하려는 시도가 있는지 프롬프트를 검사할 수도 있다. 캐싱이 활성화된 경우 조건에 맞는 일치 요청에는 저장된 응답으로 답할 수 있으며, 일부 게이트웨이는 완전히 동일하지는 않더라도 유사하다고 판단되는 요청을 찾아내는 의미 기반 캐싱을 제공한다. 그런 다음 게이트웨이는 설정에서 일치하는 경로를 조회하고, 첫 번째 공급자가 시간 초과되면 백업 공급자로 전환할 수 있다. 게이트웨이는 요청을 선택된 공급자의 형식으로 변환하고, 외부로 보내는 호출을 인증한 다음, 애플리케이션에 전달할 수 있도록 응답을 다시 변환한다. 로깅이 활성화되어 있으면 누가 호출했는지, 어떤 모델이 응답했는지, 토큰 수와 지연 시간, 비용을 기록한다.

보안 및 안정성 위험

가이드가 강조하는 핵심 경고는 게이트웨이에 인증 정보가 집중된다는 점이다. Microsoft 보안팀은 LiteLLM 배포 환경에 저장되거나 여기서 조회될 수 있는 항목을 열거했다. 여기에는 공급자 API 키, LiteLLM 마스터 키, 가상 키 레코드, 데이터베이스 연결 문자열, 라우팅 설정 및 테넌트 정책 데이터가 포함된다. Microsoft는 2026년 8월 26일 게시물에서 공격자들이 게이트웨이 런타임에서 인증 정보를 탈취한, 실제로 관찰된 LiteLLM 게이트웨이 침해 사례를 설명했다.

2026년 10월 13일, Check Point Research는 LiteLLM에서 위험도가 높은 취약점 두 건을 공개했다. CVE-2026-35029는 읽기 전용 사용자까지 포함한 인증된 사용자가 관리 기능에 접근해 게이트웨이를 장악할 수 있게 하는 접근 제어 결함이다. CVE-2026-59823은 사용자가 게이트웨이 요청을 공격자가 제어하는 서버로 보내 AI 공급자 API 키를 탈취할 수 있게 하는 서버 측 요청 위조 취약점이다. 두 취약점은 LiteLLM 버전 1.83.9에서 모두 수정됐다. Check Point에 따르면 LiteLLM은 월간 다운로드 수 9,700만 회, GitHub 별 59,000개 이상을 기록했으며, LiteLLM에 조율된 취약점 공개 절차를 시작한 시점은 2025년 10월이다.

가이드는 팀에 가드레일 실패 시 적용할 정책도 정하라고 권고한다. 훅은 요청 처리 과정에서 게이트웨이가 콘텐츠를 외부 스캐너에 전달해 판정을 받는 지점이라고 설명한다. Portkey 문서에는 before_request_hooks와 after_request_hooks가 명시되어 있으며, TrueFoundry는 MCP 도구 호출 전후 검사를 추가해 훅 네 개를 실행한다.

안정성과 관련해 가이드는 문서화된 서비스 중단 사례를 소개한다. Cloudflare가 2025년 6월 12일 서비스 중단에 관해 직접 밝힌 내용에 따르면, AI Gateway가 클라이언트 및 내부 설정에 Workers KV를 사용한 탓에 요청의 최대 97%에서 오류가 발생했다. 전체 서비스 중단은 2시간 28분 동안 이어졌다. OpenRouter가 2026년 2월 17일과 19일 발생한 서비스 중단에 대해 공개한 사후 분석에 따르면, 타사 캐싱 종속 요소의 장애로 각각 38분과 35분 동안 문제가 발생했다. 이로 인해 401 ‘사용자를 찾을 수 없음’ 오류가 발생했으며, 인프라 문제로 인증 조회가 차단될 때 401 대신 503 오류를 반환하고 서킷 브레이커를 도입하는 등의 개선 조치가 뒤따랐다.

배포 방식, 가격 및 공급업체별 특징

가이드는 네 가지 배포 방식을 소개한다. 팀은 요청을 받고, 호출자의 키를 확인하고, 공급자 인증 정보를 추가한 뒤 호출을 전달하고 결과를 기록하는 최소 기능의 게이트웨이를 자체 개발할 수 있다. 또는 LiteLLM, Bifrost, Helicone을 선택지로 제시하는 오픈소스 게이트웨이를 자체 호스팅할 수도 있다. 관리형 게이트웨이로는 Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter, Portkey의 호스팅 게이트웨이가 있다. 네 번째 방법은 회사에서 이미 운영 중인 API 게이트웨이를 확장하는 것으로, Kong AI Gateway, Apigee의 AI 게이트웨이 정책, Azure API Management의 AI 게이트웨이가 여기에 해당한다.

비용과 관련해 이 가이드는 LLM 게이트웨이의 가격대가 무료 오픈소스 소프트웨어부터 월 약 50달러부터 시작하는 유료 요금제와 맞춤형 엔터프라이즈 가격까지 다양하며, 일부 서비스는 대신 일정 비율의 수수료를 부과한다고 설명한다. 예를 들어 OpenRouter의 Standard 요금제는 크레딧 구매 금액에 5.5%를 추가한다고 덧붙인다.

가이드는 마지막으로 각 업체에 관한 구체적인 질문에 답한다. AWS가 “추론 대상”이라고 부르는 방식을 통해 Amazon Bedrock AgentCore Gateway가 모델 호출을 지원하므로, 애플리케이션은 하나의 엔드포인트로 Amazon Bedrock, OpenAI, Anthropic 등의 제공업체에 연결할 수 있다고 설명한다. 또한 Perplexity의 Agent API가 OpenAI의 Responses API 인터페이스를 지원하므로 팀이 기존 OpenAI 클라이언트 라이브러리를 재사용할 수 있으며, 이 API를 통해 사용자는 서로 다른 제공업체의 모델을 포함해 최대 5개 모델을 원하는 순서대로 나열할 수 있다고 언급한다. 가이드는 Perplexity의 오픈소스 Numbat도 소개한다. Numbat은 로컬 훅을 통해 지원되는 에이전트와 연결되며, 셸 명령이나 파일 쓰기 같은 예정된 작업이 실행되기 전에 이를 검사할 수 있다. 작업 차단 기능은 선택 사항이며 기본적으로 꺼져 있다.