Kong, Konnect에 AI 비용·자격 증명·관측성 제어 기능 추가

Kong은 2026년 11월 4일 Kong Konnect에 AI 관리 기능을 도입하고, 기업들이 에이전트를 프로덕션 환경으로 옮기는 가운데 AI 지출, 자격 증명, 관리형 리소스 검색 및 관측성을 제어하는 기능을 추가했다.

비용 관리, 자격 증명, 컨텍스트 및 기본 관측성 기능은 별도 애드온이 아니라 Konnect의 Kong AI Gateway에 포함되어 제공되므로, 이미 해당 게이트웨이를 운영하는 팀은 추가 구매 없이 이를 사용할 수 있다. 이번 확장 릴리스에는 모델, Model Context Protocol (MCP) 서버 및 에이전트를 관리형으로 검색하는 기능도 새로 도입됐다.

Kong은 네 가지 운영상 공백을 해결하고 있다. 팀이나 애플리케이션별로 배정할 수 없는 지출, 에이전트 코드나 프롬프트에 포함된 자격 증명, 에이전트 도구로 반복해서 래핑되는 API, 그리고 에이전트 활동을 통합적으로 파악할 수단의 부재다. 하나의 작업이 여러 모델, MCP 서버, API, 도구 및 다른 에이전트를 거치면 이러한 문제를 관리하기가 더 어려워진다. 연결 경로에 제어 기능을 두면 애플리케이션 팀마다 사용량 데이터를 따로 재구성할 필요 없이 정책과 사용량 데이터가 해당 상호작용을 따라가게 할 수 있다.

비용 배분 및 런타임 최적화

AI 비용 관리는 게이트웨이 사용량 데이터에 요청의 ID 및 컨텍스트를 결합해 사업부, 엔지니어링 팀, 애플리케이션, 에이전트, 개별 사용자, 고객 또는 테넌트별로 지출을 배분한다. 가격 카탈로그는 공급업체별 토큰 요금과 지출 요율을 한곳에서 관리하고, 협상으로 정한 요율을 별도로 적용할 수 있게 한다. 타사 AI 도구와의 통합을 통해 코딩 하네스, 코파일럿 및 소프트웨어 개발 워크플로까지 비용 배분 범위를 넓힌다.

팀은 이러한 배분 그룹별로 예산을 설정하고 사용량이 한도에 가까워지면 알림을 받을 수 있다. Konnect 개요에는 강제 예산과 소프트 예산 옵션이 추가되며, 팀·하네스·저장소별 지출을 예산 한도와 비교하는 대시보드도 제공된다.

인프라 계층에서는 지능형 모델 라우팅, 의미 기반 캐싱, 프롬프트 캐싱, 프롬프트 압축 및 추론 제어를 통해 최적화를 수행한다. Kong은 기대할 수 있는 효과가 워크로드에 따라 달라진다고 설명한다. 의미 기반 캐싱은 반복되거나 유사한 요청에 특히 적합하며, 저렴한 대안으로 처리할 수 있는 작업에 고가 모델을 사용한다면 라우팅이 더 큰 효과를 낼 수 있다. 추가 효율성을 찾아내고 최적화로 절감한 비용을 측정하는 후속 기능인 Opportunities는 초기 릴리스에 포함되지 않고 출시 예정으로 표시돼 있다.

에이전트 트래픽에 사용자별 자격 증명 적용

Token Vault는 Kong AI Gateway 2.3에서 사용자별 3자 OAuth 기능과 함께 출시됐으며, 모든 Kong Gateway 구독에 포함된다. 사용자와 에이전트는 기업의 ID 공급자 자격 증명을 사용해 MCP 서버 프록시에 인증한다. 업스트림 자격 증명을 불러오기 전에 접근, 로깅, 속도 제한 및 기타 게이트웨이 정책을 평가한다.

처음 사용할 때 게이트웨이는 MCP URL elicitation 또는 합성 도구를 통해 유효 기간이 짧은 등록 링크를 반환할 수 있다. 사용자가 업스트림 서비스의 일반적인 OAuth 동의 절차를 완료하면, 게이트웨이는 생성된 리프레시 토큰을 고객 키로 암호화하고 암호화된 데이터 봉투를 저장을 위해 Kong Identity로 전송한다.

이후 승인된 호출이 들어오면 게이트웨이는 고객의 비밀 정보 관리자에서 읽어 온 개인 키로 메모리 내 자격 증명을 복호화해 업스트림 요청에 삽입하고, 만료된 토큰을 갱신한 뒤 다시 암호화한다. Kong에 따르면 에이전트는 토큰을 보지 않고 응답을 받는다. Konnect는 암호화된 토큰을 저장하지만 이를 복호화하는 데 필요한 키는 보유하지 않는다. 사용자의 정책상 접근 권한을 제거하면 업스트림 자격 증명이 아직 폐기되지 않았더라도 즉시 적용된다.

관리형 검색 및 운영 가시성

Kong AI Registry는 상용 모델, 자체 호스팅 모델 및 맞춤형 모델, MCP 서버, 내부 에이전트와 타사 에이전트를 지원한다. 개발자와 에이전트는 각 에이전트에 하드코딩된 연결에만 의존하지 않고 승인된 리소스를 검색할 수 있다. 리소스를 등록하는 것만으로 접근 권한이 부여되지는 않는다. 런타임에는 AI Gateway가 인증, 권한 부여, 정책 시행, 트래픽 관리 및 관측성을 제공하며, 제어 기능에는 속도 제한과 보안 가드레일도 포함된다.

Context Mesh는 기존 API와 MCP 서버를 바탕으로 관리형 MCP 서버를 생성하고, 여러 소스를 결합해 복합 서버를 구성하며, 이렇게 만들어진 서버를 AI Gateway에 배포할 수 있다. Code Mode를 사용하면 에이전트는 사용 가능한 API 범위를 검색하고 관련 스키마를 가져온 뒤, 모든 도구 정의를 불러오는 대신 해당 작업을 실행한다. 또한 반복문, 조건문 및 오류 처리를 활용해 작업을 조합할 수도 있다. Kong은 앞서 2026년 9월 30일 AI 관리 기능의 일부로 컨텍스트 관리를 정식 출시했다. 이번 패키지 구성에 관한 배경으로 이 기능의 기존 출시 사실을 언급한다.

AI 관측성은 현재 전체 환경 개요, 사전 구축 및 사용자 지정 대시보드, 임시 쿼리를 위한 탐색기, 연결 로그를 제공한다. 대시보드에서는 모델, 에이전트, MCP 도구, 팀 또는 환경별로 트래픽과 지출을 분석할 수 있다. 공유 뷰에는 역할 기반 접근 제어가 적용되며, OpenTelemetry 및 메트릭 내보내기 도구를 사용하면 텔레메트리 데이터를 기존 관측성 시스템으로 보낼 수 있다.

에이전트 단계, 도구 호출, 모델 호출 전반의 고급 세션 및 턴 추적 기능은 2026년 11월 말이나 12월 초에 제공될 예정입니다. 계획된 워크플로를 통해 팀은 개별 턴의 입력, 출력, 토큰 수, 비용, 지연 시간은 물론 결과를 만들어 낸 정책 검사와 도구 호출도 함께 살펴볼 수 있습니다.

이번 릴리스로 게이트웨이는 개별 AI 요청을 전달하거나 차단하는 역할을 넘어, 에이전트 활동에 ID, 예산, 도구 액세스 정책을 적용하는 공용 계층으로 기능하게 됩니다. 기존 Konnect 게이트웨이 고객은 해당 패키지에서 핵심 비용, 자격 증명, 서비스 탐색 제어 기능을 이용할 수 있으며, 전체 세션 감사 추적과 최적화로 인한 절감 효과의 근거는 다음 출시 단계에 포함됩니다.