Kong bổ sung các biện pháp kiểm soát chi phí AI, thông tin xác thực và khả năng quan sát cho Konnect

Ngày 4 tháng 11 năm 2026, Kong đã giới thiệu tính năng Quản lý AI trong Kong Konnect, bổ sung các biện pháp kiểm soát chi tiêu AI, thông tin xác thực, khám phá tài nguyên có quản lý và khả năng quan sát khi các doanh nghiệp đưa tác tử vào môi trường sản xuất.

Các thành phần quản lý chi phí, thông tin xác thực, ngữ cảnh và khả năng quan sát cơ bản đi kèm Kong AI Gateway trên Konnect, thay vì được cung cấp dưới dạng tiện ích bổ sung riêng. Vì vậy, các nhóm đang sử dụng cổng này có thể dùng những thành phần đó mà không cần mua thêm. Bản phát hành rộng hơn cũng giới thiệu tính năng khám phá có quản lý dành cho mô hình, máy chủ Giao thức Ngữ cảnh Mô hình (MCP) và tác tử.

Kong giải quyết bốn thiếu sót trong vận hành: khoản chi không thể quy cho một nhóm hoặc ứng dụng; thông tin xác thực được nhúng trong mã hoặc lời nhắc của tác tử; các API liên tục bị bọc lại thành công cụ cho tác tử; và thiếu một bản tổng hợp hoạt động của tác tử. Những thiếu sót này càng khó quản lý hơn khi một tác vụ đi qua nhiều mô hình, máy chủ MCP, API, công cụ và tác tử khác. Việc đặt các biện pháp kiểm soát trên đường truyền kết nối giúp chính sách và dữ liệu sử dụng theo sát những tương tác đó, thay vì để từng nhóm ứng dụng phải tự dựng lại chúng.

Phân bổ chi phí và tối ưu hóa trong thời gian chạy

Tính năng Quản lý chi phí AI kết hợp dữ liệu mức tiêu thụ qua cổng với danh tính và ngữ cảnh của yêu cầu để phân bổ chi tiêu cho các đơn vị kinh doanh, nhóm kỹ thuật, ứng dụng, tác tử, người dùng cá nhân, khách hàng hoặc bên thuê. Danh mục giá tập trung hóa mức giá token và chi tiêu của các nhà cung cấp, đồng thời cho phép điều chỉnh theo các thỏa thuận đã đàm phán. Tích hợp với các công cụ AI của bên thứ ba giúp mở rộng khả năng phân bổ chi phí sang các bộ công cụ hỗ trợ lập trình, trợ lý lập trình và quy trình phát triển phần mềm.

Các nhóm có thể đặt ngân sách cho những nhóm đối tượng phân bổ này và nhận cảnh báo khi mức tiêu thụ sắp chạm ngưỡng. Trang tổng quan Konnect bổ sung các lựa chọn ngân sách cứng và mềm, cùng một bảng điều khiển để so sánh chi tiêu với mức trần ngân sách theo nhóm, bộ công cụ hỗ trợ lập trình hoặc kho mã nguồn.

Việc tối ưu hóa được thực hiện ở lớp hạ tầng thông qua định tuyến mô hình thông minh, bộ nhớ đệm ngữ nghĩa, bộ nhớ đệm lời nhắc, nén lời nhắc và các biện pháp kiểm soát suy luận. Kong cho biết lợi ích tiềm năng tùy thuộc vào khối lượng công việc: bộ nhớ đệm ngữ nghĩa đặc biệt phù hợp với các yêu cầu lặp lại hoặc tương tự nhau, trong khi định tuyến có thể tạo ra tác động lớn hơn khi các mô hình đắt tiền xử lý những tác vụ mà lựa chọn chi phí thấp hơn cũng có thể đảm nhiệm. Opportunities, một tính năng sắp ra mắt nhằm tìm thêm cơ hội nâng cao hiệu quả và đo lường khoản tiết kiệm nhờ tối ưu hóa, được đánh dấu là sắp có chứ không nằm trong bản phát hành ban đầu.

Thông tin xác thực riêng cho từng người dùng khi xử lý lưu lượng của tác tử

Token Vault ra mắt cùng OAuth ba bên dành riêng cho từng người dùng trong Kong AI Gateway 2.3 và được bao gồm trong tất cả các gói đăng ký Kong Gateway. Người dùng và tác tử xác thực với máy chủ proxy MCP bằng thông tin xác thực của nhà cung cấp danh tính doanh nghiệp. Các chính sách về quyền truy cập, ghi nhật ký, giới hạn tốc độ và những chính sách khác của cổng được đánh giá trước khi thông tin xác thực ở hệ thống thượng nguồn được tải.

Trong lần sử dụng đầu tiên, cổng có thể trả về một liên kết đăng ký có thời hạn ngắn thông qua cơ chế yêu cầu URL của MCP hoặc một công cụ tổng hợp. Người dùng hoàn tất quy trình chấp thuận OAuth thông thường của dịch vụ thượng nguồn; sau đó, cổng mã hóa các token làm mới thu được bằng khóa của khách hàng và gửi gói dữ liệu đã mã hóa đến Kong Identity để lưu trữ.

Trong các lệnh gọi được cấp quyền về sau, cổng giải mã thông tin xác thực trong bộ nhớ bằng khóa riêng tư lấy từ trình quản lý bí mật của khách hàng, chèn thông tin đó vào yêu cầu gửi đến hệ thống thượng nguồn, đồng thời làm mới và mã hóa lại các token đã hết hạn. Kong cho biết tác tử nhận được phản hồi mà không nhìn thấy token. Konnect lưu trữ các token đã mã hóa nhưng không có khóa cần thiết để giải mã chúng; việc thu hồi quyền truy cập theo chính sách của người dùng có hiệu lực ngay lập tức, ngay cả khi thông tin xác thực ở hệ thống thượng nguồn chưa bị thu hồi.

Khám phá có quản lý và khả năng quan sát trong vận hành

Danh mục AI của Kong bao gồm các mô hình thương mại, tự lưu trữ và tùy chỉnh, máy chủ MCP, cùng các tác tử nội bộ và bên thứ ba. Nhà phát triển và tác tử có thể khám phá những tài nguyên được phê duyệt thay vì chỉ dựa vào các kết nối được mã hóa cứng trong từng tác tử. Chỉ đăng ký không đồng nghĩa với việc được cấp quyền truy cập: AI Gateway cung cấp khả năng xác thực, phân quyền, thực thi chính sách, quản lý lưu lượng và khả năng quan sát trong thời gian chạy; các biện pháp kiểm soát này bao gồm giới hạn tốc độ và hàng rào bảo vệ an ninh.

Context Mesh tạo các máy chủ MCP có quản lý từ những API và máy chủ MCP hiện có, kết hợp nhiều nguồn thành các cấu trúc tổng hợp và có thể triển khai những máy chủ thu được lên AI Gateway. Với Code Mode, tác tử tìm kiếm phạm vi API hiện có, lấy lược đồ phù hợp rồi thực thi thao tác, thay vì tải mọi định nghĩa công cụ. Tác tử cũng có thể kết hợp các thao tác bằng vòng lặp, câu lệnh điều kiện và xử lý lỗi. Trước đó, ngày 30 tháng 9 năm 2026, Kong đã cung cấp rộng rãi tính năng Quản lý ngữ cảnh trong khuôn khổ AI Management; thông tin về thời điểm cung cấp trước đó này là bối cảnh cho cách đóng gói mới.

Khả năng quan sát AI hiện cung cấp trang tổng quan toàn bộ hệ thống, các bảng điều khiển dựng sẵn và tùy chỉnh, công cụ Explorer để truy vấn theo nhu cầu và nhật ký kết nối. Các bảng điều khiển phân tách lưu lượng và chi tiêu theo mô hình, tác tử, công cụ MCP, nhóm hoặc môi trường. Các chế độ xem được chia sẻ tuân theo biện pháp kiểm soát truy cập dựa trên vai trò, trong khi OpenTelemetry và trình xuất số liệu cho phép đưa dữ liệu đo từ xa vào các hệ thống quan sát hiện có.

Khả năng truy vết nâng cao ở cấp phiên và từng lượt, xuyên suốt các bước của tác nhân AI, lời gọi công cụ và lời gọi mô hình, dự kiến được triển khai vào cuối tháng 11 hoặc đầu tháng 12 năm 2026. Quy trình dự kiến này cho phép các nhóm kiểm tra dữ liệu đầu vào, đầu ra, số lượng token, chi phí và độ trễ của từng lượt, cùng với các bước kiểm tra chính sách và lời gọi công cụ tạo ra kết quả đó.

Bản phát hành này mở rộng vai trò của cổng kết nối, từ chỗ chỉ cho phép hoặc chặn từng yêu cầu AI riêng lẻ, thành một lớp dùng chung để gắn danh tính, ngân sách và chính sách truy cập công cụ với hoạt động của tác nhân AI. Khách hàng hiện sử dụng cổng kết nối Konnect sẽ nhận được các tính năng cốt lõi về chi phí, thông tin xác thực và kiểm soát khả năng khám phá trong gói này; trong khi đó, nhật ký kiểm toán đầy đủ của phiên và bằng chứng về khoản tiết kiệm nhờ tối ưu hóa sẽ được cung cấp ở giai đoạn tiếp theo của quá trình triển khai.