Kong Menambahkan Kontrol Biaya AI, Kredensial, dan Observabilitas ke Konnect

Pada 4 November 2026, Kong memperkenalkan Manajemen AI di Kong Konnect, dengan menambahkan kontrol untuk pengeluaran AI, kredensial, penemuan sumber daya yang diatur, dan observabilitas seiring perusahaan membawa agen ke lingkungan produksi.

Komponen pengelolaan biaya, kredensial, konteks, dan observabilitas dasar tersedia bersama Kong AI Gateway di Konnect, bukan sebagai fitur tambahan terpisah, sehingga tim yang sudah menggunakan gateway tersebut dapat memanfaatkannya tanpa pembelian lain. Rilis yang lebih luas ini juga memperkenalkan penemuan teratur untuk model, server Model Context Protocol (MCP), dan agen.

Kong menangani empat kesenjangan operasional: pengeluaran yang tidak dapat dikaitkan dengan tim atau aplikasi, kredensial yang disematkan dalam kode atau perintah agen, API yang berulang kali dibungkus sebagai alat agen, serta tidak adanya catatan terpadu tentang aktivitas agen. Kesenjangan tersebut lebih sulit dikelola ketika satu tugas melibatkan beberapa model, server MCP, API, alat, dan agen lain. Dengan menempatkan kontrol pada jalur konektivitas, kebijakan dan data penggunaan dapat mengikuti interaksi tersebut, alih-alih harus direkonstruksi oleh setiap tim aplikasi.

Atribusi Biaya dan Optimalisasi Saat Berjalan

Manajemen Biaya AI menggabungkan data konsumsi gateway dengan identitas dan konteks permintaan untuk mengatribusikan pengeluaran kepada unit bisnis, tim rekayasa, aplikasi, agen, pengguna individu, pelanggan, atau tenant. Katalog harganya memusatkan tarif token dan pengeluaran penyedia serta memungkinkan penyesuaian untuk kesepakatan yang dinegosiasikan. Integrasi dengan alat AI pihak ketiga memperluas atribusi hingga mencakup perangkat bantu pemrograman, asisten pemrograman, dan alur kerja pengembangan perangkat lunak.

Tim dapat menetapkan anggaran untuk kelompok atribusi tersebut dan menerima peringatan saat konsumsi mendekati ambang batas. Ikhtisar Konnect menambahkan opsi anggaran ketat dan fleksibel serta dasbor untuk membandingkan pengeluaran dengan batas anggaran berdasarkan tim, perangkat bantu pemrograman, atau repositori.

Optimalisasi diterapkan pada lapisan infrastruktur melalui perutean model cerdas, caching semantik, caching perintah, kompresi perintah, dan kontrol penalaran. Menurut Kong, potensi manfaatnya berbeda-beda bergantung pada beban kerja: caching semantik sangat sesuai untuk permintaan berulang atau serupa, sedangkan perutean dapat lebih berpengaruh ketika model mahal menangani tugas yang dapat dikerjakan oleh alternatif berbiaya lebih rendah. Opportunities, fitur mendatang untuk menemukan efisiensi tambahan dan mengukur penghematan dari optimalisasi, ditandai sebagai segera hadir dan belum disertakan dalam rilis awal.

Kredensial Per Pengguna untuk Lalu Lintas Agen

Token Vault diluncurkan dengan OAuth tiga pihak per pengguna di Kong AI Gateway 2.3 dan disertakan dalam semua langganan Kong Gateway. Pengguna dan agen melakukan autentikasi ke proksi server MCP menggunakan kredensial penyedia identitas perusahaan. Akses, pencatatan log, pembatasan laju, dan kebijakan gateway lainnya dievaluasi sebelum kredensial hulu dimuat.

Saat pertama kali digunakan, gateway dapat memberikan tautan pendaftaran berumur pendek melalui elisitasi URL MCP atau alat sintetis. Pengguna menyelesaikan alur persetujuan OAuth standar dari layanan hulu, lalu gateway mengenkripsi token penyegaran yang dihasilkan dengan kunci milik pelanggan dan mengirimkan amplop terenkripsi tersebut ke Kong Identity untuk disimpan.

Pada panggilan berikutnya yang diotorisasi, gateway mendekripsi kredensial di memori menggunakan kunci privat yang dibaca dari pengelola rahasia milik pelanggan, memasukkannya ke dalam permintaan hulu, lalu memperbarui dan mengenkripsi ulang token yang kedaluwarsa. Menurut Kong, agen menerima respons tanpa melihat token. Konnect menyimpan token terenkripsi, tetapi tidak memiliki kunci yang diperlukan untuk membukanya; pencabutan akses kebijakan pengguna langsung berlaku meskipun kredensial hulu belum dicabut.

Penemuan Teratur dan Visibilitas Operasional

Registri AI Kong mencakup model komersial, yang di-hosting sendiri, dan khusus, server MCP, serta agen internal dan pihak ketiga. Pengembang dan agen dapat menemukan sumber daya yang disetujui, alih-alih hanya mengandalkan koneksi yang dikodekan secara permanen ke dalam setiap agen. Pendaftaran saja tidak memberikan akses: AI Gateway menyediakan autentikasi, otorisasi, penegakan kebijakan, pengelolaan lalu lintas, dan observabilitas saat sistem berjalan, dengan kontrol seperti pembatasan laju dan perlindungan keamanan.

Context Mesh menghasilkan server MCP yang diatur dari API dan server MCP yang sudah ada, menggabungkan beberapa sumber menjadi komposit, dan dapat menerapkan server hasilnya ke AI Gateway. Dengan Code Mode, agen menelusuri cakupan API yang tersedia, mengambil skema yang relevan, lalu menjalankan operasi alih-alih memuat definisi setiap alat. Agen juga dapat menyusun operasi menggunakan perulangan, kondisi, dan penanganan kesalahan. Kong telah menyediakan Manajemen Konteks secara umum sebagai bagian dari Manajemen AI sejak 30 September 2026; ketersediaan sebelumnya itu merupakan konteks bagi paket baru ini.

Observabilitas AI saat ini menyediakan ikhtisar seluruh lingkungan, dasbor siap pakai dan khusus, Explorer untuk kueri ad hoc, serta log konektivitas. Dasbor menguraikan lalu lintas dan pengeluaran berdasarkan model, agen, alat MCP, tim, atau lingkungan. Tampilan bersama tunduk pada kontrol akses berbasis peran, sementara OpenTelemetry dan eksportir metrik memungkinkan telemetri dialirkan ke sistem observabilitas yang sudah ada.

Penelusuran lanjutan atas sesi dan giliran di berbagai langkah agen, pemanggilan alat, dan pemanggilan model dijadwalkan pada akhir November atau awal Desember 2026. Alur kerja yang direncanakan memungkinkan tim memeriksa masukan, keluaran, token, biaya, dan latensi dari setiap giliran, beserta pemeriksaan kebijakan dan pemanggilan alat yang menghasilkan keluaran tersebut.

Rilis ini memperluas peran gateway, yang kini tidak hanya meneruskan atau memblokir permintaan AI satu per satu, tetapi juga menjadi lapisan bersama untuk menerapkan identitas, anggaran, dan kebijakan akses alat pada aktivitas agen. Pelanggan gateway Konnect yang sudah ada mendapatkan kontrol inti atas biaya, kredensial, dan penemuan dalam paket tersebut, sedangkan jejak audit sesi lengkap dan bukti penghematan dari optimasi akan hadir pada tahap peluncuran berikutnya.