Perplexity Menerbitkan Penjelasan tentang Cara Kerja dan Batasan Gerbang AI

Perplexity menerbitkan panduan pada 20 Oktober 2026 yang menjelaskan cara gerbang AI mengarahkan, mengukur, dan mengatur lalu lintas antara aplikasi dan model bahasa besar, serta kapan suatu organisasi membutuhkannya. Tulisan berjudul “Apa Itu Gerbang AI? Panduan untuk Mengarahkan Lalu Lintas LLM dan Agen, Mengendalikan Biaya, dan Menetapkan Tata Kelola” itu menjadi entri terbaru di blog perusahaan.

Definisi dan Penanganan Permintaan

Panduan tersebut mendefinisikan gerbang AI sebagai lapisan proksi terpusat yang ditempatkan di antara aplikasi atau agen AI milik organisasi di satu sisi dan model bahasa besar serta alat yang mereka gunakan di sisi lain. Pengarahan, pengendalian biaya, penerapan keamanan, dan pemantauan penggunaan ditangani di satu tempat. Karena setiap penyedia (panduan tersebut menyebut OpenAI, Anthropic, Google, model sumber terbuka, dan titik akhir yang dihosting sendiri) menyediakan SDK, kunci API, dan format permintaannya masing-masing, gerbang menerima satu permintaan standar lalu menerjemahkannya untuk penyedia yang dituju. Model ditambahkan, diganti, atau dihentikan melalui konfigurasi gerbang, bukan melalui kode aplikasi.

Menurut panduan tersebut, setiap permintaan yang diarahkan ke URL dasar gerbang melewati empat langkah yang sama: gerbang mengautentikasi dan mengizinkan pemanggil berdasarkan kunci dan peran; menerapkan kebijakan seperti batas token, anggaran, dan pengamanan, termasuk penyamaran informasi pengenal pribadi (PII); mengarahkan permintaan ke model atau penyedia berdasarkan biaya, latensi, atau ketersediaan, beralih ke cadangan jika diperlukan, serta menerjemahkan permintaan ke format penyedia tujuan; lalu mencatat model, jumlah token, latensi, dan hasilnya untuk melacak pengeluaran dan menelusuri masalah.

Kapabilitas dan Batasan yang Disebutkan

Panduan tersebut menguraikan enam area kapabilitas. Pengarahan dan pengalihan otomatis memilih model berdasarkan biaya, latensi, atau kapabilitas, lalu secara otomatis mengalihkan permintaan ketika penyedia mengalami gangguan atau terkena pembatasan laju. Batas laju dan anggaran berbasis token membatasi penggunaan per tim, proyek, atau pengguna, serta menolak permintaan setelah alokasi tercapai. Penyimpanan tembolok semantik mencocokkan prompt baru dengan jawaban tersimpan berdasarkan makna, lalu mengembalikan respons yang tersimpan tanpa memanggil model jika prompt cukup mirip. Pengamanan memeriksa setiap prompt dan respons, menghapus data pribadi atau sensitif sebelum mencapai penyedia, mengurangi risiko injeksi prompt, dan menyaring konten yang tidak diinginkan. Observabilitas mencatat model yang digunakan, penggunaan token, latensi, dan kegagalan, sedangkan fitur tata kelola memberikan akses ke model berdasarkan peran dan menyimpan catatan audit untuk setiap pemanggilan.

Mengenai batasan, panduan tersebut menyatakan bahwa gerbang menambah latensi, tetapi menggambarkan penundaan itu relatif kecil untuk lalu lintas LLM. Panduan itu mengutip tolok ukur independen pada Juni 2026 oleh tim VMware Cloud Foundation di Broadcom. Dalam tolok ukur tersebut, Envoy AI Gateway yang telah disetel menambahkan sekitar 2 milidetik per permintaan pada hingga 224 pengguna secara bersamaan, dengan pengarahan dan pembatasan laju, tetapi tanpa pemeriksaan konten. Tolok ukur yang sama, sebagaimana dikutip dalam panduan, menyebutkan bahwa pengamanan dan penyimpanan tembolok semantik dapat menambah latensi puluhan hingga ratusan milidetik. Panduan tersebut juga menyatakan bahwa gerbang tidak menentukan apa yang harus ditanyakan kepada model, mengingat percakapan, menjalankan logika langkah demi langkah agen, atau menilai kualitas jawaban. Panduan itu memperingatkan bahwa pengarahan berdasarkan biaya dapat menurunkan kualitas jika model yang lebih murah memberikan jawaban yang lebih buruk.

Jenis Gerbang dan Lalu Lintas Agen

Panduan tersebut membandingkan gerbang AI dengan gerbang API tradisional dalam beberapa aspek: pengukuran token dibandingkan dengan batas jumlah permintaan; penyimpanan tembolok semantik dibandingkan dengan pencocokan persis; pemeriksaan prompt untuk mencari data sensitif dan instruksi tersembunyi dibandingkan dengan autentikasi kunci; serta pengarahan ke model berdasarkan biaya, latensi, atau kapabilitas dibandingkan dengan pengarahan ke layanan backend. Panduan itu juga membedakan dua istilah yang lebih spesifik: gerbang LLM menangani pemanggilan model itu sendiri, sedangkan gerbang MCP mengatur alat dan sumber data mana yang dapat diakses agen melalui Model Context Protocol. LiteLLM, Portkey, Azure API Management, dan Envoy AI Gateway kini juga menyediakan tata kelola MCP, catat panduan tersebut, sehingga istilah-istilah itu merujuk pada lapisan kendali yang saling tumpang tindih.

Untuk agen, yang menurut panduan tersebut bekerja melalui siklus pemanggilan model dan penggunaan alat hingga tugas selesai, gerbang mengendalikan dan memantau semua lalu lintas yang dimulai oleh agen, mengizinkan akses agen ke alat dan sumber data tertentu, serta mencatat semua pemanggilan model dan alat dalam catatan audit.

Data Adopsi yang Dikutip dan Panduan Penerapan

Untuk memperkirakan kebutuhan, panduan tersebut mengutip sejumlah data dari pihak ketiga. Cisco’s AI Readiness Index 2025 menemukan bahwa 83% dari 8.039 pemimpin bisnis senior yang disurvei di organisasi dengan lebih dari 500 karyawan berencana mengembangkan atau menerapkan agen AI. Gartner memperkirakan bahwa pada akhir 2026, agen khusus tugas akan digunakan dalam 40% aplikasi perusahaan, naik dari kurang dari 5% pada 2025. Mengenai biaya, panduan tersebut mengutip survei DoiT/Sapio 2026, yang menemukan bahwa 79% pemimpin keuangan peserta survei mengatakan pengeluaran mereka untuk AI melampaui anggaran pada tahun sebelumnya. Panduan itu juga mengutip survei Dataiku dan Harris Poll 2026, yang menemukan bahwa 93% direktur TI perusahaan mengatakan model yang berbeda berkinerja lebih baik untuk kasus penggunaan yang berbeda, 81% perusahaan memperkirakan akan menggunakan dua atau lebih penyedia model, dan 55% setidaknya pernah satu kali beralih penyedia LLM.

Pemantauan independen yang dikutip dalam panduan tersebut mencatat bahwa waktu aktif penyedia LLM terkemuka berada di kisaran 99.85–99.9% pada Mei 2026. Panduan itu menerjemahkan angka tersebut menjadi sekitar 9–13 jam waktu henti per tahun; dalam survei Cockroach Labs tahun 2026 terhadap 1,125 pemimpin senior infrastruktur, dua pertiga responden memperkirakan bahwa satu jam waktu henti AI akan merugikan organisasi mereka lebih dari $100,000. Panduan itu juga mengutip peringkat OWASP tahun 2025 yang menempatkan injeksi prompt sebagai risiko keamanan LLM tertinggi, serta temuan Zscaler ThreatLabz bahwa jumlah data perusahaan yang dikirim ke aplikasi AI meningkat 93% dalam setahun, dengan ChatGPT saja memicu 410 juta pelanggaran pencegahan kehilangan data.

Panduan tersebut mencantumkan tanda-tanda bahwa sebuah organisasi membutuhkan gerbang: kunci penyedia yang ditanam langsung dalam beberapa basis kode, tagihan model yang tidak dapat diatribusikan oleh bagian keuangan, kesalahan batas laju atau waktu henti akibat ketergantungan pada satu penyedia, prompt berisi data sensitif yang tidak diperiksa, integrasi dengan penyedia yang saling bersaing di berbagai tim, integrasi alat MCP, serta tidak adanya gambaran menyeluruh tentang keamanan atau kepatuhan. Panduan itu menyatakan bahwa gerbang tidak diperlukan untuk satu prototipe, proyek sampingan dengan volume rendah, atau panggilan ke satu endpoint model dengan persyaratan keamanan minimal. Opsi yang dihosting sendiri mencakup LiteLLM, Portkey, dan Apache APISIX di cloud privat, Kubernetes, atau infrastruktur lokal; opsi terkelola mencakup Cloudflare AI Gateway, Azure API Management, dan Amazon Bedrock AgentCore Gateway. Panduan tersebut membingkai pilihan berdasarkan kendali dan privasi data, beban operasional termasuk penyimpanan status seperti PostgreSQL, Redis, atau etcd, kecepatan penerapan, serta integrasi. Bagian FAQ-nya menyatakan bahwa “gerbang AI generatif” dapat dipertukarkan dengan “gerbang AI” dan tidak ada satu gerbang AI sumber terbuka yang terbaik untuk semua kebutuhan.