Perplexity Menguraikan Mekanisme Gerbang LLM dan Risiko di Lingkungan Produksi

Perplexity menerbitkan panduan praktis tentang gerbang LLM pada 27 Oktober 2026. Panduan ini menjelaskan kepada tim rekayasa cara lapisan perantara merutekan, mengautentikasi, menyimpan dalam tembolok, dan mencatat panggilan model, sekaligus memetakan risiko keamanan dan keandalan akibat pemusatan kredensial penyedia dalam satu layanan.

Definisi dan Taksonomi Gerbang

Panduan tersebut mendefinisikan gerbang LLM sebagai proksi terbalik untuk panggilan model: aplikasi mengirim permintaan ke gerbang, bukan langsung ke penyedia seperti OpenAI, Anthropic, atau Google. Gerbang kemudian meneruskan permintaan itu sambil menerapkan aturan operator. Panduan tersebut menyajikan kategori ini sebagai solusi untuk mengatasi layanan yang tersebar, diawali dengan unggahan di Reddit r/LLMDevs pada September 2026. Dalam unggahan itu, seorang insinyur menggambarkan tempat kerja tempat setiap orang memiliki kunci sendiri untuk Claude, OpenAI, AWS Bedrock, dan penyedia inferensi lainnya.

Tabel perbandingan dalam panduan tersebut membagi gerbang menjadi empat jenis. Gerbang API berada di depan layanan backend dan menentukan apakah klien telah terautentikasi serta masih berada dalam batas laju yang ditetapkan. Gerbang LLM berada di depan penyedia model dan menentukan model mana yang menerima permintaan, siapa yang membayarnya, serta apakah permintaan itu menghasilkan respons. Gerbang MCP menentukan apakah agen boleh memanggil alat tertentu dengan argumen tertentu. Panduan tersebut menggunakan istilah “gerbang AI” untuk produk vendor yang menggabungkan beberapa fungsi tersebut.

Siklus Permintaan dalam Enam Langkah

Panduan tersebut menjelaskan mekanismenya dengan menelusuri satu permintaan dari aplikasi ke model, lalu kembali lagi. Pertama, aplikasi mengirim permintaan obrolan—sering kali dalam format yang kompatibel dengan OpenAI—ke titik akhir gerbang. Gerbang memvalidasi kredensial, yang sering berupa kunci virtual yang diberikan kepada tim atau produk. Jika pagar pengaman masukan telah diaktifkan, gerbang juga dapat memindai perintah untuk mendeteksi data sensitif atau upaya mengesampingkan instruksi model. Jika penyimpanan dalam tembolok diaktifkan, permintaan yang memenuhi syarat dan cocok dapat dijawab menggunakan respons yang tersimpan. Beberapa gerbang juga menyediakan penyimpanan semantik dalam tembolok, yang mencocokkan permintaan yang dinilai serupa, bukan identik. Selanjutnya, gerbang mencari rute yang cocok dalam konfigurasinya dan dapat beralih ke penyedia cadangan jika penyedia pertama mengalami waktu tunggu habis. Gerbang mengubah permintaan ke dalam format penyedia yang dipilih, mengautentikasi panggilan keluar, lalu mengubah respons ke format yang dapat digunakan aplikasi. Jika pencatatan diaktifkan, gerbang mencatat siapa yang melakukan panggilan, model yang melayaninya, jumlah token, latensi, dan biaya.

Risiko Keamanan dan Keandalan

Peringatan utama dalam panduan tersebut adalah bahwa gerbang memusatkan kredensial. Tim keamanan Microsoft telah merinci hal-hal yang mungkin disimpan atau diambil oleh penerapan LiteLLM: kunci API penyedia, kunci utama LiteLLM, catatan kunci virtual, string koneksi basis data, konfigurasi perutean, dan data kebijakan penyewa. Dalam unggahan pada 26 Agustus 2026 itu, Microsoft menguraikan insiden kompromi gerbang LiteLLM yang terdeteksi, ketika penyerang mencuri kredensial dari lingkungan runtime gerbang.

Pada 13 Oktober 2026, Check Point Research mengungkapkan dua kerentanan berisiko tinggi di LiteLLM: CVE-2026-35029, celah kontrol akses yang memungkinkan pengguna terautentikasi, termasuk pengguna dengan akses hanya-baca, mengakses fungsi administratif dan mengambil alih gerbang; serta CVE-2026-59823, celah pemalsuan permintaan sisi server yang memungkinkan pengguna mengarahkan permintaan gerbang ke server yang dikendalikan penyerang dan menangkap kunci API penyedia AI. Keduanya telah diperbaiki dalam LiteLLM versi 1.83.9. Check Point melaporkan bahwa LiteLLM memiliki 97 juta unduhan per bulan dan lebih dari 59.000 bintang di GitHub, serta menyatakan bahwa proses pengungkapan terkoordinasi kepada LiteLLM dimulai pada Oktober 2025.

Panduan tersebut juga menyarankan tim untuk menetapkan kebijakan penanganan kegagalan bagi pagar pengaman. Panduan itu menjelaskan bahwa hook adalah titik dalam alur permintaan tempat gerbang meneruskan konten ke pemindai eksternal untuk mendapatkan penilaian. Disebutkan pula bahwa dokumentasi Portkey mencantumkan before_request_hooks dan after_request_hooks, sementara TrueFoundry menjalankan empat hook dengan menambahkan pemeriksaan sebelum dan sesudah pemanggilan alat MCP.

Terkait keandalan, panduan tersebut merujuk pada sejumlah gangguan layanan yang terdokumentasi. Dalam penjelasan Cloudflare sendiri mengenai gangguan pada 12 Juni 2025, disebutkan bahwa tingkat kesalahan AI Gateway sempat mencapai 97% dari seluruh permintaan karena AI Gateway bergantung pada Workers KV untuk konfigurasi klien dan internal. Gangguan secara keseluruhan berlangsung selama 2 jam 28 menit. Analisis pascainsiden OpenRouter mengenai gangguan pada 17 dan 19 Februari 2026 menyebutkan bahwa insiden tersebut berlangsung selama 38 dan 35 menit setelah dependensi tembolok pihak ketiga mengalami kegagalan, memicu kesalahan 401 “Pengguna tidak ditemukan”, dan mendorong perbaikan, termasuk penerapan mekanisme pemutus sirkuit serta pengembalian kesalahan 503, bukan 401, ketika masalah infrastruktur menghambat pemeriksaan otorisasi.

Opsi Penerapan, Harga, dan Hal Khusus Tiap Vendor

Panduan tersebut menguraikan empat opsi penerapan. Tim dapat membuat gerbang sederhana sendiri—menerima permintaan, memeriksa kunci pemanggil, menambahkan kredensial penyedia, meneruskan panggilan, dan mencatat hasilnya—atau menghosting sendiri gerbang sumber terbuka, dengan LiteLLM, Bifrost, dan Helicone sebagai beberapa opsi. Gerbang terkelola yang disebutkan meliputi Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter, dan gerbang yang dihosting oleh Portkey. Opsi keempat adalah memperluas gerbang API yang sudah dijalankan perusahaan, misalnya Kong AI Gateway, kebijakan gerbang AI Apigee, dan gerbang AI Azure API Management.

Dari sisi biaya, panduan tersebut menyebutkan bahwa harga gateway LLM berkisar dari perangkat lunak sumber terbuka gratis hingga paket berbayar yang dimulai sekitar $50 per bulan, dengan harga khusus untuk perusahaan. Beberapa gateway mengenakan biaya berdasarkan persentase: menurut panduan itu, paket Standard OpenRouter menambahkan biaya sebesar 5,5% pada pembelian kredit.

Panduan tersebut ditutup dengan jawaban khusus untuk masing-masing vendor. Disebutkan bahwa Amazon Bedrock AgentCore Gateway mendukung pemanggilan model melalui fitur yang oleh AWS disebut “target inferensi”, sehingga aplikasi dapat menggunakan satu titik akhir untuk mengakses penyedia, termasuk Amazon Bedrock, OpenAI, dan Anthropic. Panduan itu juga menyebutkan bahwa Agent API milik Perplexity mendukung antarmuka Responses API dari OpenAI, sehingga tim dapat menggunakan kembali pustaka klien OpenAI yang sudah ada. Agent API juga memungkinkan pengguna mencantumkan hingga lima model—termasuk model dari penyedia yang berbeda—dalam urutan yang diinginkan. Panduan tersebut turut menyebut Numbat, perangkat lunak sumber terbuka dari Perplexity yang terhubung ke agen yang didukung melalui hook lokal dan dapat memeriksa tindakan yang direncanakan, seperti perintah shell atau penulisan berkas, sebelum dijalankan. Pemblokiran tindakan bersifat opsional dan secara default dinonaktifkan.