Mengapa Alat Pelacakan LLM Kini Membangun Gateway AI

Pada 2026, LangSmith, Langfuse, Opik, dan Braintrust semuanya menambahkan gateway di antara aplikasi dan penyedia model. Alasan utamanya adalah kendali: alat pelacakan hanya dapat mencatat panggilan model, sedangkan gateway dapat menghentikannya.

Dua Alat dengan Fungsi Berbeda

Selama dua tahun terakhir, banyak tim menjalankan aplikasi model bahasa besar (LLM) dengan dua alat terpisah. Gateway berada di antara aplikasi dan penyedia model. Gateway menyimpan kunci API penyedia, menerjemahkan permintaan antara API penyedia, dan mencoba kembali panggilan yang gagal. LiteLLM, proksi sumber terbuka, menjadi pilihan umum untuk tugas ini. Di sisi aplikasi, terdapat alat pelacakan seperti LangSmith atau Langfuse, yang mencatat setiap panggilan model, panggilan alat, dan langkah pengambilan data agar teknisi dapat melihat apa yang telah dilakukan agen.

Pemisahan ini masuk akal karena gateway harus cepat dan mendukung API setiap penyedia, sedangkan alat pelacakan membutuhkan antarmuka yang baik, penyimpanan untuk muatan data berukuran besar, dan SDK yang membungkus kode aplikasi. Langfuse masih mendokumentasikan penggunaan dua alat ini, dengan integrasi LiteLLM Proxy yang mengarahkan setiap panggilan melalui proksi lalu ke Langfuse. Pada 2026, para penyedia alat pelacakan mulai membangun gateway mereka sendiri.

Empat Peluncuran dalam Enam Bulan

LangChain mengumumkan gateway LLM LangSmith dalam versi beta tertutup pada Mei 2026, lalu membukanya untuk beta publik pada 30 Juli. Sejak itu, LangChain juga menjadikannya bagian dari penerapan LangSmith dengan cloud milik sendiri. Braintrust menghentikan dukungan untuk proksi AI sebelumnya dan mengarahkan pengguna ke gateway baru, yang saat ini tersedia dalam versi pratinjau dan gratis hingga tersedia secara umum. Comet merilis gateway LLM Opik sebagai titik akhir beta yang menerima permintaan berformat OpenAI. Pada 4 November, Langfuse membuka gateway AI-nya dalam versi beta publik, baik di Langfuse Cloud maupun untuk penerapan yang dihosting sendiri. Gateway ini berlisensi MIT dan ditulis dalam Rust.

MLflow, yang awalnya merupakan alat untuk siklus hidup pembelajaran mesin, bukan alat pelacakan, telah memiliki gateway AI lebih lama, lengkap dengan peringatan dan batas anggaran.

Gateway telah digunakan selama bertahun-tahun, dan risiko menjalankannya telah terdokumentasi dengan baik. Gateway baru ini berasal dari perusahaan yang bisnisnya adalah mencatat panggilan model, dan kini perusahaan-perusahaan tersebut ingin setiap panggilan melewati sistem mereka terlebih dahulu.

Mengapa Anggaran Memerlukan Jalur Permintaan

Alat pelacakan mencatat panggilan model setelah penyedia memberikan respons dan biaya token dibayarkan. Catatan itu cukup untuk membuat grafik pengeluaran, tetapi alat pelacakan tidak dapat menghentikan pengeluaran. Menegakkan anggaran tim, memblokir model, atau menghapus rahasia dari prompt mengharuskan permintaan diperiksa sebelum mencapai penyedia. Hanya komponen yang berada di jalur permintaan yang dapat melakukannya.

LangChain mengemukakan argumen ini dalam tulisan peluncurannya. LangChain menjelaskan bahwa tim menggabungkan gateway terpisah, produk pagar pengaman, dan alat observabilitas, serta menyatakan bahwa pencegahan masalah memerlukan penegakan kebijakan pada lapisan permintaan. Gateway-nya merespons dengan status HTTP 402 untuk panggilan yang akan melampaui anggaran, alih-alih meneruskannya ke penyedia.

Satu Titik Masuk Mencatat Setiap Panggilan

Alasan kedua adalah cakupan. SDK hanya mencatat jalur kode yang telah diberi instrumentasi. Di luar jalur-jalur itulah kegagalan agen cenderung tidak terdeteksi. Skrip di laptop, notebook, atau agen pemrograman yang menggunakan kunci API hasil salinan tidak meninggalkan jejak. Gateway yang menyimpan kunci penyedia akan melihat setiap panggilan karena tidak ada jalur lain menuju penyedia.

Langfuse membangun gateway-nya berdasarkan gagasan ini. Menurut dokumentasi gateway, setiap kunci gateway dimiliki oleh pengguna atau akun layanan dan dapat memuat metadata seperti tim atau pusat biaya. Hanya gateway yang menyimpan kredensial penyedia, dan administrator menyetujui model mana saja yang boleh diakses dengan setiap kredensial. LangSmith menerbitkan halaman penyiapan untuk merutekan Claude Code, Codex, dan Gemini CLI melalui gateway-nya. Agen-agen ini memanggil model dari mesin pengembang, di luar kode pelacakan aplikasi apa pun.

Manfaat Gateway dari Alat Pelacakan

Para penyedia alat pelacakan juga mengajukan argumen sebaliknya: gateway mandiri saja tidak cukup. Tulisan peluncuran Langfuse menyebutkan bahwa gateway mandiri hanya dapat menghitung token dan biaya, sedangkan gateway Langfuse menjadikan setiap panggilan bagian dari jejak lengkap. Gateway Langfuse menerima header W3C traceparent, sehingga panggilan yang melewatinya bergabung dengan jejak yang telah dimulai aplikasi. Secara bawaan, gateway mencatat penggunaan dan biaya, bukan isi prompt dan respons.

Inilah argumen teknis terkuat untuk menyatukan gateway dengan alat pelacakan. Gateway mandiri hanya melihat daftar datar hasil generasi. Alat pelacakan sudah memiliki catatan panggilan alat dan langkah pengambilan data oleh agen dari SDK-nya, sehingga dapat menempatkan setiap panggilan melalui gateway dalam struktur tersebut.

Ada juga pertimbangan komersial yang tidak dinyatakan langsung oleh para vendor. Siapa pun yang mengoperasikan gerbang memegang kunci penyedia dan laporan pengeluaran, yang menjadi acuan tim keuangan dan platform. Karena itu, gerbang lebih sulit diganti daripada penampil rekaman jejak. LangSmith dan Langfuse sudah memanfaatkan posisi tersebut dengan cara berbeda: LangSmith menjual Gateway Credits, yang memungkinkan pelanggan menggunakan model yang dihosting seperti Kimi tanpa kunci penyedia mereka sendiri, sementara FAQ Langfuse menyatakan bahwa mereka tidak menjual ulang token.

Hal yang Belum Bisa Dilakukan Gerbang Beta

Gerbang-gerbang ini masih baru, dan para vendor menjelaskan kekurangan produk mereka sendiri. Saat ini, gerbang Langfuse hanya mendukung OpenAI dan Anthropic, sementara Amazon Bedrock, Google Vertex AI, dan Google AI Studio tercantum dalam peta jalannya. Opsi pengalihan ke penyedia lain serta batas pengeluaran tegas per tim, pengguna, atau kunci masih direncanakan dan belum dirilis. Untuk saat ini, gerbang tersebut menyediakan dasbor pengeluaran dan peringatan. Dokumentasinya tidak menjelaskan pembatasan laju maupun penyimpanan respons dalam tembolok.

Gerbang Langfuse tidak mengonversi format API, sehingga klien OpenAI hanya dapat memanggil model OpenAI. Versi yang dihosting sendiri hanya memanggil URL resmi penyedia, sehingga untuk saat ini Azure OpenAI, Bedrock, atau proksi internal tidak dapat digunakan. Comet menjelaskan bahwa gerbang Opik dirancang untuk pengembangan dan pengujian. Braintrust belum mengumumkan harga untuk gerbangnya.

Gerbang LangSmith sudah menawarkan lebih banyak fitur daripada gerbang lainnya. Dokumentasinya mencantumkan pengalihan ke penyedia lain, batas pengeluaran, pembatasan laju, dan kebijakan data sebagai fitur yang tersedia saat ini. Gerbang ini juga menerima format OpenAI Chat Completions, OpenAI Responses, dan Anthropic Messages. Pengalihan ke penyedia lain dan pembatasan laju tercantum sebagai fitur yang akan dikembangkan pada bulan Mei, sehingga keduanya hadir selama masa beta. Secara keseluruhan, produk ini masih berlabel beta.

Pengujian beban menunjukkan jenis kekurangan yang berbeda. Tolok ukur yang dijalankan sendiri untuk gerbang Langfuse, LiteLLM, dan AcruxCore menemukan bahwa gerbang Langfuse menambahkan latensi per panggilan yang lebih rendah daripada LiteLLM. Namun, dengan pengaturan Docker bawaan, gerbang tersebut gagal menangani 739 dari 1.000 aliran serentak karena prosesnya tetap menggunakan batas bawaan Docker, yaitu 1.024 berkas terbuka. Satu baris dalam berkas Compose Langfuse mengatasi masalah itu.

Dibandingkan dengan versi beta ini, LiteLLM—gerbang mandiri yang telah tersedia selama bertahun-tahun—mendukung lebih dari 100 penyedia dan sudah mencakup kunci virtual, pelacakan pengeluaran, pembatasan keamanan, penyeimbangan beban, serta dasbor admin. LiteLLM juga memindahkan jalur permintaannya dari Python ke Rust. Gerbang AI berbasis Rust miliknya masih dalam tahap beta, dan tim LiteLLM memperkirakan bahwa permintaan /v1/messages bergaya Anthropic akan dapat diproses sepenuhnya dengan Rust pada 1 Desember, dengan latensi sekitar 20 kali lebih rendah. Sejumlah platform sumber terbuka, seperti MLflow dan AcruxCore, sudah menyediakan gerbang dan pelacakan dalam satu produk.

Alasan untuk Memisahkannya

Menggabungkan gerbang ke dalam pelacak memiliki konsekuensi, dan yang terbesar adalah keterikatan. Dengan gerbang terpisah, tim dapat berganti vendor pelacakan hanya dengan mengubah callback pencatatan. Jika pelacak juga berfungsi sebagai gerbang, URL dasar, kunci, dan pengenal model di setiap layanan juga harus diubah. Misalnya, Langfuse menuliskan pengenal model dalam format credential:model.

Pelacak juga menjadi dependensi saat sistem berjalan. Jika backend pelacakan mengalami gangguan, tim kehilangan rekaman jejak. Jika gerbang mengalami gangguan, panggilan model gagal. Vendor pelacakan yang mengoperasikan gerbang kini harus memenuhi standar waktu aktif infrastruktur penting.

Vendor keamanan menginginkan posisi yang sama dalam jalur permintaan. Palo Alto Networks menyelesaikan akuisisi Portkey, sebuah gerbang mandiri, pada Mei 2026 dan menjadikannya gerbang AI untuk platform Prisma AIRS miliknya. Tim keamanan mungkin ingin mengendalikan gerbang itu sendiri, alih-alih menempatkannya di dalam alat observabilitas. Gerbang juga menjadi sasaran penyerang, seperti terlihat dari insiden rantai pasok LiteLLM pada Maret.

Cara Tim Menentukan Pilihan

Tim dapat memulai dengan mencatat hal-hal yang harus dilakukan sebelum model dipanggil. Jika mereka hanya membutuhkan visibilitas, pelacak yang berada di luar jalur permintaan sudah cukup dan tidak menambah dependensi saat sistem berjalan. Jika mereka juga membutuhkan anggaran, kebijakan kunci, atau persetujuan model, mereka memerlukan semacam gerbang.

Selanjutnya, periksa cakupan penyedia. Tim sebaiknya mencatat setiap penyedia dan format API yang digunakan dalam lingkungan produksi, termasuk Azure OpenAI dan Bedrock, lalu membandingkan daftar itu dengan dukungan yang tersedia saat ini pada setiap gerbang, bukan dengan yang tercantum di peta jalannya.

Tim yang sudah menggunakan LiteLLM tidak punya banyak alasan untuk beralih sebelum gerbang beta menawarkan sesuatu yang belum mereka miliki. Hal utama yang ditambahkan gerbang milik pelacak adalah penempatan panggilan gerbang di dalam rekaman jejak agen, dan manfaat itu harus sepadan dengan upaya migrasi. Tim yang baru memulai dapat tetap menggunakan gerbang sebagai lapisan tersendiri, meskipun satu vendor menyediakan keduanya. Menyimpan URL dasar dan kunci dalam satu modul konfigurasi membuat perpindahan di kemudian hari cukup dilakukan dengan mengubah konfigurasi, bukan kode.

Sebagian besar gerbang ini berlabel beta atau pratinjau, sehingga daftar kekurangannya akan segera menyusut. Pertanyaan yang belum terjawab adalah siapa yang akan mengelola jalur permintaan di perusahaan pada umumnya: tim observabilitas, tim platform yang menjalankan gerbang mandiri, atau tim keamanan. Tahun ini, LangSmith dan Langfuse membangun gerbang sendiri, sementara Palo Alto Networks membeli sebuah gerbang. Namun, di banyak tumpukan teknologi, jalur permintaan masih melewati LiteLLM.