Baseten Meluncurkan Grid untuk Mengarahkan dan Mengatur Pengodean AI di Perusahaan

Pada 4 November 2026, Baseten mengumumkan Grid dan membuka pratinjau publik untuk lapisan perutean, gerbang, dan pagar pengaman bagi pengodean AI di perusahaan. Perusahaan melaporkan bahwa Baseten Router menghasilkan penghematan biaya per tugas hampir 70% dalam tolok ukur awal, dengan kompromi kualitas sebesar 0,9 poin persentase dibandingkan Opus 5.5; akses awal diberikan melalui daftar tunggu.

Perutean yang Melampaui Harga Token

Grid mengotomatiskan pilihan yang sebelumnya harus dibuat sendiri oleh pengembang: model mana yang telah disetujui untuk menangani setiap tugas pengodean. Untuk setiap permintaan, Baseten Router mengevaluasi opsi sumber terbuka dan sumber tertutup yang disetujui organisasi, lalu mempertimbangkan kemungkinan kinerja model dalam mengerjakan tugas dibandingkan dengan biayanya.

Alih-alih hanya mengurutkan model berdasarkan harga token, perutean ini turut memperhitungkan biaya percobaan ulang, pemanggilan alat yang gagal, dan jawaban yang tidak lengkap. Tujuannya adalah menekan biaya penyelesaian tugas sekaligus memenuhi persyaratan kualitas dan kinerja tim. Perutean otomatis dapat memprioritaskan biaya, kecerdasan, atau keseimbangan antara keduanya.

Organisasi juga dapat memilih untuk membagikan jejak, yang dapat digunakan untuk melatih perute khusus agar mencapai efisiensi Pareto pada beban kerja mereka masing-masing. Baseten mengatakan penghematan yang sebenarnya akan bervariasi menurut karakteristik beban kerja dan keseimbangan biaya-kualitas yang diinginkan pelanggan. Karena itu, hasil tolok ukur tersebut menunjukkan potensi, bukan penurunan biaya yang berlaku universal.

Chintan Parikh, kepala bidang rekayasa di Opendoor, mengatakan Grid menyatukan visibilitas atas pengeluaran AI internal dan secara otomatis mengurangi pengeluaran dengan kehilangan kualitas yang minimal. Hampir semua orang di Opendoor menggunakan AI, dan sebagian besar karyawan tidak ingin harus menentukan model mana yang akan dipilih.

Akses Terpusat Tanpa Mengubah Perangkat Pengembang

Grid Gateway menyediakan lapisan administrasi. Tim platform dapat menyetujui model, memberikan akses di tingkat tim, menetapkan anggaran, dan menggunakan kredensial yang dikelola perusahaan, sembari memantau penggunaan di berbagai tim, aplikasi, dan agen. Dasbor merinci pengeluaran berdasarkan model serta menampilkan total pengeluaran, volume token, rasio cache hit, dan penghematan biaya.

Saat diluncurkan, Grid mendukung model dari OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock, dan Baseten. Pengembang dapat menghubungkan Claude Code, Codex, OpenCode, dan Pi dengan satu perintah penyiapan, sementara administrator dapat mengotomatiskan konfigurasi melalui pengelolaan perangkat seluler.

Aplikasi dan agen internal yang menggunakan Anthropic atau OpenAI API dapat terhubung dengan mengubah URL dasar dan ID model. Dengan demikian, perangkat lunak yang sudah ada dapat menggunakan titik akhir yang sama tanpa mengharuskan organisasi mengganti perangkat pengembang yang telah mereka gunakan.

Tim platform juga dapat menetapkan model pengodean bawaan untuk setiap kerangka kerja serta model latar belakang yang lebih kecil untuk tugas sampingan, seperti membuat ringkasan. Pengembang akan menerima pengaturan bawaan tersebut saat penyiapan dan dapat mengganti modelnya nanti.

Pagar Pengaman Bersama dan Infrastruktur Inferensi

Grid menempatkan kebijakan keselamatan yang dapat dikonfigurasi di gerbang, sehingga pemeriksaan terhadap permintaan dan respons dilakukan secara terpusat. Kebijakan dapat berbeda menurut beban kerja, dan catatan menunjukkan hal yang ditandai serta penanganannya. Risiko yang diidentifikasi mencakup dokumen berisi instruksi tersembunyi yang mengalihkan tindakan agen, tindakan tanpa izin, serta informasi pelanggan yang muncul di tempat yang tidak semestinya.

Pagar pengaman tersebut berbeda dari kontrol eksekusi. Pemeriksaan keselamatan menelaah permintaan dan respons yang berisiko, sedangkan kontrol eksekusi menentukan hal yang dapat diakses dan dilakukan agen. Baseten mengatakan perusahaan memerlukan kedua lapisan tersebut.

Di balik gerbang, platform inferensi Baseten menangani perutean, penerjemahan antara protokol model dan kerangka kerja, penyimpanan dalam cache, penskalaan, dan pengoptimalan. Jika Baseten menyediakan model yang dipilih, sesi agen multi-giliran yang berlangsung lama dapat diarahkan ke cache key-value yang telah disiapkan untuk mengurangi biayanya. Tim riset kinerja model, pascapelatihan, dan infrastruktur Baseten juga mengerjakan kernel khusus, dekode spekulatif, serta evaluasi yang harus dilalui setiap model sebelum dirilis.

Setelah pratinjau ini, Baseten berencana mendukung pendelegasian pekerjaan berdurasi lebih panjang kepada agen yang dihosting di cloud serta koordinasi beberapa agen untuk tugas kompleks. Rencana lainnya mencakup perutean yang disesuaikan dengan data dan kasus penggunaan pelanggan, sinyal keselamatan yang lebih kaya, serta dukungan untuk pagar pengaman milik pelanggan sendiri.

Karena itu, tolok ukur ekonominya adalah biaya untuk menyelesaikan tugas dengan kualitas yang disyaratkan; harga token hanyalah salah satu faktor. Karena penghematan yang dilaporkan bergantung pada karakteristik beban kerja dan beberapa kemampuan pengelolaan agen masih dalam tahap perencanaan, pratinjau ini belum menjawab seberapa konsisten hasil tolok ukur tersebut akan tercermin dalam pekerjaan pengodean di lingkungan produksi.