Bito Meluncurkan Governor untuk Menekan Biaya Agen Pengodean dengan Konteks dan Perutean Model

Agen pengodean dapat menghabiskan banyak waktu dalam satu sesi hanya untuk menemukan berkas yang tepat sebelum membuat perubahan yang berguna. Setiap pencarian menambah konteks yang mungkin dikirim kembali ke model pada giliran berikutnya, sehingga tugas sederhana pun dapat menimbulkan biaya inferensi yang terus membengkak. Bito berupaya menekan kedua sumber biaya tersebut dengan Governor, perute model baru yang memadukan konteks basis kode dengan pemilihan model yang akan menangani pekerjaan.

Diluncurkan pada 27 Oktober, Governor berada di antara agen pengodean yang sudah ada dan model yang mereka panggil. Bito menyatakan bahwa Governor dapat mengurangi pengeluaran untuk agen sebesar 40% hingga 70% tanpa menurunkan kualitas, dengan memangkas konteks pencarian yang tidak diperlukan serta memilih model dan tingkat penalaran yang sesuai. Kisaran tersebut merupakan hasil yang dilaporkan perusahaan, bukan penghematan yang dijamin bagi setiap tim.

Produk ini mendukung alur kerja yang menggunakan alat seperti Claude Code, Cursor, dan Codex. Tim mengarahkan agen mereka ke satu titik akhir bersama, alih-alih mengganti lingkungan pengodean yang sudah digunakan para pengembang.

Mengapa Sesi Pengodean yang Panjang Bisa Lebih Mahal dari Perkiraan

Harga per token hanya sebagian dari biaya penggunaan agen. Dalam satu sesi, agen dapat berulang kali melakukan pencarian, membaca berkas, mengedit, dan menjalankan pengujian; percakapan yang dihasilkan kemudian dikirim lagi pada pemanggilan model berikutnya. Karena itu, berkas besar yang dibaca pada awal tugas dapat terus memengaruhi biaya lama setelah agen pertama kali membukanya.

Bito menggambarkan masalah ini dengan satu sesi Claude Code, ketika pencarian menghasilkan sekitar 65.000 token. Menurut perusahaan, pada akhir sesi pemrosesan berulang atas konteks yang terkumpul membuat total penggunaan mencapai enam juta token. Angka-angka tersebut menggambarkan satu sesi yang diukur, bukan biaya tipikal untuk setiap tugas pengodean.

Penyimpanan prompt dalam cache dapat mengurangi biaya input berulang, tetapi harga token yang tersimpan dalam cache berbeda dari harga token yang baru diproses. Artinya, total biaya bergantung pada cara kerja agen, konteks yang dipertahankannya, serta apakah pergantian model mempertahankan atau mengorbankan status cache yang berguna.

“Memilih model yang tepat itu penting, tetapi biaya yang timbul saat agen menelusuri kode dan mengirim ulang semua yang sudah dilihatnya juga sama pentingnya,” kata Amar Goel, salah satu pendiri sekaligus CEO Bito, dalam pengumuman tersebut.

Mesin Konteks Kode Mengurangi Penelusuran Berulang

Governor memelihara graf kode perusahaan yang terus diperbarui. Saat agen perlu menyelidiki basis kode, Bito menyatakan bahwa Governor dapat melakukan riset tersebut menggunakan model yang lebih kecil dan lebih cepat, lalu memberikan jawaban ringkas beserta konteks kode yang relevan.

Penghematan yang diharapkan berasal dari upaya menghindari penelusuran berulang menggunakan model terdepan dan mencegah hasil pencarian yang tidak diperlukan masuk ke dalam percakapan agen utama. Jawaban yang terfokus mengubah banyaknya konteks yang dibawa ke giliran-giliran berikutnya, bukan hanya biaya pencarian pertama.

Dokumentasi platform Bito menjelaskan graf yang mendasarinya secara lebih terperinci. Graf tersebut mengindeks simbol, topologi layanan, dependensi, dan hubungan di berbagai repositori, serta konteks dari sumber seperti pelacak masalah, dokumen desain, dan diskusi teknis. Graf itu juga memetakan skema basis data, pola arsitektur, dan konteks penerapan.

Dengan demikian, produk ini dapat mengambil informasi dari sumber yang lebih luas daripada sekadar mencocokkan potongan teks. Pertanyaan tentang perubahan autentikasi mungkin mengharuskan agen mengidentifikasi layanan yang memiliki suatu antarmuka, pihak-pihak yang bergantung padanya, serta alasan di balik keputusan desain sebelumnya. Menghubungkan berbagai relasi tersebut dapat membantu agen menyelidiki dampak perubahan sebelum mengusulkan kode.

Hal yang terpenting adalah hasilnya tetap berupa bukti yang dapat digunakan. Pengenalan Governor dari Bito menjelaskan jawaban riset ringkas yang disertai rujukan berkas dan baris, sehingga agen utama dapat mendasarkan langkah berikutnya pada basis kode yang sebenarnya.

Perutean Bergantung pada Tugas dan Cache

Governor juga memilih model dan tingkat penalaran berdasarkan pekerjaan yang sedang dilakukan. Bito menyatakan bahwa Governor mempertimbangkan jenis tugas, konsekuensi dari jawaban yang dangkal atau keliru, maksud pengguna, serta cache yang telah terbentuk selama sesi.

Konteks tersebut penting ketika pesan singkat memuat instruksi yang besar. “Silakan lanjutkan” dapat memberi wewenang untuk menerapkan rencana yang rumit, meskipun pesan itu sendiri hanya berisi sedikit teks. Perute yang menjadikan panjang pesan sebagai tolok ukur tingkat kesulitan dapat gagal memahami apa yang sebenarnya diminta pengembang dari agen.

Bito menjelaskan bahwa Governor menentukan perutean pada awal permintaan baru dari pengembang, lalu mempertahankan pilihan tersebut selama agen mengerjakan tugas. Governor juga mempertimbangkan apakah potensi penghematan dari pergantian model sepadan dengan hilangnya manfaat cache yang sudah tersedia.

Karena itu, model yang lebih murah tidak otomatis membuat pemanggilan berikutnya menjadi yang paling hemat biaya. Cache yang sudah terisi pada model yang lebih mahal dapat mengubah perhitungan, terutama ketika percakapan sudah panjang. Pengaturan penalaran menambah variabel lain: tugas yang membutuhkan analisis lebih mendalam mungkin membenarkan komputasi tambahan, sedangkan langkah rutin mungkin tidak.

Desain penerapan Governor dimaksudkan untuk mempertahankan alur kerja yang sudah ada. Bito mengatakan bahwa Governor mendukung API yang kompatibel dengan Anthropic dan OpenAI, menggunakan kunci penyedia milik tim, serta dapat berjalan berdampingan dengan gateway yang sudah ada. Ini menjelaskan lapisan peruteannya; tim tetap perlu mengonfigurasi agen dan akses ke penyedia yang ingin mereka gunakan.

Privado Melaporkan Biaya Lebih Rendah dan Langkah Lebih Sedikit

Dalam contoh pelanggan yang disertakan bersama pengumuman tersebut, perusahaan perangkat lunak privasi Privado menjalankan uji terkontrol pada tugas-tugas rekayasanya di Claude Code. Bito melaporkan bahwa biaya per tugas turun dari $4,12 menjadi $2,14, atau berkurang 48%, sementara agen hanya memerlukan 23 langkah per tugas, bukan 47.

Perusahaan tersebut menyatakan bahwa kualitas tetap sama dan tugas diselesaikan 38% lebih cepat. Situs web Bito menyebutkan bahwa perbandingan A/B pelanggan ini mencakup 40 tugas rekayasa, dengan menggunakan tugas, model, dan kerangka pengujian yang sama, sementara Governor menjadi variabelnya.

Rincian tersebut membuat hasilnya lebih informatif daripada klaim penghematan yang luas, tetapi tetap membatasi sejauh mana hasil itu dapat digeneralisasi. Repositori, kombinasi tugas, pengaturan penyedia, atau model awal yang berbeda dapat menghasilkan keseimbangan yang berbeda antara pengambilan informasi, penggunaan cache, dan biaya penalaran.

Bito juga menerbitkan penelitian tentang biaya dan kualitas model pengodean. Studi bulan September mereka menjelaskan pengujian terhadap 29 model pada 60 tugas rekayasa, dengan 1.740 jawaban yang dinilai. Beberapa tugas diperiksa dengan menjalankan kode atau mendeteksi kesalahan yang sengaja disisipkan; tugas lainnya dinilai oleh penilai AI berdasarkan kriteria yang ditetapkan sebelum pengujian. Studi model yang lebih luas ini terpisah dari perbandingan pelanggan Privado.

Kontrol Memungkinkan Tim Menguji Perutean Sebelum Mengubah Lalu Lintas

Governor menawarkan pengaturan Kualitas, Seimbang, dan Hemat Biaya, serta mode bayangan yang mencatat bagaimana Governor akan merutekan lalu lintas tim tanpa mengubah cara permintaan ditangani. Dengan begitu, para pemimpin teknik dapat memeriksa keputusan yang diusulkan sebelum mengaktifkannya.

Perlindungan tambahan mencakup batas harga maksimum yang tegas, pembatasan perutean ke model yang lebih mahal tanpa izin, serta pengalihan kembali ke model yang diminta jika terjadi masalah. Keputusan perutean dicatat beserta alasannya.

Bito berencana memperluas Governor agar tidak hanya digunakan untuk agen pengodean. Untuk saat ini, peluncuran tersebut mengatasi masalah rekayasa yang konkret: biaya eksplorasi berulang dan pemanggilan model selama sesi pengembangan perangkat lunak yang panjang.

Ukuran yang berguna adalah biaya untuk menyelesaikan pekerjaan dengan sukses, dengan mempertimbangkan kualitas dan waktu yang dibutuhkan. Governor menawarkan gagasan bahwa tim dapat meningkatkan ukuran tersebut dengan memberi agen konteks yang lebih baik dan mengalokasikan kemampuan model secara lebih terarah, tanpa meminta para pengembang meninggalkan perangkat yang sudah mereka gunakan.