Bito, Bağlam ve Model Yönlendirmesiyle Kodlama Ajanı Maliyetlerini Düşürmek İçin Governor’ı Kullanıma Sundu

Bir kodlama ajanı, işe yarar bir değişiklik yapmadan önce oturumun büyük bölümünü doğru dosyaları bulmaya harcayabilir. Her arama, sonraki turlarda modele yeniden iletilebilecek bağlamı artırır ve mütevazı bir görevi giderek büyüyen bir çıkarım faturasına dönüştürür. Bito, kod tabanı bağlamını hangi modelin işi üstlenmesi gerektiğine ilişkin kararlarla birleştiren yeni bir model yönlendiricisi Governor ile bu maliyetin her iki yönünü de hedefliyor.

27 Ekim’de kullanıma sunulan Governor, mevcut kodlama ajanlarıyla bunların çağırdığı modeller arasında konumlanıyor. Bito, gereksiz arama bağlamını azaltıp uygun modeli ve akıl yürütme düzeyini seçerek kaliteyi korurken ajan harcamalarını %40 ila %70 oranında düşürebileceğini belirtiyor. Bu aralık, her ekip için garanti edilmiş bir tasarruf değil, şirketin bildirdiği bir sonuç.

Ürün; Claude Code, Cursor ve Codex gibi araçları kullanan iş akışlarını destekliyor. Ekipler, geliştiricilerin hâlihazırda kullandığı kodlama ortamını değiştirmek yerine ajanlarını ortak bir uç noktaya yönlendiriyor.

Uzun Bir Kodlama Oturumu Beklenenden Daha Pahalıya Mal Olabilir

Token başına fiyat, bir ajanın faturasının yalnızca bir bölümüdür. Bir oturumda tekrarlanan aramalar, dosya okumaları, düzenlemeler ve test çalıştırmaları yer alabilir; bunların sonucunda oluşan konuşma, sonraki model çağrılarında yeniden modele sunulur. Bu nedenle, görevin başlarında okunan büyük bir dosya, ajan dosyayı ilk açtıktan çok sonra bile maliyetleri etkileyebilir.

Bito, aramaların yaklaşık 65.000 token döndürdüğü tek bir Claude Code oturumunu örnek gösteriyor. Şirkete göre, biriken bağlamın tekrar tekrar işlenmesi sonucunda oturumun toplamı sonunda altı milyon tokene ulaştı. Bu rakamlar, ölçülen tek bir oturumu anlatıyor; her kodlama görevinin tipik maliyetini değil.

İstem önbelleğe alma, tekrarlanan girdileri daha ucuz hâle getirebilir; ancak önbelleğe alınmış tokenlarla yeni işlenen tokenlar farklı fiyatlandırılır. Bu nedenle toplam fatura, ajanın nasıl çalıştığına, hangi bağlamı sakladığına ve model değişikliğinin yararlı önbellek durumunu koruyup korumadığına bağlıdır.

Bito’nun kurucu ortağı ve CEO’su Amar Goel, duyuruda şöyle dedi: “Doğru modeli seçmek önemli; ancak en az onun kadar önemli olan, ajanın kodu aramasının ve daha önce gördüğü her şeyi yeniden göndermesinin maliyetidir.”

Kod Bağlamı Motoru Tekrarlanan Keşif Çalışmalarını Azaltıyor

Governor, şirketin kodunun güncel bir grafiğini tutuyor. Bir ajanın kod tabanını incelemesi gerektiğinde Bito, Governor’ın bu araştırmayı daha küçük ve hızlı bir modelle yapabildiğini ve ilgili kod bağlamını içeren, özetlenmiş bir yanıt döndürdüğünü belirtiyor.

Amaçlanan tasarruf, öncü bir modelle tekrarlanan keşif çalışmalarından kaçınmaktan ve gereksiz arama sonuçlarını ana ajanın konuşmasının dışında tutmaktan kaynaklanıyor. Odaklanmış bir yanıt döndürmek, yalnızca ilk sorgunun fiyatını değil, sonraki turlara taşınan bağlam miktarını da değiştiriyor.

Bito’nun platform belgeleri, temel grafiği daha ayrıntılı biçimde açıklıyor. Grafik; sembolleri, hizmet topolojisini, bağımlılıkları ve depolar arasındaki ilişkileri, ayrıca sorun takip sistemleri, tasarım belgeleri ve mühendislik tartışmaları gibi kaynaklardan gelen bağlamı dizine ekliyor. Veritabanı şemalarını, mimari kalıpları ve dağıtım bağlamını da haritalıyor.

Bu yaklaşım, ürüne metin parçalarını eşleştirmenin ötesinde, daha geniş bir bilgi erişim alanı sağlıyor. Kimlik doğrulamayla ilgili bir değişiklik hakkındaki soruyu yanıtlamak için bir arayüzün hangi hizmete ait olduğunu, bu arayüze bağlı bileşenleri ve önceki bir tasarım kararının gerekçesini belirlemek gerekebilir. Bu ilişkileri kurmak, ajanın kod önermeden önce değişikliğin etkisini incelemesine yardımcı olabilir.

Önemli olan, çıktının kullanılabilir kanıtlar sunmasıdır. Bito’nun Governor tanıtımı, dosya ve satır referanslarına dayanan kısa araştırma yanıtlarını açıklıyor; bu da ana ajanın sonraki adımını gerçek kod tabanına dayandırmasını sağlıyor.

Yönlendirme Göreve ve Önbelleğe Bağlı

Governor, yapılan işe göre modeli ve akıl yürütme düzeyini de seçiyor. Bito, görev türünü, yüzeysel ya da hatalı bir yanıtın sonuçlarını, kullanıcının niyetini ve oturum sırasında oluşturulmuş önbelleği dikkate aldığını belirtiyor.

Kısa bir mesajın önemli bir talimat içerebilmesi nedeniyle bu bağlam önem taşıyor. “Devam et” ifadesi, mesajın kendisi çok az metin içerse bile karmaşık bir planın uygulanmasına izin verebilir. Mesaj uzunluğunu zorluk ölçütü olarak kullanan bir yönlendirici, geliştiricinin ajandan gerçekte ne yapmasını istediğini gözden kaçırabilir.

Bito, Governor’ın yeni bir geliştirici isteğinin başlangıcında yönlendirme kararı verdiğini ve ajan görev üzerinde çalışırken bu seçimi koruduğunu belirtiyor. Ayrıca, model değiştirmenin sağlayabileceği olası tasarrufun mevcut önbelleğin avantajını kaybetmeye değip değmeyeceğini de değerlendiriyor.

Bu nedenle daha ucuz bir model, sonraki çağrının otomatik olarak en düşük maliyetli seçenek olduğu anlamına gelmez. Özellikle konuşma zaten uzunsa, daha pahalı bir modeldeki etkin önbellek hesabı değiştirebilir. Akıl yürütme ayarları da başka bir değişken ekler: Daha derin analiz gerektiren bir görev ek hesaplamayı haklı çıkarabilirken rutin bir adım bunu gerektirmeyebilir.

Governor’ın dağıtım tasarımı, mevcut iş akışlarını korumayı amaçlıyor. Bito, Anthropic ve OpenAI ile uyumlu API’leri desteklediğini, bir ekibin sağlayıcı anahtarlarını kullandığını ve mevcut bir ağ geçidiyle birlikte çalışabildiğini söylüyor. Bu, yönlendirme katmanını açıklıyor; ekiplerin kullanmayı planladıkları ajanları ve sağlayıcı erişimini yine de yapılandırmaları gerekiyor.

Privado Daha Düşük Maliyet ve Daha Az Adım Bildiriyor

Duyuruyla birlikte sunulan müşteri örneğinde, gizlilik yazılımı şirketi Privado, Claude Code’da mühendislik görevleri üzerinde kontrollü bir test gerçekleştirdi. Bito’nun bildirdiğine göre görev başına maliyet 4,12 dolardan 2,14 dolara düştü; bu, %48’lik bir azalmaya karşılık geliyor. Ajan da görev başına 47 adım yerine 23 adım kullandı.

Şirket, kalitenin aynı kaldığını ve görevlerin %38 daha hızlı tamamlandığını söylüyor. Bito’nun web sitesi, müşteri A/B karşılaştırmasının 40 mühendislik görevini kapsadığını ve değişkenin Governor olduğu testte aynı görevlerin, modelin ve test düzeneğinin kullanıldığını belirtiyor.

Bu ayrıntılar, sonucun kapsamlı bir tasarruf iddiasından daha bilgilendirici olmasını sağlarken ne ölçüde genellenebileceğine dair sınırları da ortaya koyuyor. Farklı bir kod deposu, görev bileşimi, sağlayıcı düzenlemesi veya başlangıç modeli; bilgi getirme, önbellek kullanımı ve akıl yürütme maliyeti arasındaki dengeyi değiştirebilir.

Bito ayrıca kodlama modellerinin maliyet ve kalitesine ilişkin araştırmalar yayımlıyor. Eylül ayında yayımlanan çalışmasında, 60 mühendislik görevinde test edilen 29 model ve puanlanan 1.740 yanıt ele alınıyor. Bazı görevler kod çalıştırılarak veya kasıtlı olarak eklenmiş hatalar tespit edilerek kontrol edildi; diğerleri ise testlerden önce belirlenen ölçütlere göre bir yapay zekâ hakemi tarafından değerlendirildi. Daha kapsamlı olan bu model çalışması, Privado müşterisiyle yapılan karşılaştırmadan ayrıdır.

Denetimler, Ekiplerin Trafiği Değiştirmeden Önce Yönlendirmeyi Test Etmesini Sağlıyor

Governor, Kalite, Dengeli ve Maliyet ayarlarının yanı sıra, isteklerin işlenme biçimini değiştirmeden bir ekibin trafiğini nasıl yönlendireceğini kaydeden bir gölge modu sunuyor. Böylece mühendislik yöneticileri, önerilen kararları etkinleştirmeden önce inceleyebiliyor.

Ek güvenlik önlemleri arasında kesin bir fiyat üst sınırı, izin alınmadan daha pahalı modellere yönlendirme yapılmasını kısıtlama ve bir sorun çıkması durumunda istenen modele geri dönme bulunuyor. Yönlendirme kararları, gerekçeleriyle birlikte kaydediliyor.

Bito, Governor’ı kodlama ajanlarının ötesine taşımayı planlıyor. Şimdilik ürünün lansmanı, uzun yazılım geliştirme oturumları sırasında tekrarlanan keşif ve model çağrılarının maliyeti gibi somut bir mühendislik sorununa odaklanıyor.

Anlamlı ölçüt, gereken kalite ve süreyle birlikte işin başarıyla tamamlanmasının maliyeti olacak. Governor’ın iddiası, geliştiricilerden alışık oldukları araçları bırakmalarını istemeden, ajanlara daha iyi bağlam sağlayarak ve model kapasitesini daha bilinçli biçimde tahsis ederek ekiplerin bu ölçütü iyileştirebileceği yönünde.