कॉन्टेक्स्ट और मॉडल रूटिंग के ज़रिए कोडिंग एजेंटों की लागत घटाने के लिए Bito ने Governor लॉन्च किया

कोडिंग एजेंट किसी उपयोगी बदलाव से पहले सही फ़ाइलें खोजने में अपने सेशन का बड़ा हिस्सा लगा सकता है। हर खोज से कॉन्टेक्स्ट बढ़ता है, जो आगे की बारी में मॉडल को फिर से भेजा जा सकता है। इससे एक छोटा-सा काम भी लगातार बढ़ते इन्फ़रेंस खर्च में बदल सकता है। Bito के नए मॉडल राउटर Governor का लक्ष्य इस खर्च के दोनों पहलुओं को संबोधित करना है: यह कोडबेस के कॉन्टेक्स्ट को इस फैसले के साथ जोड़ता है कि काम के लिए कौन-सा मॉडल चुना जाए।

27 अक्टूबर को लॉन्च किया गया Governor, मौजूदा कोडिंग एजेंटों और उनके द्वारा इस्तेमाल किए जाने वाले मॉडलों के बीच काम करता है। Bito का कहना है कि अनावश्यक खोज-कॉन्टेक्स्ट घटाकर और सही मॉडल तथा रीजनिंग स्तर चुनकर, गुणवत्ता बनाए रखते हुए एजेंट पर होने वाला खर्च 40% से 70% तक कम किया जा सकता है। यह आंकड़ा कंपनी की ओर से बताया गया परिणाम है, हर टीम के लिए बचत की गारंटी नहीं।

यह उत्पाद Claude Code, Cursor और Codex जैसे टूल इस्तेमाल करने वाले वर्कफ़्लो का समर्थन करता है। डेवलपर जिस कोडिंग परिवेश का पहले से उपयोग कर रहे हैं, उसे बदलने के बजाय टीमें अपने एजेंटों को एक साझा एंडपॉइंट से जोड़ती हैं।

लंबे कोडिंग सेशन की लागत उम्मीद से ज़्यादा क्यों हो सकती है

प्रति टोकन कीमत किसी एजेंट के कुल खर्च का सिर्फ़ एक हिस्सा है। किसी सेशन में बार-बार खोज करना, फ़ाइलें पढ़ना, बदलाव करना और टेस्ट चलाना शामिल हो सकता है। इसके बाद बनी बातचीत को मॉडल की अगली कॉल में फिर से दिया जाता है। इसलिए, काम की शुरुआत में पढ़ी गई कोई बड़ी फ़ाइल एजेंट के उसे पहली बार खोलने के काफी समय बाद तक लागत को प्रभावित कर सकती है।

Bito इस समस्या को Claude Code के एक सेशन के उदाहरण से समझाता है, जिसमें खोजों से लगभग 65,000 टोकन मिले। कंपनी के अनुसार, जमा हुए कॉन्टेक्स्ट को बार-बार प्रोसेस करने से अंत तक उस सेशन में कुल छह मिलियन टोकन इस्तेमाल हुए। ये आंकड़े मापे गए एक सेशन के हैं, हर कोडिंग काम की सामान्य लागत के नहीं।

प्रॉम्प्ट कैशिंग से एक ही इनपुट को बार-बार भेजने की लागत घट सकती है, लेकिन कैश किए गए और नए प्रोसेस किए गए टोकन की कीमत अलग-अलग होती है। इसलिए कुल खर्च इस बात पर निर्भर करता है कि एजेंट कैसे काम करता है, वह कौन-सा कॉन्टेक्स्ट बनाए रखता है और मॉडल बदलने से उपयोगी कैश की स्थिति बनी रहती है या उसका लाभ खो जाता है।

घोषणा में Bito के सह-संस्थापक और CEO Amar Goel ने कहा, “सही मॉडल चुनना मायने रखता है, लेकिन उतना ही अहम यह भी है कि एजेंट कोड खोजने और पहले से देखी गई हर चीज़ फिर से भेजने में कितना खर्च करता है।”

कोड-कॉन्टेक्स्ट इंजन बार-बार खोजबीन की ज़रूरत घटाता है

Governor कंपनी के कोड का एक लाइव ग्राफ़ बनाए रखता है। Bito के अनुसार, जब किसी एजेंट को कोडबेस की पड़ताल करनी होती है, तो Governor छोटे और तेज़ मॉडल की मदद से यह शोध कर सकता है और संबंधित कोड-कॉन्टेक्स्ट के साथ उसका सारांशित उत्तर दे सकता है।

इससे होने वाली बचत का आधार अग्रणी मॉडल से बार-बार खोजबीन कराने से बचना और अनावश्यक खोज-नतीजों को मुख्य एजेंट की बातचीत से बाहर रखना है। केंद्रित उत्तर देने से आगे की बारी में साथ ले जाए जाने वाले कॉन्टेक्स्ट की मात्रा बदलती है—सिर्फ़ पहली खोज की कीमत नहीं।

Bito के प्लेटफ़ॉर्म का दस्तावेज़ीकरण इस अंतर्निहित ग्राफ़ का अधिक विस्तृत वर्णन करता है। यह रिपॉज़िटरी में मौजूद सिंबल, सेवाओं की संरचना, निर्भरताओं और उनके बीच के संबंधों को इंडेक्स करता है। साथ ही, यह इश्यू ट्रैकर, डिज़ाइन दस्तावेज़ों और इंजीनियरिंग चर्चाओं जैसे स्रोतों से कॉन्टेक्स्ट भी शामिल करता है। यह डेटाबेस स्कीमा, आर्किटेक्चरल पैटर्न और डिप्लॉयमेंट से जुड़ा कॉन्टेक्स्ट भी मैप करता है।

इससे उत्पाद को टेक्स्ट के अंशों का मिलान करने से कहीं व्यापक दायरे में जानकारी खोजने की सुविधा मिलती है। प्रमाणीकरण में बदलाव से जुड़े सवाल का जवाब देने के लिए यह पहचानना पड़ सकता है कि किसी इंटरफ़ेस का स्वामित्व किस सेवा के पास है, उस पर निर्भर कौन-से कॉलर हैं और पहले के डिज़ाइन फ़ैसले के पीछे क्या तर्क था। इन संबंधों को जोड़ने से एजेंट कोड का सुझाव देने से पहले बदलाव के प्रभाव की पड़ताल कर सकता है।

आख़िरकार, नतीजे में उपयोगी प्रमाण मिलना ज़रूरी है। Bito का Governor का परिचय फ़ाइल और लाइन के संदर्भों से जुड़े संक्षिप्त शोध-उत्तर का वर्णन करता है। इससे मुख्य एजेंट को अगला कदम वास्तविक कोडबेस के आधार पर उठाने में मदद मिलती है।

रूटिंग काम के प्रकार और कैश पर निर्भर करती है

Governor किए जा रहे काम के आधार पर मॉडल और रीजनिंग का स्तर भी चुनता है। Bito का कहना है कि यह काम के प्रकार, सतही या गलत उत्तर के नतीजों, उपयोगकर्ता के इरादे और सेशन के दौरान पहले से बने कैश पर विचार करता है।

जब किसी छोटे संदेश में बड़ा निर्देश छिपा हो, तब यह कॉन्टेक्स्ट मायने रखता है। “आगे बढ़ें” किसी जटिल योजना को लागू करने की मंज़ूरी दे सकता है, भले ही संदेश में बहुत कम शब्द हों। जो राउटर संदेश की लंबाई को कठिनाई का पैमाना मानता है, वह डेवलपर के असल अनुरोध को समझने में चूक सकता है।

Bito के अनुसार, Governor डेवलपर के नए अनुरोध की शुरुआत में रूटिंग का फ़ैसला करता है और एजेंट के काम पूरा करने तक उस विकल्प को बनाए रखता है। यह इस बात का भी आकलन करता है कि मॉडल बदलने से संभावित बचत, पहले से मौजूद कैश का लाभ छोड़ने लायक है या नहीं।

इसलिए, सस्ता मॉडल अपने आप अगली कॉल के लिए सबसे कम खर्चीला विकल्प नहीं होता। अधिक महँगे मॉडल पर मौजूद सक्रिय कैश से हिसाब बदल सकता है, ख़ासकर तब, जब बातचीत पहले ही लंबी हो चुकी हो। रीजनिंग की सेटिंग एक और पहलू जोड़ती है: गहन विश्लेषण की ज़रूरत वाले काम में अतिरिक्त कंप्यूटेशन उचित हो सकता है, जबकि किसी नियमित चरण में इसकी ज़रूरत शायद न हो।

Governor की परिनियोजन रूपरेखा मौजूदा कार्यप्रवाहों को बनाए रखने के लिए तैयार की गई है। Bito का कहना है कि यह Anthropic और OpenAI के अनुरूप एपीआई का समर्थन करता है, टीम की प्रदाता-कुंजियों के साथ काम करता है और मौजूदा गेटवे के साथ भी चल सकता है। यह रूटिंग परत का वर्णन है; टीमों को फिर भी उन एजेंटों और प्रदाता-पहुँच को कॉन्फ़िगर करना होगा जिनका वे उपयोग करना चाहती हैं।

Privado की रिपोर्ट: लागत कम और चरणों की संख्या घटी

घोषणा के साथ दिए गए ग्राहक-उदाहरण में, गोपनीयता सॉफ़्टवेयर कंपनी Privado ने Claude Code में अपने इंजीनियरिंग कार्यों पर नियंत्रित परीक्षण किया। Bito की रिपोर्ट के अनुसार, प्रति कार्य लागत $4.12 से घटकर $2.14 रह गई—यानी 48% की कमी—जबकि एजेंट को हर कार्य के लिए 47 के बजाय 23 चरणों की ज़रूरत पड़ी।

कंपनी का कहना है कि गुणवत्ता समान बनी रही और कार्य 38% तेज़ी से पूरे हुए। Bito की वेबसाइट के अनुसार, ग्राहक का A/B तुलनात्मक परीक्षण 40 इंजीनियरिंग कार्यों पर किया गया था। इसमें समान कार्यों, मॉडल और परीक्षण ढाँचे का उपयोग किया गया और Governor को परिवर्तनशील कारक रखा गया।

ये विवरण परिणाम को बचत के किसी व्यापक दावे से अधिक जानकारीपूर्ण बनाते हैं, लेकिन यह भी स्पष्ट करते हैं कि इसे कितनी दूर तक सामान्यीकृत किया जा सकता है, इसकी सीमाएँ हैं। अलग रिपॉज़िटरी, कार्यों का अलग मिश्रण, प्रदाता की अलग व्यवस्था या शुरुआती मॉडल से जानकारी पुनः प्राप्त करने, कैश के उपयोग और तर्क-विचार की लागत का संतुलन बदल सकता है।

Bito कोडिंग-मॉडलों की लागत और गुणवत्ता पर शोध भी प्रकाशित करता है। उसके सितंबर के अध्ययन में 29 मॉडलों को 60 इंजीनियरिंग कार्यों पर परखने और 1,740 उत्तरों का मूल्यांकन करने का वर्णन है। कुछ कार्यों की जाँच कोड चलाकर या जान-बूझकर डाली गई खामियों का पता लगाकर की गई; अन्य में परीक्षण से पहले तय किए गए मानदंडों के आधार पर एआई निर्णायक का उपयोग किया गया। मॉडलों पर किया गया यह व्यापक अध्ययन Privado के ग्राहक-तुलनात्मक परीक्षण से अलग है।

नियंत्रणों से टीमें ट्रैफ़िक बदलने से पहले रूटिंग की जाँच कर सकती हैं

Governor में गुणवत्ता, संतुलित और लागत सेटिंग्स के साथ एक छाया मोड भी है। यह दर्ज करता है कि टीम का ट्रैफ़िक किस तरह रूट किया जाता, लेकिन अनुरोधों को संभालने का तरीका नहीं बदलता। इससे इंजीनियरिंग प्रमुखों को प्रस्तावित फ़ैसलों को लागू करने से पहले उनकी जाँच करने का तरीका मिलता है।

अतिरिक्त सुरक्षा उपायों में अधिकतम मूल्य-सीमा, अनुमति के बिना अधिक महँगे मॉडलों पर रूटिंग की रोक और कुछ गड़बड़ होने पर अनुरोधित मॉडल पर लौटना शामिल है। रूटिंग के फ़ैसले और उनके कारण दर्ज किए जाते हैं।

Bito की योजना Governor को कोडिंग एजेंटों से आगे बढ़ाने की है। फिलहाल, इसका लॉन्च इंजीनियरिंग की एक ठोस समस्या पर केंद्रित है: लंबे सॉफ़्टवेयर-विकास सत्रों के दौरान बार-बार खोजबीन करने और मॉडल को अनुरोध भेजने की लागत।

काम को सफलतापूर्वक पूरा करने की लागत ही उपयोगी माप होगी—साथ ही गुणवत्ता और इसे पूरा करने में लगने वाले समय को भी देखना होगा। Governor का दावा है कि एजेंटों को बेहतर संदर्भ देकर और मॉडल की क्षमताओं का अधिक सोच-समझकर आवंटन करके टीमें इस माप में सुधार कर सकती हैं, वह भी डेवलपरों से उन टूलों को छोड़ने की अपेक्षा किए बिना जिनका वे पहले से उपयोग करते हैं।