Together AI उत्पादन इन्फ़रेंस के लिए सतत कम्पाइलेशन ला रहा है

Together AI ने 4 नवंबर, 2026 को बहुरूपी इन्फ़रेंस की घोषणा की और इसे लागू करने वाले अपने पहले सिस्टम के रूप में Together Compiler पेश किया। एजेंट-आधारित यह सिस्टम बदलते मॉडल, ट्रैफ़िक और हार्डवेयर के अनुसार इन्फ़रेंस को लगातार नए सिरे से अनुकूलित करता है। यह कंपनी के कई प्रमुख उत्पादन इन्फ़रेंस वर्कलोड और कुछ लोकप्रिय सर्वरलेस एंडपॉइंट पर पहले से चल रहा है।

Together AI के अनुसार, Kimi K3, GLM 5.3, MiniMax M3.1-Flash और DeepSeek v4.1-Flash से जुड़े परीक्षणों में उसके कम्पाइलर ने 24 घंटे से भी कम समय में, अत्यधिक अनुकूलित ओपन-सोर्स आधाररेखाओं की तुलना में प्रति सेकंड 1.3x से 3x तक अधिक टोकन दिए। ये नतीजे घोषणा के मुख्य दावे को रेखांकित करते हैं: अनुकूलन को लॉन्च के समय किए जाने वाले और फिर स्थिर हो जाने वाले मैन्युअल बदलावों के बजाय, किसी खास डिप्लॉयमेंट से जुड़ी निरंतर खोज-प्रक्रिया बनाया जा सकता है।

बदलते मॉडल, ट्रैफ़िक और हार्डवेयर

बहुरूपी इन्फ़रेंस, Together AI का उस सर्विंग इन्फ़्रास्ट्रक्चर के लिए इस्तेमाल किया जाने वाला शब्द है जो तेज़ी से जारी हो रहे मॉडल, विविध आर्किटेक्चर, बदलते ट्रैफ़िक पैटर्न और सेवा-स्तरीय आवश्यकताओं के साथ-साथ हार्डवेयर में अधिक बार होने वाले बदलावों के अनुसार ढलता है। इसके विपरीत, स्थिर तरीका एक निश्चित इंजन कॉन्फ़िगरेशन से शुरू होता है। एक परिस्थिति के लिए अनुकूलित कॉन्फ़िगरेशन दूसरी परिस्थिति के लिए ज़रूरी नहीं कि उपयुक्त हो—खासकर तब, जब मॉडल का व्यवहार और अनुरोधों का वितरण बदल जाए।

कंपनी के उत्पादन-स्तर के अवलोकन इसके ठोस उदाहरण देते हैं। Together AI के अनुसार, एक देश के कामकाजी घंटों के दौरान प्रॉम्प्ट लगभग 97,000 टोकन तक पहुँच गए, जबकि अन्य जगहों पर यह संख्या 70,000 थी। साथ ही, एक मॉडल जारी होने के बाद के दो हफ़्तों में प्रॉम्प्ट की लंबाई 80% बढ़ गई, क्योंकि उपयोग का रुझान एजेंट-आधारित वर्कलोड की ओर मुड़ गया। ग्राहकों के उपयोग में अचानक उछाल से प्रॉम्प्ट की लंबाई दोगुनी भी हो सकती है और कैश हिट दर घट सकती है, जिससे वे परिस्थितियाँ बदल जाती हैं जिनके आधार पर मौजूदा कॉन्फ़िगरेशन को अनुकूलित किया गया था।

इस घोषणा में Together AI ने मेगाकर्नल पर अपने पहले के ज़ोर को भी नए सिरे से परखा है। मेगाकर्नल कई ऑपरेशनों को एक ही कर्नल में मिला देते हैं। शुरुआती संस्करणों को उत्पादन में इस्तेमाल करने के बाद कंपनी इस निष्कर्ष पर पहुँची कि केवल ऑपरेशनों को मिलाना हर स्थिति के लिए सही डिज़ाइन लक्ष्य नहीं है: विशेषज्ञों के मिश्रण वाले आर्किटेक्चर और गतिशील वर्कलोड के लिए अलग-अलग तकनीकों की ज़रूरत हो सकती है। इसी तरह, स्थिर या यादृच्छिक ट्रैफ़िक के आधार पर विकसित कर्नल उत्पादन ट्रैफ़िक के लिए गलत तरीके से अनुकूलित हो सकते हैं, क्योंकि डेटा पर निर्भर रूटिंग यह प्रभावित करती है कि कौन-से अनुकूलन बेहतर साबित होंगे।

सतत कम्पाइलेशन कैसे काम करता है

Together Compiler ट्रैफ़िक के स्वरूप, मॉडल और हार्डवेयर को इनपुट के रूप में लेता है, फिर इन्फ़रेंस इंजन के लिए संभावित अनुकूलन तैयार करने और उनका मापन करने हेतु एजेंटों का इस्तेमाल करता है। एक सतत चलने वाला इंजन मॉडल को एक बार लोड करता है और पूरा इंजन रीस्टार्ट किए बिना, फ़ॉरवर्ड पास के नए संभावित संस्करणों को तुरंत लोड करता है। समानांतर एजेंट संभावित संस्करण तैयार करते हैं और एक संदेश-पटल के ज़रिए आपस में संवाद करते हैं; इस तरह, जब दूसरे एजेंट विचार कर रहे होते हैं या टूल इस्तेमाल कर रहे होते हैं, तब भी प्रयोग कतार में लगे रहते हैं।

मापन के दो स्तर प्रयोगों की संख्या और वास्तविकता से उनकी समानता के बीच संतुलन बनाते हैं। तेज़ इंजन शीघ्रता से प्रयोग दोहराने और कम उतार-चढ़ाव वाले समय-मापन के लिए कुछ परतें लोड करते हैं; धीमे इंजन यह जाँचने के लिए अधिक परतें लोड करते हैं कि संभावित संस्करण वास्तविक-जैसे डेटा वितरणों पर भी कारगर रहते हैं या नहीं। एक अलग लागत मॉडल हार्डवेयर विनिर्देशों, सूक्ष्म बेंचमार्क और मापे गए फ़ॉरवर्ड पास को मिलाकर समानांतरता-कॉन्फ़िगरेशन की खोज का दायरा घटाता है, ताकि एजेंट संभावित संस्करणों को अनुकूलित करने में समय लगाने से पहले ही अनुपयुक्त विकल्प हटा सकें।

तकनीकी शोधपत्र के अनुसार, सफल संभावित संस्करणों को सर्व करने से पहले KV-कैश दूषित होने और आउटपुट की गुणवत्ता की जाँच से गुज़रना पड़ता है। ये जाँच अनुकूलन के लिए तय बजट समाप्त होने के बाद होती हैं, जब अंतिम सोर्स कोड को सर्विंग इंजन में एकीकृत करने के लिए तैयार किया जाता है।

लॉन्च पोस्ट में दिए गए स्टार्टअप समय की तुलना के अनुसार, मौजूदा प्रक्रिया में सर्विंग शुरू होने में 467 सेकंड लगे, जबकि Together Compiler के सेटअप में 9.0 सेकंड लगे। ये आँकड़े अनुकूलन के दौरान इंजन शुरू होने के समय से जुड़े हैं, न कि अलग-अलग अनुरोधों की विलंबता से। इनसे यह समझने में मदद मिलती है कि सिस्टम में प्रयोगों की गति के लिए हॉट-रीलोडिंग केंद्रीय भूमिका क्यों निभाती है।

मूल्यांकन का दायरा और ग्राहकों की पहुँच

इंजन की तुलना के लिए शोधपत्र में 30 अक्टूबर, 2026 तक उपलब्ध अग्रणी ओपन कॉन्फ़िगरेशन का इस्तेमाल किया गया। एजेंट-आधारित अनुकूलन का प्रभाव अलग से मापने के लिए आधाररेखा की समानांतरता रणनीति को स्थिर रखा गया। मानक मूल्यांकन वर्कलोड से घोषित अपवाद Trainium2 था: इसमें सिंथेटिक, बहु-चरणीय डेटासेट इस्तेमाल किया गया, क्योंकि उपलब्ध HBM क्षमता के भीतर कार्यान्वयन अभी अधिक समवर्ती अनुरोधों का समर्थन नहीं करता था।

Together AI का कहना है कि अनुकूलन के नतीजों का एक कारण आधाररेखा वाली एजेंट-आधारित पुनरावर्ती स्व-सुधार अनुकूलन प्रणालियों की तुलना में प्रयोगों की 252 गुना अधिक गति है।

भाषा-मॉडल इन्फ़रेंस के अलावा, शोधपत्र में परीक्षण किए गए मौसम, जीवविज्ञान, समय-श्रृंखला और आंशिक अवकल समीकरणों वाले मॉडलों पर 1.5x से 6.4x तक की गति-वृद्धि दर्ज की गई है। बताए गए मूल्यांकनों में आउटपुट बिट-स्तर पर बिल्कुल समान रहे।

अंतिम ग्राहक सीमित बीटा के ज़रिए शुरुआती पहुँच का अनुरोध कर सकते हैं। Together AI की योजना समर्पित एंडपॉइंट का एक-क्लिक अनुकूलन उपलब्ध कराने की है। कंपनी के शोध रोडमैप में ऐसा स्पेक्युलेटिव डिकोडिंग भी शामिल है जो डोमेन, अनुरोध, टोकन और ट्रैफ़िक लोड के अनुसार ढलता है, साथ ही अलग-अलग तरह के सर्वरलेस ट्रैफ़िक के लिए वर्करों और डिप्लॉयमेंट कॉन्फ़िगरेशन के बीच गतिशील रूटिंग भी।

इस लॉन्च के साथ Together AI के इन्फ़रेंस स्टैक का मूल सिद्धांत ऐसा कर्नेल चुनना है जिसका प्रदर्शन हर तैनाती में मापा गया हो, न कि ऐसा कर्नेल जो हर स्थिति में सर्वोत्तम हो। ग्राहकों के सामने तात्कालिक सवाल यह है कि क्या सीमित बीटा उनके अपने मॉडल, ट्रैफ़िक और हार्डवेयर पर बताए गए लाभ दोहरा सकता है और साथ ही गुणवत्ता की उन्हीं जाँचों में खरा उतर सकता है—इसी तरह के बदलावों से निपटने के लिए Continuous Compilation तैयार किया गया है।