LongCat-2.5 ने 1.6 ट्रिलियन पैरामीटर और मूल दृश्य टोकन के साथ शुरुआत की

LongCat ने 1 नवंबर 2026 को LongCat-2.5 पेश किया। यह लंबी अवधि वाले एजेंटिक कार्यों के लिए बनाया गया मूल रूप से बहुमाध्यमीय मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल है, जिसमें कुल 1.6 ट्रिलियन पैरामीटर हैं और प्रति टोकन लगभग 48 अरब पैरामीटर सक्रिय होते हैं।

LongCat के अनुसार, यह रिलीज़ LongCat-2.0 पर आधारित है और इसमें मूल दृश्य समझ तथा एजेंटिक कोडिंग को बेहतर बनाया गया है। इसके प्रशिक्षण में जटिल कोडबेस विकसित करने और पूरी परियोजनाएँ बनाने के लिए लंबी अवधि वाले अधिक ट्रैजेक्टरी और बड़े पैमाने पर दीर्घ-अवधि की सुदृढीकरण सीख शामिल है। इस रिलीज़ के लिंक LongCat के चैट इंटरफ़ेस और API प्लेटफ़ॉर्म पर ले जाते हैं, जबकि GitHub और Hugging Face के बटनों पर ‘जल्द आ रहा है’ लिखा है।

असतत दृश्य टोकन और एजेंट प्रशिक्षण

LongCat-2.5 दृश्य संकेतों को कई स्तरों वाले असतत टोकन के रूप में प्रस्तुत करता है, जिससे इसका मुख्य नेटवर्क दृश्य और पाठ्य इनपुट को एकीकृत, टोकन-आधारित प्रारूप में संसाधित कर सकता है। इसकी संरचना में मूल रिज़ॉल्यूशन वाला दृश्य टोकनीकरण, ऑफ़लाइन दृश्य पूर्व-प्रसंस्करण और मुख्य नेटवर्क के साथ संयुक्त रूप से सीखे गए दृश्य एम्बेडिंग शामिल हैं। यह Semantic-and-Aligned Encoder से प्राप्त मूल-रिज़ॉल्यूशन फ़ीचर पर अवशिष्ट वेक्टर क्वांटाइज़ेशन लागू करता है। इसमें छवियों को असतत टोकन अनुक्रमों के रूप में एन्कोड किया जाता है और फिर दृश्य डी-टोकनाइज़र से उनका पुनर्निर्माण किया जाता है।

एक स्थिर टोकनाइज़र दृश्य टोकन ID को पहले से तैयार करके ऑफ़लाइन कैश करने देता है, ताकि मुख्य नेटवर्क पहले से टोकनाइज़ किए गए अनुक्रमों को संसाधित करे। डेटा को पैक और शफ़ल करते समय छवि टोकन की संख्या ज्ञात होने के कारण, अलग-अलग माध्यमों का भार अनुमानित रहता है और डेटा-समानांतर रैंकों में उनका अनुपात लगभग एकसमान रखा जा सकता है। LongCat के अनुसार, औसतन लगभग 3 अरब सक्रिय पैरामीटर वाले एक छोटे MoE पर किए गए प्रारंभिक सत्यापन में t-SNE विज़ुअलाइज़ेशन के दौरान दृश्य और पाठ्य एम्बेडिंग आपस में गुंथे हुए दिखे, जो साझा अर्थगत स्पेस में उनके एकीकरण का संकेत देता है।

एजेंटिक कोडिंग कार्यों के लिए एक संश्लेषण पाइपलाइन प्रशिक्षण कार्य, इंटरैक्टिव वातावरण और सत्यापन योग्य परीक्षण तैयार करती है। LongCat GitHub पुल अनुरोधों और उनसे जुड़े इश्यू को छाँटता है, एजेंटों से कार्यों पर टिप्पणियाँ करवाता और वातावरण तैयार करवाता है, फिर fail-to-pass और pass-to-pass परीक्षणों से उनका सत्यापन करता है। वास्तविक समय में रोलआउट की पास दरें लेबल दोबारा तय करने और छँटाई का मार्गदर्शन करती हैं, जबकि गलत-सकारात्मक और गलत-नकारात्मक ट्रैजेक्टरी का ऑफ़लाइन विश्लेषण परीक्षणों को सुधारता और विस्तृत करता है। वास्तविक दुनिया में एजेंट की विफलता वाली ट्रैजेक्टरी को भी दोहराए जा सकने वाले, सत्यापन योग्य प्रशिक्षण कार्यों में बदला जाता है।

अतुल्यकालिक आंशिक रोलआउट में पूरा बैच एकत्र होने के बाद जारी ट्रैजेक्टरी को बीच में रोककर सहेज लिया जाता है, फिर अगले सैंपलिंग चरण में उन्हें दोबारा शुरू किया जाता है। रिवॉर्ड हैकिंग सीमित करने के लिए LongCat कार्य-परिवेशों में नेटवर्क पहुँच बंद करता है, Git इतिहास और कैश की गई फ़ाइलें हटाता है तथा ट्रैजेक्टरी में किसी भी तरह के दुरुपयोग की जाँच के लिए LLM निर्णायक का उपयोग करता है। बहु-चरणीय संवाद के दौरान बार-बार दोहराए जाने वाले तर्क और टूल कॉल पर अतिरिक्त दंड भी लगाए जाते हैं।

एक्सेलरेटर पर प्रशिक्षण और W4A4 अनुमान

मध्य-प्रशिक्षण और पर्यवेक्षित फ़ाइन-ट्यूनिंग, दोनों चरणों में लंबी अनुक्रम-लंबाई वाला प्रशिक्षण घरेलू AI एक्सेलरेटर पर किया जाता है, जिनमें प्रति डिवाइस 80 GB से कम मेमोरी होती है। समानांतर समूह सुपरनोड टोपोलॉजी के अनुसार बनाए जाते हैं, जिससे पैरामीटर का all-gather, एक्सपर्ट टोकन का all-to-all और KV का all-gather, सभी ऑपरेशन इसके उच्च-बैंडविड्थ इंटरकनेक्ट के भीतर रहते हैं।

डुअल-शार्ड FSDP मॉडल पैरामीटर की शार्डिंग को प्रत्येक सुपरनोड के भीतर रखता है, जबकि FP32 मास्टर वेट और ऑप्टिमाइज़र स्टेट को FSDP डोमेन में और अधिक शार्ड करता है। LongCat ने बताया कि लंबी अनुक्रम-लंबाई वाले पर्यवेक्षित फ़ाइन-ट्यूनिंग कार्यों में प्रति डिवाइस थ्रूपुट उसके DDP आधार-स्तर से 86% अधिक रहा।

LongCat के अनुसार, उसका प्रशिक्षण और अनुमान स्टैक, दोनों की समानांतरता कॉन्फ़िगरेशन को अलग रखते हुए, लगभग शून्य प्रदर्शन ओवरहेड के साथ प्रति टोकन बिट-दर-बिट एकसमान लॉग संभावनाएँ बनाए रखता है। दोनों इंजन बैच-इनवेरिएंट कर्नेल और संरेखित फ़्रेमवर्क लॉजिक का उपयोग करते हैं तथा प्रशिक्षण के लिए बैकवर्ड सपोर्ट भी देते हैं।

W4A4 अनुमान में एक्सपर्ट वेट और ऐक्टिवेशन को 4 बिट तक क्वांटाइज़ किया जाता है और संबंधित मैट्रिक्स गुणन मूल INT4 इकाइयों पर किए जाते हैं। सभी एक्सपर्ट के लिए साझा इनपुट रूपांतरण से टोकन की प्रतिकृति और डिस्पैच से पहले क्वांटाइज़ेशन संभव होता है, जिससे एक्सपर्ट के बीच संचार और गणना के दौरान उसी INT4 प्रस्तुति का दोबारा उपयोग किया जा सकता है। LongCat ने बताया कि मूल्यांकन किए गए सभी डाउनस्ट्रीम कार्यों में इसकी सटीकता, बिना क्वांटाइज़ किए गए मॉडल के बराबर थी।

W8A8 INT8 आधार-स्तर के साथ किए गए ऑनलाइन स्ट्रेस टेस्ट में LongCat ने प्रीफ़िल थ्रूपुट में 43.3% और डिकोड थ्रूपुट में 42.77% की बढ़ोतरी दर्ज की। साथ ही, TTFT में 15.91% और TPOT में 19.72% की कमी आई। GMM कर्नेल ने W8A8 की तुलना में औसतन 1.73× तेज़ प्रदर्शन किया।

रिपोर्ट किए गए मूल्यांकन परिणाम

LongCat ने LongCat-2.5 और इसके पूर्ववर्ती मॉडल के लिए निम्नलिखित बेंचमार्क परिणाम बताए:

दृश्य मूल्यांकन में LongCat ने 3DCodeBench Text-to-3D पर 55.4 और Vision2Web पर 78.6 अंक बताए।

जब तक अन्यथा निर्दिष्ट न हो, LongCat-2.5 के मूल्यांकनों में थिंकिंग सुविधा चालू रखी गई, तापमान 1.0 रखा गया और top_p 0.95 था। Terminal Bench v2.1 में Claude Code हार्नेस का उपयोग किया गया, अधिकतम अनुक्रम लंबाई 512K रखी गई और परिणाम तीन स्वतंत्र रन का औसत थे। DeepSWE v1.1 में mini-swe-agent का उपयोग किया गया, अधिकतम अनुक्रम लंबाई 1M रखी गई और परिणाम भी तीन रन का औसत थे।

LongCat की पूरी मूल्यांकन तालिका में शामिल अन्य मॉडलों के लिए, तारांकन चिह्न से चिह्नित स्कोर सार्वजनिक तकनीकी रिपोर्टों, ब्लॉग पोस्टों या आधिकारिक बेंचमार्क लीडरबोर्ड से लिए गए थे। बिना चिह्न वाले स्कोर स्वयं चलाए गए परीक्षणों से मिले थे और उन्हें केवल सांकेतिक बताया गया था।

API तक पहुँच और मूल्य निर्धारण

API की त्वरित शुरुआत संबंधी मार्गदर्शिका में OpenAI और Anthropic के साथ संगत, दोनों फ़ॉर्मैट के लिए LongCat-2.5 दिया गया है। उनके संबंधित बेस एंडपॉइंट हैं https://api.longcat.chat/openai और https://api.longcat.chat/anthropic, जो समर्थन करते हैं /v1/chat/completions और /v1/messages। एक अनुरोध में 1M टोकन की संदर्भ विंडो और अधिकतम 128K टोकन की आउटपुट लंबाई होती है।

LongCat के उत्पाद पृष्ठ पर Claude Code, Codex, Hermes और अन्य एजेंट हार्नेस के साथ संगतता दी गई है। इसमें विज़ुअल कोडिंग, रचनात्मक डिज़ाइन और 3D कार्यों के साथ-साथ जटिल कोडबेस और कई चरणों वाले तर्क तथा टूल के उपयोग से जुड़े पूरे प्रोजेक्ट के निर्माण के लिए समर्थन का भी वर्णन है।

उपयोग के अनुसार भुगतान वाली मूल्य दरों में सीमित अवधि की रियायती दरें प्रति दस लाख टोकन के हिसाब से दी गई हैं: कैश न किए गए इनपुट के लिए $0.30, कैश किए गए इनपुट के लिए $0.006 और आउटपुट के लिए $1.20। इनके अनुरूप युआन दरें ¥2, ¥0.04 और ¥8 हैं। कीमतें बदल सकती हैं; API प्लेटफ़ॉर्म पर दिखाई गई कीमतों और बिलिंग रिकॉर्ड को ही प्रामाणिक माना जाएगा।

GitHub और Hugging Face पर अब भी “जल्द उपलब्ध होगा” का संकेत है, जबकि इस रिलीज़ में चैट इंटरफ़ेस और API को उपलब्ध पहुँच विकल्पों के रूप में पेश किया गया है।