एआई मॉडल और प्लेटफ़ॉर्म
Llama.cpp V1.0.0 ने स्थानीय AI टूल के लिए API स्थिरता के नियम तय किए
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुMajor-version bumps now publicly signal source and binary breakage for downstream…
और देखें
- Major-version bumps now publicly signal source and binary breakage for downstream llama.cpp integrators.
- Official release tags require an identical internal ggml copy to keep system-wide installations compatible.
- Each ggml backend can compile as a dynamic library and load at runtime for hardware-specific code.
ggml-org ने 13 नवंबर 2026 को llama.cpp v1.0.0 की घोषणा की, जिससे C/C++ स्थानीय AI अनुमान परियोजना के लिए आगे के डेवलपरों को औपचारिक संगतता अनुबंध मिला। अंतर्निहित ggml टेंसर लाइब्रेरी भी v1.0.0 तक पहुँची। परियोजना के अनुसार, यह 150 से अधिक मॉडल-वास्तुकला रूपांतरों और मुख्यधारा की सभी अनुमान-पूर्व डिकोडिंग विधियों का समर्थन करती है।
संस्करण निर्धारण अब एक सार्वजनिक अनुबंध
दोनों परियोजनाएँ स्रोत-स्तर के API में भविष्य में होने वाली असंगतियों और ABI—कंपाइल किए गए अनुप्रयोगों द्वारा इस्तेमाल किए जाने वाले बाइनरी इंटरफ़ेस—का संकेत प्रमुख संस्करण संख्या बढ़ाकर देंगी। सार्वजनिक C API में ऐसा बदलाव जो पिछली संगतता तोड़ता है, प्रमुख संस्करण संख्या बढ़ाता है। पिछली संगतता बनाए रखने वाली सुविधाएँ, बैकएंड अपडेट, मॉडल समर्थन और API में नई सुविधाएँ गौण संस्करण संख्या बढ़ाती हैं, जबकि API में बदलाव के बिना किए गए बग सुधार पैच संस्करण संख्या बढ़ाते हैं।
यह नीति 3.5 वर्षों के विकास और परियोजना के लाइब्रेरी इंटरफ़ेस पर बढ़ती निर्भरता के बाद आई है। llama.cpp इसके माध्यम से बहु-माध्यमीय LLM अनुमान उपलब्ध कराता है libllama, जबकि ggml इसके माध्यम से मशीन-लर्निंग टेंसर परत उपलब्ध कराता है libggmlयह सॉफ़्टवेयर उपभोक्ता मशीनों से लेकर एंटरप्राइज़ सर्वरों तक के हार्डवेयर पर काम करने के लिए क्वांटाइज़ेशन, अनुकूलित बैकएंड और पोर्टेबल C/C++ कोड का उपयोग करता है।
इससे पैकेज अनुरक्षकों और अनुप्रयोग डेवलपरों को यह आकलन करने के लिए संस्करण-संकेत मिलता है कि अपग्रेड से उनका एकीकरण टूट सकता है या नहीं। अनुरक्षकों की 7 अगस्त 2026 की रिलीज़-प्रक्रिया पर चर्चा में इससे जुड़ा एक सुरक्षा उपाय भी शामिल है: आधिकारिक llama.cpp रिलीज़ टैग तभी बनाया जाता है, जब उसकी आंतरिक ggml प्रति जारी की गई ggml प्रति के समान हो। इस शर्त का उद्देश्य यह सुनिश्चित करना है कि रिलीज़ टैग वाले बिल्ड सिस्टम-व्यापी ggml इंस्टॉलेशन के साथ संगत रहें। दस्तावेज़ में बताए गए Debian और Homebrew पैकेज इसी व्यवस्था का उपयोग करते हैं।
रनटाइम, मॉडल और सर्वर में बदलाव
llama.cpp v1.0.0 के रिलीज़ नोट इस अनुबंध के साथ व्यापक सफ़ाई भी दर्ज करते हैं। इस रिलीज़ में हटाए जाने की घोषणा पहले ही की जा चुकी सार्वजनिक API को हटाया गया है, जिसमें 35 अप्रचलित फ़ंक्शन शामिल हैं। साथ ही, NextN अनुमान-पूर्व डिकोडिंग API को llama-ext.h एक्सटेंशन हेडर से सार्वजनिक llama.h हेडर में ले जाया गया है। इस बदलाव से अनुमान-पूर्व डिकोडिंग का यह इंटरफ़ेस नए संस्करण निर्धारण नियमों के दायरे में आने वाले सार्वजनिक API का हिस्सा बन गया है।
अनुमान की नई सुविधाओं में OCP 8-बिट फ़्लोटिंग-पॉइंट (FP8) की-वैल्यू कैश, मिश्रित-विशेषज्ञ (MoE) मॉडल के लिए विन्यास योग्य CPU हिस्से वाला होस्ट-मेमोरी कैश, और अलग-अलग GGUF शार्ड से बाहरी PLE या engram डेटा लोड करने की सुविधा शामिल है। मॉडल संबंधी नई सुविधाओं में Kimi-K3.1-Pro, Ripple और xing4_0 टेक्स्ट आर्किटेक्चर; drama-3 टेक्स्ट-टू-स्पीच; तथा MageVL-Cowork और Kimi-K3.1 के लिए विज़न समर्थन शामिल हैं।
llama-server के लिए, इस रिलीज़ में सर्वर-साइड अनुरोध जालसाज़ी, क्रॉस-ओरिजिन संसाधन साझाकरण और DNS रीबाइंडिंग से जुड़ी समस्याओं का समाधान किया गया है, और केवल HF_TOKEN huggingface.co होस्ट तक सीमित किया गया है। क्लाइंट के डिस्कनेक्ट होने या समय-सीमा समाप्त होने पर MCP टूल कॉल रद्द कर दिए जाते हैं और MCP सर्वर को इसकी सूचना दी जाती है। OpenAI-संगत एक नया /v1/audio/speech एंडपॉइंट सर्वर के ऑडियो इंटरफ़ेस का विस्तार करता है।
नए रूप वाले वेब इंटरफ़ेस में नाम वाले चैट समूह और लाइव पूर्वावलोकन वाला Markdown संपादक जोड़ा गया है। मोबाइल लेआउट में डिवाइस के सुरक्षित क्षेत्र और फ़ुल-स्क्रीन संवाद शामिल हैं, जबकि Android चैट संपादक वर्चुअल कीबोर्ड खोल सकता है।
हार्डवेयर बैकएंड और रिलीज़ अवसंरचना
साथ में जारी ggml v1.0.0 रिलीज़ में अप्रचलित API और पुराने DIAG_MASK ऑपरेशन हटाए गए हैं, विन्यास योग्य YaRN ट्रंकेशन और FP8 समर्थन जोड़ा गया है, और ऐसे शेड्यूलर इनपुट अपलोड करने से बचा गया है जिन्हें पढ़ा नहीं जाता। CUDA और Metal में कम पंक्तियों वाले क्वांटाइज़्ड मैट्रिक्स गुणन और MoE फ़्यूज़न पर काम जोड़ा गया है। अन्य बैकएंड में Intel Vulkan के लिए प्रीफ़िल FlashAttention कर्नेल, डिवाइस-साइड SYCL MoE शेड्यूलर, OpenCL में विघटित Adreno FlashAttention, नए WebGPU कर्नेल और Hexagon ऑपरेशन का विस्तारित समर्थन शामिल हैं।
हर ggml बैकएंड को डायनेमिक लाइब्रेरी के रूप में कंपाइल किया जा सकता है और वैकल्पिक रूप से रनटाइम पर लोड किया जा सकता है, जिससे इंस्टॉलेशन में हार्डवेयर-विशिष्ट कोड चुना जा सकता है। रिलीज़-पूर्व आर्टिफ़ैक्ट Linux, macOS, Windows, Android और iOS के लिए उपलब्ध हैं। Docker, Debian, Homebrew, conda-forge, MacPorts, Winget और XCFramework वितरण के अतिरिक्त माध्यम उपलब्ध कराते हैं, जिनमें हर प्लेटफ़ॉर्म का समर्थन अलग-अलग है।
विकास की इस गति को बनाए रखने के लिए, टीम का कहना है कि Hugging Face Buckets और Jobs मुख्य शाखाओं पर आने वाले बदलावों के लिए सतत एकीकरण क्षमता बढ़ा रहे हैं। NVIDIA, AMD, Qualcomm, Arm, IBM और Intel का हार्डवेयर समर्थन भी प्रमुख हार्डवेयर प्लेटफ़ॉर्म पर अधिक स्व-होस्टेड रनर उपलब्ध कराने में मदद कर रहा है। अनुरक्षक अपने विकास चक्र में LLM को भी शामिल कर रहे हैं और कोड की गुणवत्ता, वास्तुकला पर नियंत्रण तथा कार्यान्वयन के विवरणों की समझ को अपनी प्राथमिकताएँ बता रहे हैं।
आगे की परियोजनाओं के लिए, यह रिलीज़ तेज़ी से विकसित हो रही ओपन-सोर्स लाइब्रेरी के साथ संगतता बनाए रखने को विकास की स्पष्ट ज़िम्मेदारी बनाती है। संस्करण नियम संभावित टूट-फूट का संकेत दे सकते हैं; विस्तारित CI और हार्डवेयर-रनर कार्यक्रम यह पता लगाने में मदद करते हैं कि नियमित रिलीज़ उन परियोजनाओं द्वारा इस्तेमाल किए जाने वाले मॉडल और हार्डवेयर पर भरोसेमंद बनी रहती हैं या नहीं।
