Stardock का Clairvoyance स्थानीय AI के लिए निष्क्रिय GPU साझा करने हेतु Hivemind जोड़ता है

Stardock के Clairvoyance में अब टीमों के लिए निष्क्रिय कंप्यूटरों से AI अनुमान-प्रक्रिया कराने का विकल्प है। इसका Locama स्थानीय-मॉडल प्रबंधक Hivemind को शामिल करता है—यह ऐसी सुविधा है जो कंपनी के कंप्यूटरों के बीच स्थानीय अनुमान-क्षमता साझा करती है—साथ ही इसमें एक बेंचमार्क भी है, जिसका उद्देश्य यह दिखाना है कि खास हार्डवेयर पर AI कितना अच्छा चलता है।

5 नवंबर की रिलीज़ में Clairvoyance 0.90 को ऐसा डेस्कटॉप परिवेश बताया गया है, जिसमें स्थानीय और क्लाउड मॉडल साथ इस्तेमाल किए जा सकते हैं। Locama Windows, macOS और Linux पर स्थानीय मॉडल इंस्टॉल करने, चलाने और व्यवस्थित करने का प्रबंधन करता है; Hivemind इस सुविधा को एक कंप्यूटर से बढ़ाकर टीम के उपलब्ध कंप्यूटरों तक ले जाता है।

Stardock की प्राथमिकता खरीद, आपूर्ति शृंखलाओं, कानूनी कार्यों और वित्त जैसे क्षेत्रों में रोज़मर्रा के, बड़े पैमाने वाले व्यावसायिक काम हैं। कंपनी का तर्क है कि इनमें से कुछ काम उस हार्डवेयर पर किए जा सकते हैं, जिसका संगठन पहले से मालिक है, जिससे हर अनुरोध के लिए मीटर-आधारित क्लाउड सेवा का इस्तेमाल करने की ज़रूरत कम हो सकती है।

Hivemind अतिरिक्त कंप्यूटरों को साझा अनुमान-क्षमता में बदलता है

Hivemind टीम के सदस्यों को कंपनी के कंप्यूटरों में मौजूद निष्क्रिय GPU का इस्तेमाल करके AI के काम करने देता है। यह सामान्य कामकाजी समय के बाहर खास तौर पर उपयोगी हो सकता है, जब स्थानीय मॉडल चलाने में सक्षम कंप्यूटर अन्यथा बेकार पड़े रह सकते हैं।

Stardock Software के CEO Brad Wardell ने कहा, “ज़्यादातर उद्यमों के पास हर रात सक्षम कंप्यूटर निष्क्रिय पड़े रहते हैं, और Hivemind उन्हें इन कंप्यूटरों को जोड़कर काम में लगाने देता है।”

कंपनी की तकनीकी शब्दावली में Hivemind को आपस में जुड़े कंप्यूटरों के बीच साझा स्थानीय अनुमान-प्रक्रिया के रूप में बताया गया है। इसमें Locama को अनुमान-होस्ट और Concierge नामक एक रूटिंग घटक को किसी चरण के लिए मॉडल और कंप्यूटर चुनने का ज़िम्मेदार अलग घटक बताया गया है।

यह मान लेने से काफ़ी अलग बात है कि कई कंप्यूटर मिलकर एक बड़ा एक्सेलरेटर बन जाते हैं। उपलब्ध कंप्यूटरों के बीच काम साझा करने से उपयोगी क्षमता बढ़ सकती है, लेकिन घोषणा में टेन्सर-पैरेलल निष्पादन, संयुक्त GPU मेमोरी या किसी एक बहुत बड़े मॉडल को आपस में जुड़े कंप्यूटरों के बीच बाँटने के तरीके का उल्लेख नहीं है।

किसी कार्य को कहाँ चलाना है, यह तय कर रही टीम के लिए अहम सवाल हैं: क्या मॉडल उपलब्ध हार्डवेयर में समा जाता है, क्या उससे स्वीकार्य नतीजे मिलते हैं, और क्या काम को किसी दूसरे कंप्यूटर पर भेजने से बचने वाले समय से ज़्यादा देरी होती है। Hivemind की उपयोगिता इन सभी बातों के मेल पर निर्भर करेगी, केवल GPU की उपलब्धता पर नहीं।

एक ही कार्यक्षेत्र में स्थानीय और क्लाउड मॉडल

Clairvoyance AI सहायकों को नामित Staff के रूप में व्यवस्थित करता है, जो उपयोगकर्ता की फ़ाइलों के साथ काम करते हैं और दस्तावेज़ तथा अन्य सामग्री तैयार करते हैं। इसका दस्तावेज़ीकरण बताता है कि Staff सदस्यों को अलग-अलग प्रदाता या स्थानीय मॉडल सौंपे जा सकते हैं, जिससे एक ही कार्यक्षेत्र में कंप्यूटिंग के विभिन्न विकल्पों का मेल संभव होता है।

इन विकल्पों के बीच का अंतर अहम है। स्थानीय मॉडल ऐसे हार्डवेयर पर चलता है, जिस पर उपयोगकर्ता या संगठन का नियंत्रण होता है। किसी क्लाउड प्रदाता के टूल से जुड़ने पर उस प्रदाता के खाते और प्रमाणीकरण के ज़रिए पहुँच मिलती है; Clairvoyance इंस्टॉल करने से उसके द्वारा समर्थित हर व्यावसायिक मॉडल तक असीमित पहुँच अपने-आप नहीं मिल जाती।

दस्तावेज़ीकरण यह भी बताता है कि स्थानीय मॉडलों में टूल इस्तेमाल करने की क्षमताएँ अलग-अलग होती हैं। सवालों के जवाब दे सकने वाला मॉडल ज़रूरी नहीं कि टीम के लिए आवश्यक एजेंट-आधारित कार्यप्रवाह भी चला सके। इसलिए छोटा स्थानीय मॉडल चुनना एक काम-विशेष का निर्णय है, जिसमें क्षमता के साथ-साथ गति पर भी विचार करना होता है।

इससे यह उत्पाद कर्मचारी और उसके पीछे काम करने वाले मॉडल रनटाइम के बीच एक व्यावहारिक भूमिका निभाता है। हर काम के लिए एक ही बैकएंड इस्तेमाल कराने के बजाय, यह परिवेश अलग-अलग कामों के लिए अलग विकल्पों का समर्थन कर सकता है। इस रिलीज़ में Hivemind की तैनाती से क्लाउड लागत में हुई कमी के स्वतंत्र रूप से मापे गए आँकड़े नहीं दिए गए हैं।

लोगों के वास्तविक हार्डवेयर के लिए एक बेंचमार्क

Locama में Clairvoyance Local AI Benchmark भी शामिल है। Stardock अपने प्रमुख मापदंड Model Speed को इस तरह बताता है: इसमें स्थानीय मॉडल द्वारा अनुरोध को संसाधित करने और पूरा जवाब देने में लगने वाला समय शामिल होता है। सार्वजनिक नतीजे clairvoyanceai.com/benchmark पर उपलब्ध हैं, और Professional उपयोगकर्ता अपने हार्डवेयर पर परीक्षण चला सकते हैं।

उत्पाद के रिलीज़ नोट्स में प्रीफ़िल, डिकोडिंग, पहला टोकन आने में लगने वाला समय और मेमोरी जैसे मापों के साथ-साथ कार्य-विशेष जाँचों का भी वर्णन है। प्रीफ़िल में इनपुट प्रॉम्प्ट और उसके संदर्भ को संसाधित किया जाता है; डिकोडिंग में जवाब तैयार होता है। इन दोनों चरणों से हार्डवेयर पर अलग-अलग तरह का दबाव पड़ सकता है।

पहला टोकन जल्दी मिलने से इंटरफ़ेस अधिक प्रतिक्रियाशील लग सकता है, जबकि बैच जॉब या लंबे एजेंट कार्य के लिए पूरा होने का कुल समय अहम होता है। इन मापों को सामने रखने से बेंचमार्क केवल एक हार्डवेयर विनिर्देश पर निर्भर रहने की तुलना में अधिक उपयोगी बनता है।

नतीजों वाला पृष्ठ बताता है कि परीक्षण Clairvoyance उपयोगकर्ताओं ने भेजे हैं और वे उनके हार्डवेयर तथा सेटिंग्स को दर्शाते हैं। इसलिए यह डेटाबेस नियंत्रित, स्वतंत्र रैंकिंग के बजाय अलग-अलग कॉन्फ़िगरेशन से जुड़े साक्ष्य का स्रोत है। सार्थक तुलना के लिए इस्तेमाल किए गए मॉडल, परिशुद्धता, संदर्भ, कार्य और रनटाइम को भी ध्यान में रखना ज़रूरी है।

Qualcomm एकीकरण से स्थानीय कंप्यूटिंग का एक और विकल्प जुड़ता है

Clairvoyance का Qualcomm के साथ काम इस रिलीज़ से पहले शुरू हुआ था। 23 सितंबर के Qualcomm डेवलपर लेख में Snapdragon X Series वाले पीसी पर चिप निर्माता के डिवाइस-आधारित जनरेटिव AI रनटाइम GenieX को Hexagon NPU के साथ एकीकृत करने का विवरण दिया गया है।

इस एकीकरण से स्थानीय स्तर पर अनुमान लगाने की क्षमता पारंपरिक डेस्कटॉप GPU तक सीमित नहीं रहती। Qualcomm के मुताबिक, काम की ज़रूरतों के आधार पर मॉडल और कंप्यूट संसाधन चुने जा सकते हैं और स्थानीय एजेंट-आधारित वर्कफ़्लो को भी समर्थन मिलता है। हालांकि, इससे यह साबित नहीं होता कि हर स्थानीय मॉडल हर काम के लिए अत्याधुनिक क्लाउड मॉडल की जगह ले सकता है।

Hivemind के लिए इसकी अहमियत हार्डवेयर की व्यापक रणनीति में है: मौजूदा कंप्यूटिंग संसाधनों को एक ही कार्य परिवेश के ज़रिए उपयोगी बनाना। अलग-अलग मशीनों की मॉडल क्षमता, बैंडविड्थ और त्वरण क्षमता अलग हो सकती है, इसलिए सॉफ़्टवेयर को उपलब्ध संसाधनों के अनुसार काम सौंपना होगा।

हार्डवेयर के पुनः उपयोग की कीमत और अर्थशास्त्र

Clairvoyance 0.90 को Windows, macOS और Linux के लिए जारी किया जा रहा है। इसके मूल्य निर्धारण पृष्ठ पर व्यक्तिगत और गैर-व्यावसायिक उपयोग के लिए मुफ़्त स्तर दिया गया है। Professional की कीमत $20 प्रति माह है; इसमें व्यावसायिक लाइसेंस, Hivemind, टीम-केंद्रित क्षमताएँ, क्लाउड सिंक और AI टोकन का एक पैकेज शामिल है। Enterprise की कीमत प्रति सीट प्रति माह $100 दी गई है; इसमें अतिरिक्त संगठनात्मक सुविधाएँ और बड़ी मात्रा के लिए व्यवस्थाएँ शामिल हैं।

स्थानीय स्तर पर अनुमान लगाने से उपयोग-आधारित क्लाउड खर्च घट सकता है, लेकिन इसकी भी कुछ लागतें हैं: बिजली, हार्डवेयर का घिसना, प्रशासन और मशीन को किसी दूसरे काम में इस्तेमाल न कर पाने की अवसर लागत। लागत की तुलना में आउटपुट की गुणवत्ता और उसकी समीक्षा या सुधार में लगने वाले काम को भी शामिल करना ज़रूरी है।

Stardock का दांव इस बात पर है कि बार-बार किए जाने वाले पर्याप्त काम पास में पहले से मौजूद हार्डवेयर पर पूरे किए जा सकते हैं। Hivemind टीमों को इस संभावना को परखने का तरीका देता है, जबकि बेंचमार्क यह मापने के लिए शुरुआती आधार उपलब्ध कराता है कि कौन-से मॉडल और मशीनें किस काम के लिए उपयुक्त हैं।