Nvidia ने PAIR के साथ घरेलू कंप्यूटरों को एक AI इन्फ़रेंस क्लस्टर में जोड़ा

Nvidia ने 3 सितंबर, 2026 को Personal AI Router (PAIR) का बीटा जारी किया, जो एक मुफ्त ओपन‑सोर्स सॉफ़्टवेयर है जो संगत कंप्यूटरों को होम नेटवर्क पर जोड़कर स्थानीय AI इन्फ़रेंस के लिए एकल क्लस्टर बनाता है, और एजेंट कार्यभार की अनुरोधों को उपलब्ध मशीनों के बीच रूट करता है।

नाम के बावजूद, PAIR कोई हार्डवेयर राउटर नहीं है और न ही नया इन्फ़रेंस इंजन। Nvidia के तकनीकी ब्लॉग पोस्ट के अनुसार, जो सॉफ़्टवेयर की घोषणा करता है, Ollama और LM Studio जैसे इंजन अभी भी प्रत्येक मॉडल को चयनित मशीन पर चलाते हैं, जबकि PAIR भाग लेने वाले सिस्टम को खोजता है, यह ट्रैक करता है कि प्रत्येक सिस्टम अनुरोध के लिए तैयार है या नहीं, स्वतंत्र कार्यों को शेड्यूल करता है, और प्रत्येक प्रतिक्रिया को उस एप्लिकेशन को वापस भेजता है जिसने उसे उत्पन्न किया था।

बीटा क्या समर्थन करता है

PAIR बीटा Windows 11, Linux और macOS पर चलता है, और इन तीन ऑपरेटिंग सिस्टमों में x64 और arm64 आर्किटेक्चर समर्थित हैं; प्रोजेक्ट की दस्तावेज़ीकरण में Windows on ARM को प्रायोगिक बताया गया है। Nvidia के प्रोडक्ट पेज में समर्थित हार्डवेयर के रूप में 20 सीरीज़ से आगे के सभी GeForce RTX GPU, DGX Spark और GB10 सिस्टम, तथा Apple M4 चिप या उससे नई चिप वाले मैक शामिल हैं, साथ ही न्यूनतम 8 GB RAM और 20 GB या अधिक अनुशंसित डिस्क स्पेस। तकनीकी ब्लॉग पोस्ट में अतिरिक्त रूप से Turing आर्किटेक्चर और उसके बाद के RTX PRO वर्कस्टेशन GPU भी सूचीबद्ध हैं।

ऑपरेशन के लिए इंटरनेट कनेक्शन आवश्यक नहीं है, हालांकि मॉडल डाउनलोड करने के लिए इंटरनेट चाहिए। प्रोडक्ट पेज बताता है कि क्लस्टर सेटअप करने के लिए कोई विशेष केबल या रैक की जरूरत नहीं है: उपयोगकर्ता सॉफ़्टवेयर डाउनलोड करते हैं, अपने डिवाइस जोड़ते हैं, और उसके माध्यम से अपने AI एप्लिकेशन चलाते हैं। Nvidia ने PAIR का स्रोत कोड Apache License 2.0 के तहत प्रकाशित किया है, और कहा कि डेवलपर कोड की जांच कर सकते हैं, समस्याएँ रिपोर्ट कर सकते हैं, और खोज, पेयरिंग, रूटिंग, इंजन इंटीग्रेशन, एंडपॉइंट और उपयोगकर्ता अनुभव में सुधार में योगदान दे सकते हैं।

GPU को पूल किए बिना रूटिंग

Nvidia PAIR को एक वर्चुअल इन्फ़रेंस राउटर के रूप में वर्णित करता है, न कि हार्डवेयर को मिलाने का तरीका। प्रत्येक अनुरोध को एक योग्य नोड को सौंपा जाता है और वह अपने जीवनकाल तक वहीं रहता है; सॉफ़्टवेयर GPU मेमोरी को पूल नहीं करता, GPU को बड़े लॉजिकल एक्सेलेरेटर में संयोजित नहीं करता, किसी एक मॉडल को कई मशीनों में विभाजित नहीं करता, और न ही एक चल रहे इन्फ़रेंस अनुरोध को नोड्स के बीच बाँटता है।

एप्लिकेशन Ollama‑समर्थित और OpenAI‑समर्थित प्रॉक्सी एंडपॉइंट के माध्यम से जुड़ते हैं, जिन्हें PAIR दो इंजनों द्वारा उपयोग किए जाने वाले डिफ़ॉल्ट पोर्ट को ले लेता है। Nvidia ने कहा कि इसका मतलब है कि एजेंट हार्नेस पहले से समझे गए इंटरफ़ेस को ही उपयोग कर सकते हैं, और नई क्लस्टर API को एकीकृत करने की आवश्यकता नहीं है। एक नोड केवल तभी अनुरोध के लिए योग्य बनता है जब उस पर समर्थित इंजन सक्रिय हो और वही अनुरोधित मॉडल उपलब्ध हो, और PAIR उन नोड्स को प्राथमिकता देता है जिनमें मॉडल पहले से मौजूद है। क्लस्टर में मॉडल एक समान होने की आवश्यकता नहीं है; अधिक नोड्स पर समान मॉडल टैग लोड करने से शेड्यूलर के पास एक बड़ा योग्य पूल बन जाता है।

प्रत्येक नए अनुरोध के लिए, शेड्यूलर यह जांचता है कि पेयर किया गया नोड ऑनलाइन और तैयार है या नहीं, क्या समर्थित इंजन सक्रिय है, क्या अनुरोधित मॉडल मौजूद है, वर्तमान कार्यभार जिसमें सक्रिय कार्य शामिल हैं, और मौजूदा GPU उपयोग जैसे कि ग्राफ़िक्स‑गहन एप्लिकेशन चल रहा हो। नोड उपलब्ध होने पर क्षमता योगदान कर सकते हैं और आवश्यकता पड़ने पर हट सकते हैं, जैसे लैपटॉप स्लीप मोड में जाता है, बंद हो जाता है, या नेटवर्क से बाहर हो जाता है।

खोज, सुरक्षा और गोपनीयता

इंस्टॉल करने के बाद, PAIR mDNS के माध्यम से स्थानीय नेटवर्क खोज का उपयोग करके निकटवर्ती सिस्टम को स्वचालित रूप से खोजता है, और एक नोड को IP पते से भी जोड़ा जा सकता है। दो मशीनों को पेयर करने के लिए आमंत्रित मशीन पर दिखाया गया छह‑अंकीय PIN उपयोग किया जाता है और उसे आमंत्रित मशीन में दर्ज किया जाता है। Nvidia ने कहा कि सभी नोड‑टू‑नोड संचार सुरक्षित पेयरिंग स्थापित होने तक अवरुद्ध रहता है, उसके बाद ट्रैफ़िक MTLS और उत्पन्न प्रमाणपत्रों से सुरक्षित किया जाता है। कंपनी इस सॉफ़्टवेयर को निजी स्थानीय इन्फ़रेंस के लिए स्थित करती है, जहाँ प्रॉम्प्ट, फ़ाइलें और एजेंट संदर्भ उपयोगकर्ता के होम नेटवर्क पर ही रहते हैं, न कि क्लाउड इन्फ़रेंस सेवा को भेजे जाते हैं। रिपॉज़िटरी की दस्तावेज़ीकरण उपयोगकर्ताओं को चेतावनी देती है कि अनविश्वसनीय या साझा नेटवर्क पर PAIR को तैनात करने से पहले उसकी सुरक्षा नोट्स पढ़ें, क्योंकि इसमें स्थानीय HTTP एंडपॉइंट, LAN खोज और क्लस्टर नेटवर्किंग शामिल हैं।

लक्षित कार्यभार और एक अनौपचारिक डेमो

Nvidia ने कहा कि PAIR उन कार्यभारों के लिए लक्षित है जो एक साथ कई स्वतंत्र अनुरोधों को उजागर करते हैं, जैसे मल्टी‑एजेंट एप्लिकेशन जहाँ मुख्य एजेंट जटिल कार्य को छोटे कार्यों में विभाजित करता है उप‑एजेंट्स के लिए। Hermes Desktop एजेंट और Ollama का उपयोग करके एक डेमो में, कंपनी ने बताया कि Qwen 3.6 35B A3B मॉडल का उपयोग करते हुए पाँच‑उप‑एजेंट कार्य को एकल RTX Spark लैपटॉप पर औसतन 18 मिनट लगे, जबकि RTX Spark लैपटॉप, DGX Spark और RTX 5090 को मिलाकर तीन‑डिवाइस PAIR क्लस्टर ने वही कार्य औसतन 8 मिनट 48 सेकंड में पूरा किया। Nvidia ने इस परिणाम को एक अनौपचारिक, कॉन्फ़िगरेशन‑विशिष्ट डेमो के रूप में वर्णित किया, न कि सामान्य बेंचमार्क या रैखिक स्केलिंग का वादा, और बताया कि परिणाम कार्यभार की समानांतरता, मॉडल, इंजन सेटिंग्स, हार्डवेयर, नेटवर्क और नोड उपलब्धता पर निर्भर करते हैं।

कंपनी ने कहा कि अत्यधिक क्रमिक कार्य, एक लंबे मॉडल कॉल द्वारा प्रभुत्व वाले कार्यभार, या ऐसी कॉन्फ़िगरेशन जहाँ केवल एक नोड के पास अनुरोधित मॉडल है, कम लाभ देख सकते हैं। रिपॉज़िटरी की दस्तावेज़ीकरण में यह भी कहा गया है कि सॉफ़्टवेयर वर्तमान में एक ही शेड्यूलिंग नीति प्रदान करता है जो कतारबद्ध कार्य को मोटे GPU‑उपयोग संकेत के साथ मिलाता है, जिससे यह समान मशीनों के लिए अधिक उपयुक्त है बजाय अत्यधिक मिश्रित क्लस्टर के, और Nvidia शेड्यूलर को अधिक स्मार्ट बनाने के लिए प्रतिक्रिया चाहता है, बिना यह तय किए कि क्या और कब शिप होगा।

मूल लेख के स्रोत: developer.nvidia.com [1] · nvidia.com [2] · unite.ai [3] · github.com [4]