पाइटॉर्च फाउंडेशन ने वितरित कंप्यूटिंग फ्रेमवर्क रे को एकीकृत किया, एक एकीकृत एआई इंफ्रास्ट्रक्चर स्टैक बनाने के लिए

पाइटॉर्च फाउंडेशन ने घोषणा की कि रे, वितरित कंप्यूटिंग फ्रेमवर्क, जो मूल रूप से अनिस्केल द्वारा विकसित किया गया था, आधिकारिक तौर पर इसके रैंक में शामिल हो गया है। यह कदम एक एकीकृत, इंटरऑपरेबल और उत्पादन-तैयार एआई कंप्यूट स्टैक की दिशा में एक महत्वपूर्ण कदम है – जो मॉडल विकास (पाइटॉर्च), वितरित अनुमान (वीएलएलएम), और बड़े पैमाने पर निष्पादन (रे) के मूलभूत स्तरों को एक साथ जोड़ता है।

ओपन सोर्स एआई के लिए एक एकीकृत फाउंडेशन

लिनक्स फाउंडेशन के तहत होस्ट किया गया, पाइटॉर्च फाउंडेशन ओपन सोर्स एआई प्रौद्योगिकियों के लिए एक केंद्रीय केंद्र के रूप में कार्य करता है। इसका मिशन एआई विकास के हर चरण में विखंडन को कम करना और सहयोग को बढ़ावा देना है। रे को पाइटॉर्च और वीएलएलएम के साथ एकीकृत करके, फाउंडेशन उद्योग को वह दे रहा है जिसकी उसे लंबे समय से आवश्यकता थी – एक सुसंगत, अंत-से-अंत स्टैक जो एआई को बड़े पैमाने पर बनाने, प्रशिक्षित करने और तैनात करने के लिए है।
रे का समावेश भी वर्षों के शैक्षणिक और औद्योगिक विकास का परिणाम है। यूसी बर्कले के राइज़लैब में, रे को एआई और मशीन लर्निंग वर्कलोड के लिए वितरित कंप्यूटिंग को सरल बनाने के लिए डिज़ाइन किया गया था। यह डेवलपर्स को कोड को पुनः लिखे बिना या जटिल सिस्टम को प्रबंधित किए बिना एक लैपटॉप से लेकर हजारों मशीनों तक नौकरियों को स्केल करने में सक्षम बनाता है। आज, रे के पास 39,000 गिटहब स्टार और 214 मिलियन से अधिक डाउनलोड हैं, जो इसे दुनिया में सबसे व्यापक रूप से अपनाया जाने वाला वितरित कंप्यूटिंग फ्रेमवर्क बनाता है।

रे पाइटॉर्च और वीएलएलएम को कैसे पूरक बनाता है

रे प्रशिक्षण और अनुमान फ्रेमवर्क (जैसे पाइटॉर्च, डीपस्पीड, और वीएलएलएम) और कंटेनर ऑर्केस्ट्रेशन लेयर (जैसे कुबेरनेट्स या स्लर्म) के बीच बैठता है। यह स्थिति रे को वितरित कार्यभार को कुशलता से समन्वयित करने और मॉडल प्रशिक्षण और उत्पादन-स्तर की तैनाती के बीच की खाई को पाटने में सक्षम बनाती है।
रे की प्रमुख क्षमताएं शामिल हैं:

• मल्टीमॉडल डेटा प्रोसेसिंग: बड़े, विविध डेटासेट – पाठ, छवियों, ऑडियो, और वीडियो – को समानांतर में संभालता है, जिससे अधिकतम थ्रूपुट और कुशलता सुनिश्चित होती है।
• प्री-ट्रेनिंग और पोस्ट-ट्यूनिंग: पाइटॉर्च और अन्य फ्रेमवर्क को प्री-ट्रेनिंग और फाइन-ट्यूनिंग दोनों कार्यों के लिए हजारों जीपीयू पर स्केल करता है।
• वितरित अनुमान: उत्पादन में मॉडल तैनात करता है जिसमें उच्च थ्रूपुट और निम्न विलंबता होती है, जो विषम क्लस्टर में कार्यभार के फटने को गतिशील रूप से प्रबंधित करता है।

इन कार्यों के संयोजन से रे मॉडल निर्माण, अनुकूलन, और सेवा को एक साथ जोड़ने वाला “ग्लू” बन जाता है, जो आधुनिक एआई इंफ्रास्ट्रक्चर की वितरित कंप्यूट इंजन परत का गठन करता है।

विकासकर्ताओं और उद्यमों के लिए इसका क्या अर्थ है

आज की AI-ड्रिवन इकॉनमी में, ऑर्गनाइज़ेशन को स्केलिंग, वेंडर लॉक-इन और कंप्यूट इंटीग्रेशन को लेकर बहुत बड़ी चुनौतियों का सामना करना पड़ता है। प्रोप्राइटरी सिस्टम अक्सर वर्कफ़्लो को तोड़ देते हैं और इनोवेशन को धीमा कर देते हैं। रे के PyTorch Foundation में शामिल होने से, डेवलपर्स को पूरी तरह से ओपन-सोर्स, इंटरऑपरेबल कंप्यूट स्टैक मिलता है जो इनमें से कई दिक्कतों को खत्म करता है। मैट व्हाइट, लिनक्स फाउंडेशन में एआई के जीएम ने समझाया, यह सहयोग “अगली पीढ़ी के एआई सिस्टम बनाने के लिए आवश्यक महत्वपूर्ण घटकों को एक साथ लाता है।” एकीकरण डेवलपर्स को उन्नत एआई सिस्टम विकसित करने की अनुमति देता है – बड़े भाषा मॉडल से लेकर मल्टीमॉडल अनुप्रयोगों तक – बंद, प्रोप्राइटरी इंफ्रास्ट्रक्चर पर निर्भर किए बिना। इसके बजाय, डेवलपर्स एक पारिस्थितिकी तंत्र का उपयोग करके एआई मॉडल को प्रशिक्षित और तैनात कर सकते हैं जो स्केलेबल, मॉड्यूलर और समुदाय-संचालित है।

ओपन सोर्स एआई के लिए व्यापक प्रभाव

पाइटॉर्च, वीएलएलएम, और रे के बीच सहयोग ओपन कंप्यूट इंटरऑपरेबिलिटी के एक नए युग की ओर संकेत करता है। लिनक्स फाउंडेशन द्वारा तटस्थ शासन प्रदान करने के साथ, एआई उद्योग एक साझा बुनियादी ढांचे के विकास के लिए एक स्थायी मॉडल प्राप्त करता है – जैसे कुबेरनेट्स ने क्लाउड ऑर्केस्ट्रेशन को मानकीकृत किया है।
उद्योग के नेताओं ने इस भावना को प्रतिध्वनित किया। क्रिस अनिस्ज़स्ज़क ऑफ क्लाउड नेटिव कंप्यूटिंग फाउंडेशन ने उल्लेख किया कि “रे और कुबेरनेट्स प्राकृतिक रूप से पूरक हैं,” जो ऑर्केस्ट्रेशन और वितरित कंप्यूटिंग की ताकत को एक साथ मिलाकर अगली पीढ़ी के एआई सिस्टम को शक्ति प्रदान करते हैं। उबर के इंजीनियरिंग के निदेशक, ज़िताओ ली, ने कहा कि रे पहले से ही उनके एआई प्लेटफ़ॉर्म का “मुख्य भाग” है, जो बड़े पैमाने पर प्रशिक्षण और डेटा प्रोसेसिंग को शक्ति प्रदान करता है। और मेटा के जो स्पिसाक, पाइटॉर्च फाउंडेशन बोर्ड के सदस्य, ने रे के समावेश को “ओपन सोर्स एआई के लिए एक महत्वपूर्ण मील का पत्थर” कहा, जोर देकर कहा कि यह एक एकीकृत, समुदाय-संचालित कंप्यूट स्टैक बनाता है।

आगे देखते हुए

अनिस्केल के सह-संस्थापक रॉबर्ट निशिहारा ने इस मील के पत्थर को संक्षेप में कहा:

“हमारा लक्ष्य वितरित कंप्यूटिंग को पाइथन कोड लिखने जितना सीधा बनाना है। पाइटॉर्च फाउंडेशन में शामिल होना सुनिश्चित करता है कि रे विकासकर्ताओं के लिए एक खुला, समुदाय-संचालित बैकबोन बना रहे।”

विकासकर्ता और योगदानकर्ता रे गिटहब रिपॉजिटरी के माध्यम से परियोजना के साथ जुड़ सकते हैं या रे समिट 2025 आप PyTorch समिट में हिस्सा ले सकते हैं, जो इस नवंबर में सैन फ्रांसिस्को में होगा, जहाँ कम्युनिटी AI स्केलेबिलिटी के भविष्य के लिए इस नए ओपन-सोर्स फाउंडेशन के मतलब और असर पर चर्चा करेगी।एक्सेसिबिलिटी।

असल में, रे का शामिल होना ओपन-सोर्स AI इकोसिस्टम में AI लेयर को पूरा करता है—मॉडलिंग, इंफरेंस और डिस्ट्रिब्यूटेड एग्जीक्यूशन को एक ही फाउंडेशन के तहत एक साथ लाता है। यह एक ऐसे भविष्य की ओर एक अहम कदम है जहां AI इंफ्रास्ट्रक्चर न केवल ज़्यादा पावरफुल होगा, बल्कि ज़्यादा ओपन, एफिशिएंट और डेवलपर-फ्रेंडली भी होगा।