पाइटॉर्च फाउंडेशन ने वितरित कंप्यूटिंग फ्रेमवर्क रे को एकीकृत किया, एक एकीकृत एआई इंफ्रास्ट्रक्चर स्टैक बनाने के लिए

ओपन सोर्स एआई पारिस्थितिकी तंत्र ने आज एक निर्णायक छलांग ली जब पाइटॉर्च फाउंडेशन ने घोषणा की कि रे, वितरित कंप्यूटिंग फ्रेमवर्क, जो मूल रूप से अनिस्केल द्वारा विकसित किया गया था, आधिकारिक तौर पर इसके रैंक में शामिल हो गया है। यह कदम एक एकीकृत, इंटरऑपरेबल और उत्पादन-तैयार एआई कंप्यूट स्टैक की दिशा में एक महत्वपूर्ण कदम है – जो मॉडल विकास (पाइटॉर्च), वितरित अनुमान (वीएलएलएम), और बड़े पैमाने पर निष्पादन (रे) के मूलभूत स्तरों को एक साथ जोड़ता है।

ओपन सोर्स एआई के लिए एक एकीकृत फाउंडेशन

लिनक्स फाउंडेशन के तहत होस्ट किया गया, पाइटॉर्च फाउंडेशन ओपन सोर्स एआई प्रौद्योगिकियों के लिए एक केंद्रीय केंद्र के रूप में कार्य करता है। इसका मिशन एआई विकास के हर चरण में विखंडन को कम करना और सहयोग को बढ़ावा देना है। रे को पाइटॉर्च और वीएलएलएम के साथ एकीकृत करके, फाउंडेशन उद्योग को वह दे रहा है जिसकी उसे लंबे समय से आवश्यकता थी – एक सुसंगत, अंत-से-अंत स्टैक जो एआई को बड़े पैमाने पर बनाने, प्रशिक्षित करने और तैनात करने के लिए है।
रे का समावेश भी वर्षों के शैक्षणिक और औद्योगिक विकास का परिणाम है। यूसी बर्कले के राइज़लैब में, रे को एआई और मशीन लर्निंग वर्कलोड के लिए वितरित कंप्यूटिंग को सरल बनाने के लिए डिज़ाइन किया गया था। यह डेवलपर्स को कोड को पुनः लिखे बिना या जटिल सिस्टम को प्रबंधित किए बिना एक लैपटॉप से लेकर हजारों मशीनों तक नौकरियों को स्केल करने में सक्षम बनाता है। आज, रे के पास 39,000 गिटहब स्टार और 214 मिलियन से अधिक डाउनलोड हैं, जो इसे दुनिया में सबसे व्यापक रूप से अपनाया जाने वाला वितरित कंप्यूटिंग फ्रेमवर्क बनाता है।

रे पाइटॉर्च और वीएलएलएम को कैसे पूरक बनाता है

रे प्रशिक्षण और अनुमान फ्रेमवर्क (जैसे पाइटॉर्च, डीपस्पीड, और वीएलएलएम) और कंटेनर ऑर्केस्ट्रेशन लेयर (जैसे कुबेरनेट्स या स्लर्म) के बीच बैठता है। यह स्थिति रे को वितरित कार्यभार को कुशलता से समन्वयित करने और मॉडल प्रशिक्षण और उत्पादन-स्तर की तैनाती के बीच की खाई को पाटने में सक्षम बनाती है।
रे की प्रमुख क्षमताएं शामिल हैं:

• मल्टीमॉडल डेटा प्रोसेसिंग: बड़े, विविध डेटासेट – पाठ, छवियों, ऑडियो, और वीडियो – को समानांतर में संभालता है, जिससे अधिकतम थ्रूपुट और कुशलता सुनिश्चित होती है।
• प्री-ट्रेनिंग और पोस्ट-ट्यूनिंग: पाइटॉर्च और अन्य फ्रेमवर्क को प्री-ट्रेनिंग और फाइन-ट्यूनिंग दोनों कार्यों के लिए हजारों जीपीयू पर स्केल करता है।
• वितरित अनुमान: उत्पादन में मॉडल तैनात करता है जिसमें उच्च थ्रूपुट और निम्न विलंबता होती है, जो विषम क्लस्टर में कार्यभार के फटने को गतिशील रूप से प्रबंधित करता है।

इन कार्यों के संयोजन से रे मॉडल निर्माण, अनुकूलन, और सेवा को एक साथ जोड़ने वाला “ग्लू” बन जाता है, जो आधुनिक एआई इंफ्रास्ट्रक्चर की वितरित कंप्यूट इंजन परत का गठन करता है।

विकासकर्ताओं और उद्यमों के लिए इसका क्या अर्थ है

आज की एआई-संचालित अर्थव्यवस्था में, संगठनों को स्केलिंग, विक्रेता लॉक-इन, और कंप्यूट इन效率 के आसपास भारी चुनौतियों का सामना करना पड़ता है। प्रोप्राइटरी सिस्टम अक्सर कार्य प्रवाह को खंडित करते हैं और नवाचार को धीमा करते हैं। रे के पाइटॉर्च फाउंडेशन में शामिल होने के साथ, डेवलपर्स को एक पूरी तरह से ओपन सोर्स, इंटरऑपरेबल कंप्यूट स्टैक मिलता है जो इनमें से कई दर्द बिंदुओं को समाप्त करता है।
जैसा कि मैट व्हाइट, लिनक्स फाउंडेशन में एआई के जीएम ने समझाया, यह सहयोग “अगली पीढ़ी के एआई सिस्टम बनाने के लिए आवश्यक महत्वपूर्ण घटकों को एक साथ लाता है।” एकीकरण डेवलपर्स को उन्नत एआई सिस्टम विकसित करने की अनुमति देता है – बड़े भाषा मॉडल से लेकर मल्टीमॉडल अनुप्रयोगों तक – बंद, प्रोप्राइटरी इंफ्रास्ट्रक्चर पर निर्भर किए बिना। इसके बजाय, डेवलपर्स एक पारिस्थितिकी तंत्र का उपयोग करके एआई मॉडल को प्रशिक्षित और तैनात कर सकते हैं जो स्केलेबल, मॉड्यूलर और समुदाय-संचालित है।

ओपन सोर्स एआई के लिए व्यापक प्रभाव

पाइटॉर्च, वीएलएलएम, और रे के बीच सहयोग ओपन कंप्यूट इंटरऑपरेबिलिटी के एक नए युग की ओर संकेत करता है। लिनक्स फाउंडेशन द्वारा तटस्थ शासन प्रदान करने के साथ, एआई उद्योग एक साझा बुनियादी ढांचे के विकास के लिए एक स्थायी मॉडल प्राप्त करता है – जैसे कुबेरनेट्स ने क्लाउड ऑर्केस्ट्रेशन को मानकीकृत किया है।
उद्योग के नेताओं ने इस भावना को प्रतिध्वनित किया। क्रिस अनिस्ज़स्ज़क ऑफ क्लाउड नेटिव कंप्यूटिंग फाउंडेशन ने उल्लेख किया कि “रे और कुबेरनेट्स प्राकृतिक रूप से पूरक हैं,” जो ऑर्केस्ट्रेशन और वितरित कंप्यूटिंग की ताकत को एक साथ मिलाकर अगली पीढ़ी के एआई सिस्टम को शक्ति प्रदान करते हैं। उबर के इंजीनियरिंग के निदेशक, ज़िताओ ली, ने कहा कि रे पहले से ही उनके एआई प्लेटफ़ॉर्म का “मुख्य भाग” है, जो बड़े पैमाने पर प्रशिक्षण और डेटा प्रोसेसिंग को शक्ति प्रदान करता है। और मेटा के जो स्पिसाक, पाइटॉर्च फाउंडेशन बोर्ड के सदस्य, ने रे के समावेश को “ओपन सोर्स एआई के लिए एक महत्वपूर्ण मील का पत्थर” कहा, जोर देकर कहा कि यह एक एकीकृत, समुदाय-संचालित कंप्यूट स्टैक बनाता है।

आगे देखते हुए

अनिस्केल के सह-संस्थापक रॉबर्ट निशिहारा ने इस मील के पत्थर को संक्षेप में कहा:

“हमारा लक्ष्य वितरित कंप्यूटिंग को पाइथन कोड लिखने जितना सीधा बनाना है। पाइटॉर्च फाउंडेशन में शामिल होना सुनिश्चित करता है कि रे विकासकर्ताओं के लिए एक खुला, समुदाय-संचालित बैकबोन बना रहे।”

विकासकर्ता और योगदानकर्ता रे गिटहब रिपॉजिटरी के माध्यम से परियोजना के साथ जुड़ सकते हैं या रे समिट 2025 में भाग ले सकते हैं, जो सैन फ्रांसिस्को में इस नवंबर में आयोजित किया जाएगा, जहां समुदाय एआई स्केलेबिलिटी और पहुंच के भविष्य के लिए इस नए ओपन सोर्स फाउंडेशन का अर्थ और探索 करेगा।

मूल रूप से, रे का समावेश ओपन सोर्स एआई पारिस्थितिकी तंत्र में缺失 परत को पूरा करता है – मॉडलिंग, अनुमान, और वितरित निष्पादन को एक ही फाउंडेशन के तहत एक साथ लाता है। यह एक ऐसे भविष्य की दिशा में एक निर्णायक कदम है जहां एआई इंफ्रास्ट्रक्चर न केवल अधिक शक्तिशाली है, बल्कि अधिक खुला, कुशल और विकासकर्ता-मित्र भी है।