उबेर का फाइबर एक नया वितरित एआई मॉडल प्रशिक्षण फ्रेमवर्क है

वेंचरबीट के अनुसार, उबेर में एआई शोधकर्ताओं ने हाल ही में एक पेपर अर्काइव में पोस्ट किया जिसमें वितरित एआई मॉडल के निर्माण में सहायता के लिए एक नई प्लेटफ़ॉर्म का विवरण दिया गया है। इस प्लेटफ़ॉर्म को फाइबर कहा जाता है, और इसका उपयोग दोनों प्रबलीकरण सीखने कार्यों और जनसंख्या-आधारित सीखने के लिए किया जा सकता है। फाइबर को बड़े पैमाने पर समांतर गणना को गैर-विशेषज्ञों के लिए अधिक सुलभ बनाने के लिए डिज़ाइन किया गया है, ताकि वे वितरित एआई एल्गोरिदम और मॉडल की शक्ति का लाभ उठा सकें।

फाइबर को हाल ही में गिटहब पर ओपन-सोर्स बनाया गया है, और यह पाइथन 3.6 या इसके ऊपर के संस्करणों के साथ संगत है, जिसमें लिनक्स सिस्टम पर कुबेरनेट्स चल रहा है और क्लाउड वातावरण में चल रहा है। शोधकर्ताओं की टीम के अनुसार, यह प्लेटफ़ॉर्म आसानी से सैकड़ों या हज़ारों व्यक्तिगत मशीनों तक स्केल अप करने में सक्षम है।

उबेर की शोधकर्ताओं की टीम के अनुसार, कृत्रिम बुद्धिमत्ता में हाल की सबसे महत्वपूर्ण और प्रासंगिक प्रगति वितरित प्रशिक्षण तकनीकों का उपयोग करके प्रशिक्षित बड़े मॉडल और अधिक एल्गोरिदम द्वारा चलाई गई है। हालांकि, जनसंख्या-आधारित मॉडल और प्रबलीकरण मॉडल बनाना वितरित प्रशिक्षण योजनाओं के लिए अभी भी एक कठिन काम है, क्योंकि उनमें अक्सर दक्षता और लचीलेपन के मुद्दे होते हैं। फाइबर क्लस्टर प्रबंधन सॉफ़्टवेयर को गतिशील स्केलिंग के साथ जोड़कर और उपयोगकर्ताओं को एक मशीन से कई मशीनों पर अपनी नौकरियों को स्थानांतरित करने की अनुमति देकर वितरित प्रणाली को अधिक विश्वसनीय और लचीला बनाता है।

फाइबर तीन अलग-अलग घटकों से बना होता है: एक एपीआई, एक बैकएंड, और एक क्लस्टर परत। एपीआई परत उपयोगकर्ताओं को क्यू, प्रबंधक, और प्रक्रियाओं जैसी चीजें बनाने की अनुमति देती है। फाइबर की बैकएंड परत उपयोगकर्ताओं को विभिन्न क्लस्टर द्वारा प्रबंधित नौकरियों को बनाने और समाप्त करने की अनुमति देती है, और क्लस्टर परत स्वयं क्लस्टर और उनके संसाधनों को प्रबंधित करती है, जो फाइबर को ट्रैक रखने के लिए कई वस्तुओं की संख्या को बहुत बढ़ाती है।

फाइबर नौकरियों को कतारबद्ध और दूरस्थ रूप से एक स्थानीय मशीन या कई मशीनों पर चलाने की अनुमति देता है, जो नौकरी-समर्थित प्रक्रियाओं की अवधारणा का उपयोग करता है। फाइबर कंटेनरों का भी उपयोग करता है ताकि यह सुनिश्चित किया जा सके कि इनपुट डेटा और निर्भर पैकेज स्व-निहित हैं। फाइबर फ्रेमवर्क में एक निर्मित त्रुटि हैंडलिंग भी शामिल है ताकि यदि एक कार्यकर्ता दुर्घटनाग्रस्त हो जाए तो इसे जल्दी से पुनर्जीवित किया जा सके। फाइबर यह सब करते हुए क्लस्टर प्रबंधकों के साथ बातचीत करता है, जिससे फाइबर ऐप्स एक दिए गए कंप्यूटर क्लस्टर पर सामान्य ऐप्स की तरह चलते हैं।

प्रायोगिक परिणामों से पता चला कि फाइबर का प्रतिक्रिया समय औसतन कुछ मिलीसेकंड था और यह 2,048 प्रोसेसर कोर/कार्यकर्ताओं के साथ निर्मित बेसलाइन एआई तकनीकों की तुलना में बेहतर स्केल करता है। नौकरियों को पूरा करने के लिए आवश्यक समय धीरे-धीरे कम हो गया क्योंकि कार्यकर्ताओं की संख्या बढ़ी। आईपीपैरेलल ने 50 प्रशिक्षण पुनरावृत्तियों को लगभग 1400 सेकंड में पूरा किया, जबकि फाइबर ने 512 कार्यकर्ताओं के साथ लगभग 50 सेकंड में उन्हीं 50 प्रशिक्षण पुनरावृत्तियों को पूरा किया।

फाइबर पेपर के सह-लेखक विवरण करते हैं कि फाइबर कई लक्ष्यों को प्राप्त करने में सक्षम है, जैसे कि विषम गणना हार्डवेयर की बड़ी मात्रा का कुशलता से उपयोग करना, एल्गोरिदम को गतिशील रूप से स्केल करना और संसाधन उपयोग की दक्षता में सुधार करना, और विभिन्न कंप्यूटिंग वातावरण में अनुकूलन करना:

“[हमारा काम दिखाता है] कि फाइबर कई लक्ष्यों को प्राप्त करता है, जिनमें विषम गणना हार्डवेयर की बड़ी मात्रा का कुशलता से उपयोग करना, एल्गोरिदम को गतिशील रूप से स्केल करना और संसाधन उपयोग की दक्षता में सुधार करना, और विभिन्न कंप्यूटिंग वातावरण में अनुकूलन करना शामिल है। हम उम्मीद करते हैं कि यह प्रबलीकरण सीखने की समस्याओं को हल करने में प्रगति को और बढ़ावा देगा, जो प्रबलीकरण सीखने एल्गोरिदम और जनसंख्या-आधारित तरीकों के साथ कठिन समस्याओं को हल करने के लिए आवश्यक पैमाने पर इन तरीकों को विकसित करने और प्रशिक्षित करने को आसान बनाकर।”