उबर का फाइबर एक नया वितरित एआई मॉडल प्रशिक्षण ढांचा है

वेंचरबीट के अनुसार, उबर के एआई शोधकर्ताओं ने हाल ही में पोस्ट किया है अर्क्सिव के लिए एक पेपर वितरित एआई मॉडल के निर्माण में सहायता करने के उद्देश्य से एक नए मंच की रूपरेखा तैयार करना। मंच कहा जाता है फाइबर, और इसका उपयोग सुदृढीकरण सीखने के कार्यों और जनसंख्या-आधारित शिक्षा दोनों को चलाने के लिए किया जा सकता है। फ़ाइबर को बड़े पैमाने पर समानांतर गणना को गैर-विशेषज्ञों के लिए अधिक सुलभ बनाने के लिए डिज़ाइन किया गया है, जिससे वे वितरित एआई एल्गोरिदम और मॉडल की शक्ति का लाभ उठा सकें।

फाइबर को हाल ही में GitHub पर ओपन-सोर्स बनाया गया है, और यह Python 3.6 या इसके बाद के संस्करण के साथ संगत है, Kubernetes लिनक्स सिस्टम पर चल रहा है और क्लाउड वातावरण में चल रहा है। शोधकर्ताओं की टीम के अनुसार, प्लेटफ़ॉर्म सैकड़ों या हजारों व्यक्तिगत मशीनों तक आसानी से स्केल करने में सक्षम है।

उबर के शोधकर्ताओं की टीम बताती है कि कृत्रिम बुद्धिमत्ता में सबसे हालिया और प्रासंगिक प्रगति बड़े मॉडल और अधिक एल्गोरिदम द्वारा संचालित की गई है जिन्हें वितरित प्रशिक्षण तकनीकों का उपयोग करके प्रशिक्षित किया जाता है। हालाँकि, वितरित प्रशिक्षण योजनाओं के लिए जनसंख्या-आधारित मॉडल और सुदृढीकरण मॉडल बनाना एक कठिन कार्य बना हुआ है, क्योंकि उनमें अक्सर दक्षता और लचीलेपन के मुद्दे होते हैं। फ़ाइबर क्लस्टर प्रबंधन सॉफ़्टवेयर को गतिशील स्केलिंग के साथ जोड़कर वितरित प्रणाली को अधिक विश्वसनीय और लचीला बनाता है और उपयोगकर्ताओं को अपनी नौकरियों को एक मशीन से बड़ी संख्या में मशीनों में निर्बाध रूप से स्थानांतरित करने देता है।

फाइबर तीन अलग-अलग घटकों से बना है: एक एपीआई, एक बैकएंड और एक क्लस्टर परत। एपीआई परत उपयोगकर्ताओं को कतार, प्रबंधक और प्रक्रियाएं जैसी चीजें बनाने में सक्षम बनाती है। फ़ाइबर की बैकएंड परत उपयोगकर्ता को विभिन्न समूहों द्वारा प्रबंधित की जा रही नौकरियों को बनाने और समाप्त करने की सुविधा देती है, और क्लस्टर परत व्यक्तिगत समूहों को उनके संसाधनों के साथ स्वयं प्रबंधित करती है, जो कि फ़ाइबर को जिन वस्तुओं पर नज़र रखनी होती है, उनकी संख्या बहुत अधिक होती है।

फ़ाइबर जॉब-समर्थित प्रक्रियाओं की अवधारणा का उपयोग करते हुए, नौकरियों को कतारबद्ध करने और एक स्थानीय मशीन या कई अलग-अलग मशीनों पर दूरस्थ रूप से चलाने में सक्षम बनाता है। फ़ाइबर कंटेनरों का उपयोग यह सुनिश्चित करने के लिए भी करता है कि इनपुट डेटा और आश्रित पैकेज जैसी चीज़ें स्व-निहित हैं। फ़ाइबर फ़्रेमवर्क में अंतर्निहित त्रुटि प्रबंधन भी शामिल है ताकि यदि कोई कर्मचारी दुर्घटनाग्रस्त हो जाए तो उसे तुरंत पुनर्जीवित किया जा सके। FIber क्लस्टर प्रबंधकों के साथ बातचीत करते हुए यह सब करने में सक्षम है, फ़ाइबर ऐप्स को ऐसे चलने देता है जैसे कि वे किसी दिए गए कंप्यूटर क्लस्टर पर चलने वाले सामान्य ऐप हों।

प्रायोगिक परिणामों से पता चला कि औसतन फ़ाइबर का प्रतिक्रिया समय कुछ मिलीसेकंड था और 2,048 प्रोसेसर कोर/वर्कर्स के साथ निर्मित होने पर यह बेसलाइन एआई तकनीकों से भी बेहतर हो गया। जैसे-जैसे श्रमिकों की निर्धारित संख्या में वृद्धि हुई, कार्यों को पूरा करने के लिए आवश्यक समय की अवधि धीरे-धीरे कम होती गई। IPyParallel ने प्रशिक्षण के 50 पुनरावृत्तियों को लगभग 1400 सेकंड में पूरा किया, जबकि फ़ाइबर 50 श्रमिकों की उपलब्धता के साथ प्रशिक्षण के समान 50 पुनरावृत्तियों को लगभग 512 सेकंड में पूरा करने में सक्षम था।

फ़ाइबर पेपर के सह-लेखक समझाना फाइबर गतिशील रूप से स्केलिंग एल्गोरिदम और बड़ी मात्रा में कंप्यूटिंग शक्ति का उपयोग करने जैसे कई लक्ष्यों को प्राप्त करने में सक्षम है:

"[हमारा काम दिखाता है] कि फाइबर कई लक्ष्यों को प्राप्त करता है, जिसमें बड़ी मात्रा में विषम कंप्यूटिंग हार्डवेयर का कुशलतापूर्वक लाभ उठाना, संसाधन उपयोग दक्षता में सुधार के लिए एल्गोरिदम को गतिशील रूप से स्केल करना, [सुदृढीकरण सीखने] और जनसंख्या-आधारित एल्गोरिदम पर काम करने के लिए आवश्यक इंजीनियरिंग बोझ को कम करना शामिल है। कंप्यूटर क्लस्टर, और अनुसंधान दक्षता में सुधार के लिए विभिन्न कंप्यूटिंग वातावरणों को शीघ्रता से अपनाना। हम उम्मीद करते हैं कि यह [सुदृढीकरण सीखने] एल्गोरिदम और जनसंख्या-आधारित तरीकों के साथ कठिन [सुदृढीकरण सीखने] समस्याओं को हल करने में प्रगति को सक्षम करेगा, जिससे इन तरीकों को विकसित करना और उन्हें वास्तव में चमकने के लिए आवश्यक पैमाने पर प्रशिक्षित करना आसान हो जाएगा।