बड़े पैमाने पर वास्तविक दुनिया में एआई तैनाती को सक्षम करना

ब्रैड किंग, फील्ड सीटीओ द्वारा, Scality

एआई/एमएल और बड़े डेटा के उपकरणों में एक सामान्य सूत्र है - उन्हें डेटा की आवश्यकता होती है, और उन्हें इसकी बहुत आवश्यकता होती है। पारंपरिक ज्ञान कहता है कि जितना अधिक, उतना बेहतर। विश्लेषकों का अनुमान है कि वैश्विक डेटा सृजन बढ़ेगा 180 तक 2025 ज़ेटाबाइट्स से अधिक - और 2020 में, बनाए गए और दोहराए गए डेटा की मात्रा 64.2 ज़ेटाबाइट्स की नई ऊंचाई पर पहुंच गई।

वह डेटा बेहद मूल्यवान है - अक्सर अपूरणीय और कभी-कभी जीवन में एक बार या एक बार की घटनाओं का प्रतिनिधित्व करता है। इस डेटा को सुरक्षित रूप से संग्रहीत करने की आवश्यकता है; और जबकि यह अनुमान लगाया गया है कि इस नव निर्मित डेटा का केवल एक छोटा सा प्रतिशत ही बरकरार रखा गया है, भंडारण क्षमता की मांग बढ़ती जा रही है। वास्तव में, शोधकर्ताओं के अनुसार, भंडारण क्षमता का स्थापित आधार 19.2 और 2020 के बीच 2025% की चक्रवृद्धि वार्षिक वृद्धि दर से बढ़ने का अनुमान है। Statista.

अधिक डेटा बनाए जाने के साथ - विशेष रूप से इन एआई/एमएल वर्कलोड द्वारा - संगठनों को अधिक स्टोरेज की आवश्यकता होती है, लेकिन सभी स्टोरेज समाधान इन गहन और बड़े वर्कलोड को संभाल नहीं सकते हैं। भंडारण के लिए एक नए दृष्टिकोण की आवश्यकता है। आइए देखें कि संगठन तीन उपयोग मामलों के माध्यम से इन चुनौतियों पर कैसे काबू पा रहे हैं।

यात्रा उद्योग

जबकि हममें से कई लोग एक साल से अधिक समय के लॉकडाउन के बाद फिर से यात्रा करने के आदी हो रहे हैं, यात्रा उद्योग बड़े पैमाने पर पूर्व-महामारी के समय में वापस जाने की कोशिश कर रहा है। और यह डेटा के महत्व को - विशेष रूप से, उस डेटा का प्रासंगिक अनुप्रयोग और उपयोग - और भी अधिक महत्वपूर्ण बना रहा है।

कल्पना करें कि आप यह जानकर क्या कर सकते हैं कि दुनिया के अधिकांश एयरलाइन यात्री अगली यात्रा कहाँ करने वाले हैं या वे कल कहाँ जा रहे हैं। उदाहरण के लिए, किसी ट्रैवल एजेंसी के लिए यह बहुत बड़ी बात होगी।

लेकिन ये यात्रा संगठन इतने अधिक डेटा के साथ काम कर रहे हैं कि इसके माध्यम से यह पता लगाना कि क्या सार्थक है, एक जबरदस्त संभावना है। प्रत्येक दिन लगभग एक पेटाबाइट डेटा उत्पन्न होता है, और कुछ डेटा कायाक जैसी साइटों द्वारा डुप्लिकेट किया जाता है। यह डेटा समय-संवेदनशील है, और ट्रैवल कंपनियों को तुरंत पता लगाने की आवश्यकता है कि कौन सा डेटा सार्थक है। उन्हें इस स्तर के पैमाने को अधिक प्रभावी ढंग से प्रबंधित करने में सक्षम होने के लिए एक उपकरण की आवश्यकता है।

ऑटोमोबाइल उद्योग

एक अन्य उदाहरण ऑटोमोबाइल उद्योग से आता है, जो निश्चित रूप से सबसे अधिक चर्चित उपयोग मामलों में से एक है। उद्योग लंबे समय से लेन माइंडर्स, टकराव से बचाव और इसी तरह के सहायक उपकरणों पर कड़ी मेहनत कर रहा है। ये सभी सेंसर बड़ी मात्रा में डेटा ला रहे हैं। और, निस्संदेह, वे सेल्फ-ड्राइविंग एल्गोरिदम का विकास, परीक्षण और सत्यापन कर रहे हैं।

उद्योग को इस संग्रहीत डेटा को समझने का एक बेहतर तरीका चाहिए ताकि वे इसका उपयोग उन घटनाओं का विश्लेषण करने के लिए कर सकें जहां कुछ गलत हुआ, परीक्षण मामले के रूप में सेंसर आउटपुट को क्यूरेट करें, सेंसर डेटा के खिलाफ एल्गोरिदम का परीक्षण करें और बहुत कुछ। प्रतिगमन से बचने के लिए उन्हें क्यूए परीक्षण की आवश्यकता है, और उन्हें विफल होने वाले मामलों का दस्तावेजीकरण करने की आवश्यकता है।

डिजिटल पैथोलॉजी

एआई/एमएल के लिए एक और दिलचस्प उपयोग का मामला जो डेटा की बाढ़ से भी जूझ रहा है और डेटा का बेहतर उपयोग करने की आवश्यकता है वह है डिजिटल पैथोलॉजी। अन्य उदाहरणों की तरह, उन्हें वास्तव में इस डेटा का बेहतर उपयोग करने की क्षमता की आवश्यकता है ताकि वे ऊतक नमूनों में स्वचालित रूप से विकृति का पता लगाने, दूरस्थ निदान करने आदि जैसी चीजें कर सकें।

लेकिन भंडारण आज उपयोग को सीमित कर रहा है। उपयोगी रिज़ॉल्यूशन वाली छवियां आर्थिक रूप से संग्रहीत करने के लिए बहुत बड़ी हैं। हालाँकि, तेज़ ऑब्जेक्ट भंडारण नई क्षमताओं को सक्षम करेगा - जैसे छवि बैंक जिन्हें एक प्रमुख प्रशिक्षण संसाधन के रूप में उपयोग किया जा सकता है और किसी ऑब्जेक्ट स्टोर में मल्टीरिज़ॉल्यूशन छवियों को नाम/स्टोर करने और पुनर्प्राप्त करने के लिए स्पेस-फिलिंग कर्व्स का उपयोग किया जा सकता है। यह एक्स्टेंसिबल और लचीली मेटाडेटा टैगिंग को भी सक्षम बनाता है, जिससे इस जानकारी को खोजना और समझना आसान हो जाता है।

एआई कार्यभार के लिए एक नए दृष्टिकोण की आवश्यकता है

जैसा कि हमने उपरोक्त तीन मामलों में देखा है, एआई/एमएल वर्कलोड से संबंधित बड़ी मात्रा में डेटा को एकत्रित और व्यवस्थित करने में सक्षम होना महत्वपूर्ण है। डेटा सेट अक्सर मल्टी-पेटाबाइट पैमाने तक पहुंचते हैं, प्रदर्शन की मांग के साथ जो पूरे बुनियादी ढांचे को संतृप्त कर सकता है। ऐसे बड़े पैमाने पर प्रशिक्षण और परीक्षण डेटा सेट से निपटने के दौरान, भंडारण बाधाओं (विलंबता और/या थ्रूपुट मुद्दे) और क्षमता सीमाएं/बाधाओं पर काबू पाना सफलता के लिए प्रमुख तत्व हैं।

एआई/एमएल/डीएल वर्कलोड के लिए एक स्टोरेज आर्किटेक्चर की आवश्यकता होती है जो उत्कृष्ट कच्चे I/O प्रदर्शन और क्षमता स्केलिंग क्षमता दोनों के साथ पाइपलाइन के माध्यम से डेटा प्रवाहित रख सके। भंडारण बुनियादी ढांचे को एआई/एमएल/डीएल पाइपलाइन के सभी चरणों में बढ़ती मांग वाली आवश्यकताओं के साथ तालमेल रखना चाहिए। समाधान एक भंडारण बुनियादी ढांचा है जो विशेष रूप से गति और असीमित पैमाने के लिए बनाया गया है।

मूल्य निकालना

व्यावसायिक प्रक्रियाओं और रोजमर्रा की जिंदगी को बदलने के लिए एआई और एमएल की क्षमता के बारे में कहानियों के बिना एक सप्ताह भी नहीं गुजरता। ऐसे कई उपयोग के मामले हैं जो इन प्रौद्योगिकियों के उपयोग के लाभों को स्पष्ट रूप से प्रदर्शित करते हैं। हालाँकि, आज उद्यम में एआई की वास्तविकता अत्यधिक बड़े डेटा सेट और भंडारण समाधानों में से एक है जो इन बड़े कार्यभार का प्रबंधन नहीं कर सकते हैं। ऑटोमोबाइल, स्वास्थ्य सेवा और कई अन्य उद्योगों में नवाचार तब तक आगे नहीं बढ़ सकते जब तक कि भंडारण का मुद्दा हल न हो जाए। फास्ट ऑब्जेक्ट स्टोरेज बड़े डेटा को बनाए रखने की चुनौती पर काबू पाता है ताकि संगठन अपने व्यवसाय को आगे बढ़ाने के लिए इस डेटा से मूल्य निकाल सकें।