एआई मॉडल और प्लेटफ़ॉर्म
जूलियन रेबेटेज, पिक्टेरा में लीड मशीन लर्निंग इंजीनियर – साक्षात्कार श्रृंखला
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
जूलियन रेबेटेज, पिक्टेरा में लीड सॉफ्टवेयर और मशीन लर्निंग इंजीनियर हैं। पिक्टेरा एक जियोस्पेशियल क्लाउड-आधारित प्लेटफ़ॉर्म प्रदान करता है जो गहरे शिक्षण आधारित डिटेक्टरों को तेज़ी से और सुरक्षित रूप से प्रशिक्षित करने के लिए विशेष रूप से डिज़ाइन किया गया है।
बिना एक भी कोड लाइन और केवल कुछ मानव-निर्मित एनोटेशन के साथ, पिक्टेरा के उपयोगकर्ता अभिनव और तैयार करने योग्य गहरे शिक्षण मॉडल बनाते और तैनात करते हैं।
यह उपग्रह और हवाई इमेजरी के विश्लेषण को स्वचालित करता है, जिससे उपयोगकर्ता वस्तुओं और पैटर्न की पहचान कर सकते हैं।
आपको मशीन लर्निंग और एआई में आकर्षित क्या है?
मैंने प्रोग्रामिंग शुरू की क्योंकि मैं वीडियो गेम बनाना चाहता था और पहले कंप्यूटर ग्राफिक्स में रुचि ली। इससे मुझे कंप्यूटर विजन में ले जाया गया, जो कि एक प्रक्रिया है जहां आप कंप्यूटर को वास्तविक वातावरण को समझने के लिए प्रोग्राम करते हैं। अपने अध्ययन के दौरान, मैंने कुछ मशीन लर्निंग पाठ्यक्रम लिए और मुझे कंप्यूटर विजन के कोण से मशीन लर्निंग में रुचि हो गई। मुझे लगता है कि मशीन लर्निंग के बारे में दिलचस्प बात यह है कि यह सॉफ्टवेयर इंजीनियरिंग, एल्गोरिदम और गणित के बीच के इंटरफ़ेस पर है, और जब यह काम करता है तो यह अभी भी जादुई लगता है।
आप कई वर्षों से उपग्रह इमेजरी का विश्लेषण करने के लिए मशीन लर्निंग का उपयोग कर रहे हैं। आपका पहला परियोजना क्या था?
मेरा पहला उपग्रह इमेजरी के साथ अनुभव टेरा-आई परियोजना (वनस्पति विनाश का पता लगाने के लिए) था, जिस पर मैंने अपने अध्ययन के दौरान काम किया था। मुझे यह देखकर आश्चर्य हुआ कि विभिन्न अंतरिक्ष एजेंसियों (नासा, ईएसए, आदि) द्वारा उत्पादित मुफ्त उपग्रह डेटा की मात्रा कितनी अधिक है। आप प्रतिदिन या लगभग हर दिन पूरे ग्रह की नियमित छवियां मुफ्त में प्राप्त कर सकते हैं, और यह कई वैज्ञानिक अनुप्रयोगों के लिए एक महान संसाधन है।
क्या आप टेरा-आई परियोजना के बारे में अधिक जानकारी साझा कर सकते हैं?
टेरा-आई परियोजना (http://terra-i.org/terra-i.html) की शुरुआत प्रोफेसर एंड्रेज़ पेरेज़-उरीबे द्वारा की गई थी, जो हेईजी-वीडी (स्विट्जरलैंड) से हैं, और अब इसे लुईस रेमंडिन द्वारा सीआईएटी (कोलम्बिया) से चलाया जा रहा है। परियोजना का विचार मुफ्त उपग्रह छवियों का उपयोग करके वनस्पति विनाश का पता लगाना है। उस समय, हमने मॉडिस इमेजरी (250मी पिक्सेल रिज़ॉल्यूशन) के साथ काम किया क्योंकि यह एक समान और अनुमानित कवरेज (स्थानिक और समयिक दोनों) प्रदान करता था। हमें प्रत्येक पिक्सेल के लिए कुछ दिनों में एक माप मिलता था, और इस माप की समय श्रृंखला से, आप असामान्यताओं या नावेल्टी का पता लगाने का प्रयास कर सकते हैं जैसा कि हम उन्हें कभी-कभी एमएल में कहते हैं।
यह परियोजना बहुत दिलचस्प थी क्योंकि उस समय डेटा की मात्रा एक चुनौती थी, और इसमें कई सॉफ्टवेयर इंजीनियरिंग शामिल थी ताकि यह कई कंप्यूटरों पर काम कर सके। एमएल के दृष्टिकोण से, यह बेयसियन न्यूरल नेटवर्क (उस समय बहुत गहरा नहीं) का उपयोग करके पिक्सेल की समय श्रृंखला की भविष्यवाणी करने के लिए किया गया था। यदि माप भविष्यवाणी से मेल नहीं खाता था, तो हमें एक असामान्यता मिलती थी।
इस परियोजना के हिस्से के रूप में, मैंने बादल हटाने पर भी काम किया। हमने एक पारंपरिक सिग्नल प्रोसेसिंग दृष्टिकोण का उपयोग किया, जहां आपके पास एक समय श्रृंखला के माप होते हैं और उनमें से कुछ पूरी तरह से बादल के कारण बंद हो जाते हैं। हमने एक फोरियर-आधारित दृष्टिकोण (एचएएनटीएस) का उपयोग करके समय श्रृंखला को साफ करने के लिए किया, इससे पहले कि हम इसमें असामान्यताओं का पता लगाते। एक कठिनाई यह थी कि यदि हम इसे बहुत मजबूती से साफ करते हैं, तो हम असामान्यताओं को भी हटा देंगे, इसलिए पैरामीटर को सही ढंग से खोजने के लिए कई प्रयोग करने पड़े।
आपने हवाई (ड्रोन) इमेजरी से फसल प्रकार वर्गीकरण के लिए एक गहरे शिक्षण प्रणाली को डिजाइन और लागू किया। उस समय मुख्य चुनौतियां क्या थीं?
यह मेरा पहला वास्तविक गहरे शिक्षण एक्सपोजर था। उस समय, मुझे लगता है कि मुख्य चुनौतियां फ्रेमवर्क को चलाने और सही ढंग से जीपीयू का उपयोग करने से अधिक थीं niż खुद एमएल। हमने थेनो का उपयोग किया, जो टेंसरफ्लो के पूर्ववर्ती में से एक था।
परियोजना का लक्ष्य फील्ड में फसल के प्रकार को वर्गीकृत करना था, ड्रोन इमेजरी से। हमने एक दृष्टिकोण का प्रयास किया जहां गहरे शिक्षण मॉडल रंग हिस्टोग्राम का उपयोग इनपुट के रूप में करता था, न कि केवल कच्ची छवि। इसे उचित रूप से तेजी से काम करने के लिए, मुझे एक कस्टम थेनो लेयर लागू करनी पड़ी, जीपीयू कोड तक। यह एक अच्छा सीखने का अनुभव था और गहरे शिक्षण के तकनीकी विवरण में गहराई से जाने का एक अच्छा तरीका था।
आप पिक्टेरा में लीड सॉफ्टवेयर और मशीन लर्निंग इंजीनियर हैं। अपने दैनिक कार्यों का वर्णन करें।
यह वास्तव में भिन्न होता है, लेकिन अधिकांश समय प्रणाली और उत्पाद के समग्र आर्किटेक्चर पर नजर रखने और विभिन्न हितधारकों के साथ संवाद करने में व्यतीत होता है। हालांकि एमएल हमारे व्यवसाय के केंद्र में है, आप जल्दी से महसूस करते हैं कि अधिकांश समय एमएल पर नहीं बिताया जाता है, बल्कि इसके आसपास की सभी चीजों पर: डेटा प्रबंधन, बुनियादी ढांचा, यूआई/यूएक्स, प्रोटोटाइप, उपयोगकर्ता को समझना, आदि। यह शिक्षा या पिछले अनुभव में बड़ी कंपनियों में से एक विशिष्ट समस्या पर अधिक केंद्रित होने से बहुत अलग है।
पिक्टेरा के बारे में दिलचस्प बात यह है कि हम न केवल उपयोगकर्ताओं के लिए गहरे शिक्षण मॉडल चलाते हैं, बल्कि हम उन्हें स्वयं प्रशिक्षित करने की अनुमति देते हैं। यह अधिकांश एमएल वर्कफ्लो से अलग है, जहां एमएल टीम एक मॉडल को प्रशिक्षित करती है और फिर इसे उत्पादन में प्रकाशित करती है। इसका मतलब है कि हम मैन्युअल रूप से प्रशिक्षण पैरामीटर के साथ खिलवाड़ नहीं कर सकते हैं जैसा कि आप अक्सर करते हैं। हमें एक प्रशिक्षण विधि खोजनी होगी जो हमारे सभी उपयोगकर्ताओं के लिए काम करेगी। यह हमें अपने ‘प्रयोग ढांचे’ का निर्माण करने के लिए प्रेरित किया, जो डेटासेट का एक बड़ा भंडार है जो हमारे उपयोगकर्ताओं द्वारा प्लेटफ़ॉर्म पर निर्मित प्रशिक्षण डेटा का अनुकरण करता है। हम फिर इन डेटासेट के खिलाफ प्रशिक्षण पद्धति में परिवर्तनों का परीक्षण कर सकते हैं और मूल्यांकन कर सकते हैं कि क्या वे मदद करते हैं या नहीं। इसलिए, हम एक एकल मॉडल का मूल्यांकन नहीं कर रहे हैं, बल्कि हम एक वास्तुकला + प्रशिक्षण पद्धति का मूल्यांकन कर रहे हैं।
एक अन्य चुनौती यह है कि हमारे उपयोगकर्ता एमएल प्रैक्टिशनर नहीं हैं, इसलिए उन्हें पता नहीं है कि प्रशिक्षण सेट क्या है, लेबल क्या है, आदि। गैर-एमएल प्रैक्टिशनरों को डेटासेट बनाने और एमएल मॉडल को प्रशिक्षित करने की अनुमति देने वाला यूआई बनाना एक निरंतर चुनौती है, और एमएल टीम और यूएक्स टीम के बीच बहुत सारे आगे-पीछे होते हैं ताकि यह सुनिश्चित किया जा सके कि हम उपयोगकर्ताओं को सही दिशा में मार्गदर्शन कर रहे हैं।
कुछ दिलचस्प परियोजनाओं के बारे में बताएं जिन पर आप काम कर चुके हैं।
मुझे लगता है कि पिक्टेरा में सबसे दिलचस्प परियोजना कस्टम डिटेक्टर प्रोटोटाइप थी। 1.5 साल पहले, हमारे पास प्लेटफ़ॉर्म पर निर्मित डिटेक्टर थे: वे डिटेक्टर थे जिन्हें हमने स्वयं प्रशिक्षित किया था और उपयोगकर्ताओं के लिए उपलब्ध कराया था। उदाहरण के लिए, हमारे पास एक इमारत डिटेक्टर, एक कार डिटेक्टर, आदि था।
यह वास्तव में एमएल वर्कफ्लो है: आपके पास एक एमएल इंजीनियर है जो एक विशिष्ट मामले के लिए एक मॉडल विकसित करता है और फिर इसे अपने ग्राहकों को परोसता है।
लेकिन हम कुछ अलग करना चाहते थे और सीमाओं को थोड़ा धक्का देना चाहते थे। इसलिए हमने कहा, “क्या होगा अगर हम उपयोगकर्ताओं को सीधे प्लेटफ़ॉर्म पर अपने मॉडल को प्रशिक्षित करने की अनुमति दें?” कई चुनौतियां थीं जिन्हें काम करने के लिए मिलाना था: पहले, हम नहीं चाहते थे कि यह कई घंटे ले। यदि आप इंटरैक्टिव महसूस करना चाहते हैं, तो प्रशिक्षण को कुछ मिनटों में होना चाहिए। दूसरा, हमें हजारों एनोटेशन की आवश्यकता नहीं थी, जो आमतौर पर बड़े गहरे शिक्षण मॉडल के लिए आवश्यक होते हैं।
तो हम एक बहुत ही सरल मॉडल से शुरू किए, जूपिटर में कुछ परीक्षण किए, और फिर इसे हमारे प्लेटफ़ॉर्म में एकीकृत करने और पूरे वर्कफ्लो का परीक्षण करने का प्रयास किया। शुरू में, यह अधिकांश मामलों में बहुत अच्छा नहीं था, लेकिन कुछ मामलों में यह काम करता था। इससे हमें उम्मीद मिली और हम प्रशिक्षण पद्धति और मॉडल पर पुनरावृत्ति करना शुरू किया। कुछ महीनों के बाद, हम एक बिंदु पर पहुंच गए जहां यह अच्छा काम करता था, और अब हमारे पास उपयोगकर्ता हैं जो इसे लगातार उपयोग कर रहे हैं।
इसमें दिलचस्प बात यह थी कि प्रशिक्षण को तेजी से (वर्तमान में कुछ मिनट) और इसलिए मॉडल को जटिल नहीं बनाने की दोहरी चुनौती, लेकिन साथ ही यह पर्याप्त जटिल बनाने की चुनौती थी ताकि यह काम करे और उपयोगकर्ताओं की समस्याओं का समाधान करे। इसके अलावा, यह कुछ (<100) लेबल के साथ अधिकांश मामलों में काम करता है।
हमने गूगल के “मशीन लर्निंग के नियमों” को भी लागू किया, विशेष रूप से उन लोगों को जो पूरे पाइपलाइन और मेट्रिक्स को मॉडल को अनुकूलित करने से पहले लागू करने के बारे में हैं। यह आपको ‘सिस्टम थिंकिंग’ मोड में डालता है जहां आप यह पता लगाते हैं कि आपकी सभी समस्याओं को कोर एमएल द्वारा संभाला नहीं जाना चाहिए, बल्कि कुछ समस्याओं को यूआई, प्री-पोस्ट-प्रोसेसिंग, आदि में धकेला जा सकता है।
पिक्टेरा में उपयोग की जाने वाली कुछ मशीन लर्निंग प्रौद्योगिकियों के बारे में बताएं।
उत्पादन में, हम वर्तमान में पाइटोर्च का उपयोग करके अपने मॉडल को प्रशिक्षित और चला रहे हैं। हम टेंसरफ्लो का भी उपयोग करते हैं, कभी-कभी कुछ विशिष्ट मॉडलों के लिए जो ग्राहकों के लिए विकसित किए गए हैं। इसके अलावा, यह एक मानक वैज्ञानिक पायथन स्टैक (नंपी, साइपी) है जिसमें कुछ जियोस्पेशियल लाइब्रेरी (जीडीएल) शामिल हैं।
क्या आप बता सकते हैं कि पिक्टेरा कैसे काम करता है जब कोई उपयोगकर्ता छवियां अपलोड करता है और तंत्रिका नेटवर्क को वस्तुओं को ठीक से अनnotate करने के लिए प्रशिक्षित करना चाहता है?
हाँ, तो जब आप एक छवि अपलोड करते हैं, तो हम इसे संसाधित करते हैं और इसे एक “क्लाउड-ओप्टिमाइज्ड-जियोटिफ” (सीओजी) प्रारूप में हमारे ब्लोबस्टोर (गूगल क्लाउड स्टोरेज) पर संग्रहीत करते हैं, जो हमें बाद में पूरी छवि को डाउनलोड किए बिना छवि के ब्लॉक तक जल्दी से पहुंचने की अनुमति देता है। यह एक महत्वपूर्ण बिंदु है क्योंकि जियोस्पेशियल इमेजरी बहुत बड़ी हो सकती है: हमारे पास नियमित रूप से 50,000×50,000 छवियों के साथ काम करने वाले उपयोगकर्ता हैं।
तो फिर, अपने मॉडल को प्रशिक्षित करने के लिए, आपको हमारे वेब यूआई के माध्यम से अपने प्रशिक्षण डेटासेट बनाना होगा। आप तीन प्रकार के क्षेत्रों को परिभाषित करके ऐसा करेंगे:
- ‘प्रशिक्षण क्षेत्र’, जहां आप प्रशिक्षण लेबल बनाएंगे
- ‘परीक्षण क्षेत्र’, जहां मॉडल भविष्यवाणी करेगा ताकि आप कुछ परिणाम देख सकें
- ‘सटीकता क्षेत्र’, जहां आप लेबल बनाएंगे लेकिन वे प्रशिक्षण के लिए नहीं बल्कि स्कोरिंग के लिए उपयोग किए जाएंगे
एक बार जब आप इस डेटासेट को बना लेते हैं, तो आप बस ‘प्रशिक्षित’ पर क्लिक कर सकते हैं और हम आपके लिए एक डिटेक्टर को प्रशिक्षित करेंगे। जो आगे होता है वह यह है कि हम एक प्रशिक्षण नौकरी को कतारबद्ध करते हैं, एक जीपीयू वर्कर इसे उठाता है (यदि कई समकालिक नौकरियां हैं तो नए जीपीयू वर्कर स्वचालित रूप से शुरू हो जाते हैं), आपका मॉडल प्रशिक्षित करता है, इसके वजन को ब्लोबस्टोर में सहेजता है और अंत में ‘परीक्षण क्षेत्र’ में भविष्यवाणी करता है ताकि यूआई पर प्रदर्शित किया जा सके। वहां से, आप अपने मॉडल पर पुनरावृत्ति कर सकते हैं। आमतौर पर, आप ‘परीक्षण क्षेत्र’ में कुछ गलतियां देखेंगे और ‘प्रशिक्षण क्षेत्र’ जोड़ने के लिए उन्हें सुधारने में मदद करेंगे।
एक बार जब आप अपने मॉडल से संतुष्ट हो जाते हैं, तो आप इसे बड़े पैमाने पर चला सकते हैं। उपयोगकर्ता के दृष्टिकोण से, यह वास्तव में सरल है: बस उस छवि पर ‘डिटेक्ट’ पर क्लिक करें जिस पर आप इसे चलाना चाहते हैं। लेकिन यदि छवि बड़ी है तो यह थोड़ा अधिक जटिल है। इसे तेजी से करने के लिए, विफलताओं को संभालने के लिए और यह सुनिश्चित करने के लिए कि पता लगाने में कई घंटे नहीं लगते हैं, हम बड़े पता लगाने को ग्रिड सेल में तोड़ देते हैं और प्रत्येक सेल के लिए एक स्वतंत्र पता लगाने वाली नौकरी चलाते हैं। यह हमें बहुत बड़े पैमाने पर पता लगाने की अनुमति देता है। उदाहरण के लिए, हमारे पास एक ग्राहक था जिसने डेनमार्क की पूरी छवि पर 25 सेमी इमेजरी पर पता लगाने का काम किया था, जो टीबी के डेटा की सीमा में है – एक परियोजना के लिए। हमने इसी तरह की एक परियोजना को इस माध्यम पोस्ट में कवर किया है।
क्या पिक्टेरा के बारे में और कुछ है जो आप साझा करना चाहेंगे?
मुझे लगता है कि पिक्टेरा के बारे में जो महान है वह यह है कि यह एक अद्वितीय उत्पाद है, एमएल और जियोस्पेशियल के बीच के इंटरफ़ेस पर। जो हमें अन्य कंपनियों से अलग करता है जो जियोस्पेशियल डेटा को संसाधित करती हैं वह यह है कि हम अपने उपयोगकर्ताओं को एक स्व-सेवा प्लेटफ़ॉर्म प्रदान करते हैं। वे आसानी से स्थानों का पता लगा सकते हैं, पैटर्न का विश्लेषण कर सकते हैं और उपग्रह इमेजरी पर वस्तुओं का पता लगा और गिन सकते हैं। यह मशीन लर्निंग के बिना असंभव होगा, लेकिन हमारे उपयोगकर्ताओं को बुनियादी कोडिंग कौशल की भी आवश्यकता नहीं है – प्लेटफ़ॉर्म कुछ मानव-निर्मित एनोटेशन के आधार पर काम करता है। जो लोग जियोस्पेशियल डोमेन में मशीन लर्निंग के मूल सिद्धांतों को सीखना चाहते हैं, हमने एक व्यापक ऑनलाइन पाठ्यक्रम शुरू किया है।
जो और उल्लेख करने योग्य है वह यह है कि पिक्टेरा के संभावित अनुप्रयोग अंतहीन हैं – प्लेटफ़ॉर्म पर निर्मित डिटेक्टरों का उपयोग शहर प्रबंधन, सटीक कृषि, वन प्रबंधन, मानवतावादी और आपदा जोखिम प्रबंधन, खेती, आदि में किया गया है, कुछ सबसे सामान्य अनुप्रयोगों का उल्लेख करने के लिए। हम वास्तव में हर दिन आश्चर्यचकित होते हैं कि हमारे उपयोगकर्ता हमारे प्लेटफ़ॉर्म के साथ क्या करने की कोशिश कर रहे हैं। आप इसे आजमा सकते हैं और सोशल मीडिया पर हमें बता सकते हैं कि यह कैसे काम करता है।
साक्षात्कार के लिए धन्यवाद और पिक्टेरा कितना शक्तिशाली है यह साझा करने के लिए, पाठक जो अधिक जानना चाहते हैं उन्हें पिक्टेरा वेबसाइट पर जाना चाहिए।
