मार्लोस सी. माचाडो, अल्बर्टा विश्वविद्यालय में एडजंक्ट प्रोफेसर, अमी फेलो, सीआईएफएआर एआई चेयर – साक्षात्कार श्रृंखला

मार्लोस सी. माचाडो अल्बर्टा मशीन इंटेलिजेंस इंस्टीट्यूट (अमी) में एक फेलो हैं, अल्बर्टा विश्वविद्यालय में एक एडजंक्ट प्रोफेसर हैं, और एक अमी फेलो हैं, जहां वह एक कनाडा सीआईएफएआर एआई चेयर भी रखते हैं। मार्लोस का शोध मुख्य रूप से रिन्फोर्समेंट लर्निंग की समस्या पर केंद्रित है। उन्होंने ब्राजील के यूएफएमजी से बीएससी और एमएससी प्राप्त की, और अल्बर्टा विश्वविद्यालय से पीएचडी प्राप्त की, जहां उन्होंने विकल्पों के माध्यम से समय-समय पर विस्तारित अन्वेषण के विचार को लोकप्रिय बनाया।

वह 2021 से 2023 तक डीपमाइंड में एक शोधकर्ता थे, और 2019 से 2021 तक गूगल ब्रेन में, जिस दौरान उन्होंने रिन्फोर्समेंट लर्निंग में महत्वपूर्ण योगदान दिया, विशेष रूप से लून के स्ट्रेटोस्फेरिक बैलून को नियंत्रित करने के लिए गहरे रिन्फोर्समेंट लर्निंग के अनुप्रयोग में। मार्लोस का काम प्रमुख एआई सम्मेलनों और पत्रिकाओं में प्रकाशित हुआ है, जिनमें नेचर, जेएमएलआर, जेएआईआर, न्यूरआईपीएस, आईसीएमएल, आईसीएलआर और एएएआई शामिल हैं। उनके शोध को बीबीसी, ब्लूमबर्ग टीवी, द वर्ज और वायर्ड जैसे लोकप्रिय मीडिया आउटलेट्स में भी चित्रित किया गया है।

हमने अल्बर्टा में आयोजित वार्षिक 2023 यूपर बाउंड एआई सम्मेलन में एक साक्षात्कार के लिए बैठे, जिसकी मेजबानी अमी (अल्बर्टा मशीन इंटेलिजेंस इंस्टीट्यूट) ने की थी।

आपका प्राथमिक फोकस रिन्फोर्समेंट लर्निंग पर रहा है, आपको इस प्रकार की मशीन लर्निंग क्या आकर्षित करती है?

मुझे रिन्फोर्समेंट लर्निंग की जो चीज पसंद है, वह यह है कि यह एक बहुत ही प्राकृतिक तरीका है, मेरे विचार में, सीखने का, जो कि आप इंटरैक्शन द्वारा सीखते हैं। यह ऐसा लगता है कि यह वह तरीका है जिस तरह से हम मनुष्य सीखते हैं, एक अर्थ में। मुझे एआई को मानवीय बनाना पसंद नहीं है, लेकिन यह सिर्फ इतना है कि आप चीजों की कोशिश करते हैं, कुछ चीजें अच्छी लगती हैं, कुछ चीजें बुरी लगती हैं, और आप उन चीजों को सीखते हैं जो आपको बेहतर महसूस कराती हैं। रिन्फोर्समेंट लर्निंग के बारे में जो बात मुझे आकर्षित करती है वह यह है कि क्योंकि आप वास्तव में दुनिया के साथ इंटरैक्ट करते हैं, आप उस एजेंट हैं जिसके बारे में हम बात करते हैं, यह दुनिया में चीजों की कोशिश कर रहा है और एजेंट एक हाइपोथेसिस के साथ आ सकता है और उस हाइपोथेसिस का परीक्षण कर सकता है।

इसका कारण यह है कि यह नई व्यवहार की खोज की अनुमति देता है। उदाहरण के लिए, सबसे प्रसिद्ध उदाहरणों में से एक अल्फागो है, जिस चाल के बारे में वे वृत्तचित्र में बात करते हैं, जो रचनात्मकता थी। यह कुछ ऐसा था जो पहले कभी नहीं देखा गया था, यह हम सभी को आश्चर्यचकित कर दिया था। यह केवल दुनिया के साथ इंटरैक्ट करके खोजा गया था। आप इस प्रकार की खोज की क्षमता प्राप्त करते हैं। मैंने जिस परियोजना पर काम किया था, जिसमें स्ट्रेटोस्फियर में दृश्यमान गुब्बारे उड़ाने की बात थी, हमने भी ऐसी ही चीजें देखीं।

हमने ऐसे व्यवहार देखे जो हर किसी को प्रभावित करते थे और जैसे हमने कभी इसके बारे में नहीं सोचा था, लेकिन यह शानदार था। मुझे लगता है कि रिन्फोर्समेंट लर्निंग इस प्रकार के व्यवहार की खोज की अनुमति देने के लिए विशेष रूप से स्थित है क्योंकि आप इंटरैक्ट कर रहे हैं, क्योंकि एक अर्थ में सबसे कठिन चीजों में से एक है काउंटरफैक्चुअल्स, जैसे कि क्या हुआ होगा अगर मैंने इसके बजाय जो किया था वह किया होता? यह सामान्य रूप से एक बहुत ही कठिन समस्या है, लेकिन मशीन लर्निंग अध्ययनों में कई सेटिंग्स में ऐसा कुछ भी नहीं है जो आप इसके बारे में कर सकते हैं। रिन्फोर्समेंट लर्निंग में आप कर सकते हैं, “क्या हुआ होगा अगर मैंने इसके बजाय जो किया था वह किया होता?” मैं अगली बार जब मैं इसका अनुभव कर रहा हूं तो यह कोशिश कर सकता हूं। मुझे लगता है कि इसका इंटरैक्टिव पहलू, मुझे वास्तव में पसंद है।

निश्चित रूप से मैं दोहरा नहीं होने जा रहा हूं, मुझे लगता है कि बहुत सारे शांत अनुप्रयोग जो इसके साथ आए थे, उन्होंने इसे बहुत दिलचस्प बना दिया। जैसे कि दशकों और दशकों पहले भी, यहां तक कि जब हम रिन्फोर्समेंट लर्निंग के शुरुआती बड़े सफलता के उदाहरणों की बात करते हैं, तो यह मुझे बहुत आकर्षक बनाता है।

आपका पसंदीदा ऐतिहासिक अनुप्रयोग क्या है?

मुझे लगता है कि दो बहुत प्रसिद्ध हैं, एक स्टैनफोर्ड में हेलीकॉप्टर उड़ाने के लिए रिन्फोर्समेंट लर्निंग का उपयोग करना है, और दूसरा टीडी-गैमन है, जो एक बैकगैमन प्लेयर है जो विश्व चैंपियन बन गया था। यह 90 के दशक में था, और इसलिए यह मेरे पीएचडी के दौरान था, मैंने सुनिश्चित किया कि मैं आईबीएम में जेराल्ड टेसौरो के साथ एक इंटर्नशिप की, और जेराल्ड टेसौरो टीडी-गैमन प्रोजेक्ट का नेतृत्व करने वाला व्यक्ति था, इसलिए यह वास्तव में शांत था। यह मजेदार है क्योंकि जब मैंने रिन्फोर्समेंट लर्निंग शुरू की, तो मुझे यह नहीं पता था कि यह क्या था। जब मैं स्नातक स्कूल में आवेदन कर रहा था, तो मुझे याद है कि मैंने कई प्रोफेसरों की वेबसाइटों पर जाना चाहा, क्योंकि मैं मशीन लर्निंग करना चाहता था, जैसे बहुत ही सामान्य रूप से, और मैं उनके शोध के विवरण को पढ़ रहा था, और मैं ऐसा था, “ओह, यह दिलचस्प है।” जब मैं पीछे देखता हूं, तो मुझे लगता है कि मैंने उन प्रोफेसरों को चुना था जो रिन्फोर्समेंट लर्निंग में प्रसिद्ध थे, लेकिन इसलिए नहीं कि वे प्रसिद्ध थे, बल्कि इसलिए कि उनके शोध का विवरण आकर्षक था। मैं ऐसा था, “ओह, यह वेबसाइट वास्तव में अच्छी है, मैं इस व्यक्ति के साथ काम करना चाहता हूं और इस व्यक्ति के साथ,” इसलिए जब मैं पीछे देखता हूं, तो मैं कह रहा था, “ओह, वे लोग हैं जिनके साथ मैं लंबे समय से काम करना चाहता था, या वे पत्र हैं जिन्हें मैं पढ़ना चाहता था।”

आप गूगल ब्रेन में स्ट्रेटोस्फेरिक बैलून के स्वायत्त नेविगेशन पर काम किया था, यह कठिन पहुंच वाले क्षेत्रों में इंटरनेट एक्सेस प्रदान करने के लिए एक अच्छा उपयोग मामला क्यों था?

यह लून, जो अल्फाबेट की एक सहायक कंपनी थी, जो इस पर काम कर रही थी, उसका पिच था। जब हम दुनिया में लोगों को इंटरनेट प्रदान करने के तरीके के माध्यम से जाते हैं, तो यह है कि आप एक एंटेना बनाते हैं, जैसे कि आप एडमॉन्टन में एक एंटेना बनाते हैं, और यह एंटेना आपको पांच या छह किलोमीटर के व्यास के क्षेत्र में इंटरनेट प्रदान करने की अनुमति देता है। यदि आप न्यूयॉर्क शहर के डाउनटाउन में एक एंटेना लगाते हैं, तो आप लाखों लोगों को सेवा प्रदान कर रहे हैं। लेकिन कल्पना कीजिए कि आप अमेज़ॅन वर्षावन में एक जनजाति को इंटरनेट प्रदान करने की कोशिश कर रहे हैं। शायद आपके पास जनजाति में 50 लोग हैं, एंटेना लगाने की आर्थिक लागत वास्तव में अधिक है, न कि यहां तक कि क्षेत्र में पहुंचने की कोशिश करना भी।

आर्थिक रूप से, यह एक दुर्गम क्षेत्र में बड़े बुनियादी ढांचे में निवेश करने के लिए व्यावहारिक नहीं है, जो इतना कम आबादी वाला है। गुब्बारों का विचार बस यह था कि “लेकिन अगर हम एक एंटेना बना सकते हैं जो वास्तव में ऊंचा हो?” “लेकिन हम ऐसा एंटेना नहीं बना सकते हैं, लेकिन हम एक गुब्बारा वहां रख सकते हैं,” और फिर गुब्बारा एक ऐसा क्षेत्र प्रदान कर सकता है जो एक एंटेना की तुलना में 10 गुना बड़ा है, या यदि आप त्रिज्या की बात करते हैं, तो यह 100 गुना बड़ा क्षेत्र है। यदि आप इसे जंगल के बीच में या जंगल के बीच में रखते हैं, तो आप शायद कई जनजातियों को सेवा प्रदान कर सकते हैं जिन्हें अन्यथा प्रत्येक के लिए एक अलग एंटेना की आवश्यकता होगी।

कठिन पहुंच वाले क्षेत्रों में इंटरनेट एक्सेस प्रदान करना एक प्रेरणा थी। मुझे याद है कि लून का नारा यह नहीं था कि अगले अरब लोगों को इंटरनेट प्रदान करना है, बल्कि यह था कि आखिरी अरब लोगों को इंटरनेट प्रदान करना है, जो एक अर्थ में बहुत ही महत्वाकांक्षी था। यह अगले अरब नहीं था, बल्कि यह था सबसे कठिन अरब लोगों तक पहुंचने के लिए।

आप किन नेविगेशन मुद्दों को हल करने की कोशिश कर रहे थे?

इन गुब्बारों का काम करने का तरीका यह है कि वे प्रोपेल्ड नहीं हैं, बस जिस तरह लोग हॉट एयर बैलून को नेविगेट करते हैं, वह यह है कि आप या तो ऊपर जाते हैं या नीचे जाते हैं और आप एक हवा ढूंढते हैं जो एक विशिष्ट दिशा में आपको ले जा रही है, फिर आप उस हवा पर सवारी करते हैं, और फिर यह जैसे है, “ओह, मैं अब और नहीं जाना चाहता,” शायद आप ऊपर जाते हैं या नीचे जाते हैं और आप एक अलग हवा ढूंढते हैं और इसी तरह। यही यह गुब्बारा भी करता है। यह एक हॉट एयर बैलून नहीं है, यह एक निश्चित आयतन गुब्बारा है जो स्ट्रेटोस्फियर में उड़ रहा है।

यह केवल इतना ही कर सकता है कि यह ऊपर जा सकता है, नीचे जा सकता है या जहां यह है वहीं रह सकता है, और फिर यह हवाओं को ढूंढना होगा जो इसे जहां यह होना चाहता है वहां ले जाएगा। इस अर्थ में, यही हमारी नेविगेशन थी, और वास्तव में कई चुनौतियां थीं। पहली यह थी कि हम एक क्षेत्र में होना चाहते थे, इंटरनेट प्रदान करना चाहते थे, लेकिन हम यह भी सुनिश्चित करना चाहते थे कि ये गुब्बारे सौर ऊर्जा से संचालित हों, कि हम शक्ति को बनाए रखें। यह एक बहु-उद्देश्यीय अनुकूलन समस्या थी, न केवल यह सुनिश्चित करना कि मैं उस क्षेत्र में हूं जिसमें मैं होना चाहता हूं, बल्कि यह भी कि मैं शक्ति के प्रति कुशल हूं।

यह स्वयं समस्या थी, लेकिन जब आप विवरण देखते हैं, तो आपको यह नहीं पता होता है कि हवाएं कैसी हैं, आप जानते हैं कि हवाएं आपके पास कैसी हैं, लेकिन आपको नहीं पता है कि 500 मीटर ऊपर आपके हवाएं कैसी हैं। आपके पास जो हम एआई में आंशिक रूप से दृश्यमान कहते हैं, वह है, आप उस डेटा को नहीं रखते हैं। आप अनुमान लगा सकते हैं, और इसके बारे में पत्र लिखे गए हैं, लेकिन अक्सर अनुमान 90 डिग्री गलत हो सकते हैं। यह एक बहुत ही कठिन समस्या है, क्योंकि हम हवा की सैकड़ों अलग-अलग परतों की बात कर रहे हैं, और फिर आपको हवा की गति को ध्यान में रखना होगा, हवा की दिशा को ध्यान में रखना होगा, हमने इसे कैसे मॉडल किया, और हम उस अनुमान में कितने आश्वस्त हैं।

यह समस्या को बहुत कठिन बना देता है। हमारे लिए सबसे बड़ी चुनौतियों में से एक यह थी कि एक बार जब हमने सब कुछ किया, तो यह जैसे था, “लेकिन हम इस समस्या की कठिनाई को कैसे व्यक्त करें?” क्योंकि यह ऐसा कुछ है जिसे आप अपने दिमाग में नहीं ला सकते हैं, क्योंकि यह ऐसी चीज नहीं है जो आपको स्क्रीन पर दिखाई देती है, यह सैकड़ों आयाम हैं और हवाएं, और जब आपने आखिरी बार उस हवा का माप लिया था? आपko यह सब लेना होगा जबकि आप शक्ति के बारे में सोच रहे हैं, दिन का समय, जहां आप होना चाहते हैं, यह बहुत कुछ है।

मशीन लर्निंग क्या सीख रही है? क्या यह केवल हवा के पैटर्न और तापमान है?

यह कैसे काम करता है कि हमारे पास हवाओं का एक मॉडल था जो एक मशीन लर्निंग सिस्टम था, लेकिन यह रिन्फोर्समेंट लर्निंग नहीं था। आपके पास विभिन्न ऊंचाइयों के बारे में ऐतिहासिक डेटा है, इसलिए फिर हमने उस डेटा के ऊपर एक मशीन लर्निंग मॉडल बनाया। जब मैं “हम” कहता हूं, तो मैं इसका हिस्सा नहीं था, यह लून द्वारा किया गया था जो गूगल ब्रेन में शामिल होने से पहले ही था। उन्होंने हवा का एक मॉडल बनाया था जो केवल विभिन्न ऊंचाइयों के बारे में नहीं था, बल्कि यह था कि आप विभिन्न ऊंचाइयों के बीच कैसे इंटरपोलेट करते हैं।

आप कह सकते हैं, “आइए कहें, दो साल पहले, यह हवा की तरह थी, लेकिन शायद 10 मीटर ऊपर यह कैसा था, हम नहीं जानते”। फिर उन्होंने इसके ऊपर एक गॉसियन प्रक्रिया रखी, इसलिए उन्होंने इसके मॉडलिंग के बारे में पत्र लिखे थे। हमने जो किया वह यह था कि हम रिन्फोर्समेंट लर्निंग के दृष्टिकोण से शुरू किया, हमारे पास गुब्बारे की गतिविधि का एक बहुत अच्छा सिम्युलेटर था, और हमारे पास हवा का एक सिम्युलेटर भी था। फिर हमने समय में वापस जाने का फैसला किया और कहा, “आइए कहें कि मैं 2010 में हूं।” हमारे पास 2010 में पूरे विश्व में हवा की जानकारी थी, लेकिन बहुत खुरदरी, लेकिन फिर हम इस मशीन लर्निंग मॉडल, इस गॉसियन प्रक्रिया को ओवरले कर सकते हैं ताकि हम वास्तव में हवा के माप प्राप्त कर सकें, और फिर हम शोर पेश कर सकते हैं, हम विभिन्न चीजें कर सकते हैं।

फिर अंततः, क्योंकि हमारे पास मॉडल की गतिविधि है और हमारे पास हवा है, और हम समय में वापस जा रहे हैं और कह रहे हैं कि यह वह जगह है जहां हम हैं, तो हम वास्तव में एक सिम्युलेटर बना सकते हैं।

यह एक डिजिटल जुड़वां की तरह है जो समय में वापस जा रहा है।

बिल्कुल, हमने एक पुरस्कार कार्य को डिज़ाइन किया था जो लक्ष्य पर रहना और थोड़ा शक्ति कुशल था, लेकिन हमने इस पुरस्कार कार्य को डिज़ाइन किया था जिसे हमने गुब्बारे को सीखने के लिए बनाया था, लेकिन यह केवल दुनिया के साथ इंटरैक्ट करके ही कर सकता था, क्योंकि हम नहीं जानते थे कि मौसम और हवा को कैसे मॉडल करें, लेकिन क्योंकि हम समय में वापस जा रहे थे और कह रहे थे कि यह वह जगह है जहां हम हैं, तो हम वास्तव में नेविगेट करना सीख सकते थे। मूल रूप से, यह था कि क्या मैं ऊपर जाऊं, नीचे जाऊं, या जहां मैं हूं वहीं रहूं, दी गई सभी चीजों को देखते हुए, अंत में, मैं उस क्षेत्र में इंटरनेट प्रदान करना चाहता हूं। यही समस्या थी।

वास्तविक दुनिया में रिन्फोर्समेंट लर्निंग को तैनात करने में खेल सेटिंग की तुलना में कुछ चुनौतियां क्या हैं?

मुझे लगता है कि कुछ चुनौतियां हैं। मुझे नहीं लगता कि यह आवश्यक रूप से खेलों और वास्तविक दुनिया के बारे में है, यह मूल रूप से मूलभूत अनुसंधान और अनुप्रयुक्त अनुसंधान के बारे में है। क्योंकि आप खेलों में अनुप्रयुक्त अनुसंधान कर सकते हैं, जैसे कि आप अगले मॉडल को तैनात करने की कोशिश कर रहे हैं जो लाखों लोगों को भेजा जाएगा, लेकिन मुझे लगता है कि मुख्य चुनौतियों में से एक इंजीनियरिंग है। यदि आप काम कर रहे हैं, तो अक्सर आप खेलों का उपयोग एक अनुसंधान वातावरण के रूप में करते हैं क्योंकि वे उन गुणों को पकड़ते हैं जिनकी हम परवाह करते हैं, लेकिन वे उन्हें एक अधिक परिभाषित सेट में पकड़ते हैं। क्योंकि इसके लिए, हम अनुसंधान कर सकते हैं, हम सीखने को मान्य कर सकते हैं, लेकिन यह एक सुरक्षित सेट है, शायद “सुरक्षित” सही शब्द नहीं है, लेकिन यह एक अधिक सीमित सेटिंग है जिसे हम बेहतर समझते हैं।

यह नहीं है कि अनुसंधान को वास्तव में बहुत अलग होने की आवश्यकता है, लेकिन मुझे लगता है कि वास्तविक दुनिया में बहुत सारी अतिरिक्त चुनौतियां लाती हैं। यह सुरक्षा प्रतिबंधों के बारे में है, जैसे कि हमें सुनिश्चित करना होगा कि समाधान सुरक्षित है। जब आप केवल खेलों पर काम कर रहे होते हैं, तो आपको इसके बारे में नहीं सोचना होता है। आप कैसे सुनिश्चित करते हैं कि गुब्बारा कुछ मूर्खता नहीं करेगा, या रिन्फोर्समेंट लर्निंग एजेंट ने कुछ ऐसा नहीं सीखा है जिसके बारे में हमने नहीं सोचा था और जो बुरे परिणाम होंगे? यह हमारी सबसे बड़ी चिंताओं में से एक थी, जो सुरक्षा थी। निश्चित रूप से, यदि आप केवल खेलों पर काम कर रहे हैं, तो आपको इसके बारे में चिंतित नहीं होना है, सबसे बुरा स्थिति यह है कि आप खेल हार जाते हैं।

यह चुनौती है, दूसरी यह है कि इंजीनियरिंग स्टैक बहुत अलग है। यह वास्तव में एक शोधकर्ता के रूप में आपके अपने कंप्यूटर पर खेलों के साथ इंटरैक्ट करने से बहुत अलग है, क्योंकि आप एक पूरे उत्पाद के इंजीनियरिंग स्टैक से निपट रहे हैं जिसे आपको संभालना होगा। यह नहीं है कि वे आपको बस जाने देंगे और आप जो चाहें करेंगे, इसलिए मुझे लगता है कि आपको उस अतिरिक्त टुकड़े से बहुत अधिक परिचित होने की आवश्यकता है। मुझे लगता है कि टीम का आकार भी बहुत भिन्न हो सकता है, जैसे कि लून के पास उस समय दर्जनों या सैकड़ों लोग थे। हम अभी भी उनमें से कुछ के साथ बातचीत कर रहे थे, लेकिन फिर उन्होंने एक नियंत्रण कक्ष था जो वास्तव में विमानन कर्मचारियों से बात कर रहा था।

हम इसके बारे में अनजान थे, लेकिन फिर आपके पास बहुत सारे हितधारक हैं, एक अर्थ में। मुझे लगता है कि बहुत सारी चीजें हैं जो अलग हैं, एक यह है कि इंजीनियरिंग, सुरक्षा और इतने पर, और शायद दूसरी यह है कि आपके धारणाएं नहीं पकड़ती हैं। बहुत सारे एल्गोरिदम जिनके बारे में हम बात करते हैं, वे वास्तविक दुनिया में जाने पर धारणाओं पर आधारित होते हैं, और फिर वे धारणाएं पकड़ती नहीं हैं। वास्तविक दुनिया खेलों जैसे किसी भी अनुप्रयोग से बहुत अधिक दुश्मनी है।

एक उदाहरण जो मुझे वास्तव में पसंद है वह यह है कि उन्होंने हमें सब कुछ दिया, हम जैसे थे, “ओके, तो अब हम कुछ चीजें आजमा सकते हैं जो इस समस्या को हल करें,” और फिर हमने यह किया, और फिर एक सप्ताह बाद, दो सप्ताह बाद, हम लून इंजीनियरों के पास गए, “हमने आपकी समस्या का समाधान कर लिया है।” हम वास्तव में स्मार्ट थे, उन्होंने हमें एक मुस्कराहट के साथ देखा, जैसे कि “आप नहीं कर सकते, हम जानते हैं कि आप इस समस्या को हल नहीं कर सकते हैं, यह बहुत कठिन है,” जैसे कि “नहीं, हमने आपकी समस्या का समाधान कर लिया है, देखें, हमारे पास 100% सटीकता है।” जैसे कि “यह वास्तव में असंभव है, कभी-कभी आपके पास ऐसी हवाएं नहीं होती हैं जो आपको …” “नहीं, आइए देखें कि क्या हो रहा है।”

हमने जो किया वह यह था कि गुब्बारा, रिन्फोर्समेंट लर्निंग अल्गोरिदम, क्षेत्र के केंद्र में जाने के लिए सीखा, और फिर यह ऊपर और ऊपर जाता था, और फिर गुब्बारा फट जाता था, और फिर गुब्बारा नीचे जाता था और यह क्षेत्र में हमेशा के लिए था। वे जैसे थे, “यह वास्तव में वह नहीं है जो हम चाहते हैं,” लेकिन फिर बिल्कुल, यह सिम्युलेशन था, लेकिन फिर हम कह रहे थे, “ओह yeah, तो हम इसे कैसे ठीक करें?” वे जैसे थे, “ओह yeah, तो इसमें कुछ चीजें हैं, लेकिन एक चीज यह है कि हम सुनिश्चित करते हैं कि गुब्बारा उस स्तर से ऊपर नहीं जा सकता है जिस पर यह फट जाएगा।”

वास्तविक दुनिया में ऐसी चुनौतियां हैं जो आपको लगता है कि जब आप केवल रिन्फोर्समेंट लर्निंग शोधकर्ता हैं जो खेलों पर काम कर रहे हैं, तो आपको इसके बारे में नहीं सोचना होता है, और जब आप वास्तविक दुनिया में जाते हैं, तो आप जैसे हैं, “ओह प्रतीक्षा करें, ये चीजें परिणाम हैं और मुझे इसके बारे में पता होना चाहिए।” मुझे लगता है कि यह मुख्य कठिनाइयों में से एक है।

मुझे लगता है कि दूसरी यह है कि प्रयोगों का चक्र वास्तव में लंबा है, जैसे कि एक खेल में मैं बस प्ले दबा सकता हूं। सबसे बुरा स्थिति यह है कि मुझे एक सप्ताह के बाद परिणाम मिल जाते हैं, लेकिन फिर यदि मुझे वास्तव में स्ट्रेटोस्फियर में गुब्बारे उड़ाने हैं, तो हमें 13 गुब्बारे मिले, मुझे लगता है, और हमने उन्हें प्रशांत महासागर में एक महीने से अधिक समय तक उड़ाया, क्योंकि यही वह समय था जिसने हमें यह सत्यापित करने की अनुमति दी कि जो कुछ हमने बनाया था वह वास्तव में बेहतर था। समय सcale बहुत भिन्न है, इसलिए आपको इतने सारे मौके नहीं मिलते हैं जो चीजें आजमाने के लिए।

खेलों के विपरीत, एक ही खेल के लाखों प्रतियां एक साथ नहीं चल रही हैं।

हां, हमारे पास प्रशिक्षण के लिए यह था क्योंकि हम सिम्युलेशन का लाभ उठा रहे थे, हालांकि फिर से, सिम्युलेटर किसी भी खेल से बहुत धीमा है जिसे आप करेंगे, लेकिन हम इंजीनियरिंग के दृष्टिकोण से इसके साथ निपट सकते थे। जब आप वास्तविक दुनिया में करते हैं, तो यह अलग है।

आप आज पर क्या शोध कर रहे हैं?

अब मैं अल्बर्टा विश्वविद्यालय में हूं, और मेरे पास यहां कई छात्रों के साथ एक शोध समूह है। मेरा शोध बहुत अधिक विविध है क्योंकि मेरे छात्र मुझे ऐसा करने की अनुमति देते हैं। एक चीज जिसके बारे में मैं विशेष रूप से उत्साहित हूं वह यह है कि निरंतर सीखने की यह धारणा है। जो होता है वह यह है कि लगभग हर बार जब हम सामान्य रूप से मशीन लर्निंग की बात करते हैं, तो हम कुछ गणना करने जा रहे हैं, चाहे वह एक सिम्युलेटर का उपयोग करके हो या डेटा को संसाधित करके, और हम एक मशीन लर्निंग मॉडल सीखेंगे, और हम उस मॉडल को तैनात करेंगे और आशा करेंगे कि यह ठीक होगा, और यह अक्सर ठीक है। अक्सर यह वही है जो आपको चाहिए, अक्सर यह परिपूर्ण है। लेकिन कभी-कभी यह नहीं है, क्योंकि कभी-कभी वास्तविक दुनिया की समस्याएं इतनी जटिल होती हैं कि आप उम्मीद नहीं कर सकते कि एक मॉडल, चाहे वह कितना भी बड़ा क्यों न हो, वास्तव में दुनिया में सभी जटिलताओं को शामिल करेगा। तो आपको अनुकूलन करना होगा।

मैं जिस परियोजना में शामिल हूं, उदाहरण के लिए, अल्बर्टा विश्वविद्यालय में यह है कि पानी के शुद्धिकरण संयंत्र के लिए कैसे रिन्फोर्समेंट लर्निंग अल्गोरिदम बनाएं जो मानव निर्णय लेने की प्रक्रिया में अन्य मानवों का समर्थन करेंगे या स्वचालित रूप से पानी के शुद्धिकरण के लिए कैसे करें? हमारे पास डेटा है, हम देख सकते हैं कि डेटा कैसा है, और कभी-कभी पानी की गुणवत्ता घंटों के भीतर बदल जाती है, इसलिए भले ही आप कहें कि “हर दिन मैं पिछले दिन से अपना मशीन लर्निंग मॉडल प्रशिक्षित करूंगा और इसे दिन के भीतर तैनात करूंगा,” वह मॉडल अब मान्य नहीं है क्योंकि यह डेटा ड्रिफ्ट है, यह स्टेशनरी नहीं है। यह वास्तव में मॉडल करना मुश्किल है क्योंकि शायद यह एक वन फायर है जो अपस्ट्रीम हो रहा है, या शायद बर्फ पिघल रही है, इसलिए आपको पूरी दुनिया को मॉडल करना होगा ताकि आप यह कर सकें।

बिल्कुल, कोई ऐसा नहीं करता है, हम ऐसा नहीं करते हैं क्योंकि हम मनुष्य हैं, तो क्या हम करते हैं? हम अनुकूलन करते हैं, हम सीखते हैं, हम जैसे हैं, “ओह, यह चीज जो मैं कर रहा था, यह अब काम नहीं कर रही है, इसलिए मैं कुछ और सीखने की कोशिश करूंगा।” मुझे लगता है कि बहुत सारे प्रकाशन हैं जो मुख्य रूप से वास्तविक दुनिया के हैं जिन्हें आपको निरंतर और हमेशा के लिए सीखने की आवश्यकता है, और यह मानक तरीका नहीं है जिस तरह से हम मशीन लर्निंग की बात करते हैं। अक्सर हम बात करते हैं, “मैं एक बड़ा बैच गणना करूंगा, और मैं एक मॉडल तैनात करूंगा, और शायद मैं एक मॉडल को कुछ दिनों या हफ्तों बाद तैनात करूंगा,” लेकिन कभी-कभी इन चीजों का समय सcale काम नहीं करता है।

प्रश्न यह है कि “हम कैसे निरंतर और हमेशा के लिए सीख सकते हैं ताकि हम बस बेहतर और अनुकूलन कर रहे हैं?” और यह वास्तव में कठिन है। हमारे पास इसके बारे में कुछ पत्र हैं, जैसे कि हमारी वर्तमान मशीनरी यह नहीं कर सकती है, जैसे कि हमारे पास जो समाधान हैं जो क्षेत्र में सोने का मानक हैं, अगर आप बस सीखना जारी रखते हैं और तैनात नहीं करते हैं, तो चीजें जल्दी से खराब हो जाती हैं। यह एक ऐसी चीज है जिसके बारे में मैं वास्तव में उत्साहित हूं, जो मुझे लगता है कि अब कि हमने इतनी सारी सफल चीजें की हैं, तैनात निश्चित मॉडल, और हम उन्हें जारी रखेंगे, सोचते हुए एक शोधकर्ता के रूप में, “क्षेत्र का अगला मोर्चा क्या है?” मुझे लगता है कि एक मोर्चा जिस पर हमारे पास है वह यह है कि निरंतर सीखने की यह बात है।

मुझे लगता है कि रिन्फोर्समेंट लर्निंग विशेष रूप से इसे करने के लिए उपयुक्त है, क्योंकि हमारे बहुत सारे अल्गोरिदम डेटा को संसाधित करते हैं क्योंकि डेटा आ रहा है, और इसलिए बहुत सारे अल्गोरिदम सीधे सीखने में हैं। यह नहीं है कि वे करते हैं या वे इसमें अच्छे हैं, लेकिन हमें खुद से पूछने की जरूरत नहीं है, और मुझे लगता है कि हमारे पास इसके बारे में बहुत सारे दिलचस्प शोध प्रश्न हैं।

आप निरंतर सीखने का उपयोग करके जिन अनुप्रयोगों से सबसे ज्यादा उत्साहित हैं, वे क्या हैं?

यह एक अरब डॉलर का प्रश्न है, क्योंकि एक अर्थ में मैं उन अनुप्रयोगों की तलाश में हूं। मुझे लगता है कि एक अर्थ में मैं एक शोधकर्ता के रूप में सही प्रश्न पूछने में सक्षम रहा हूं, यह अधिकांश काम है। मुझे लगता है कि रिन्फोर्समेंट लर्निंग में अक्सर हम समस्याओं से चलाए जाते हैं। यह जैसे है, “ओह, देखिए, हमारे पास यह चुनौती है, अब हमें यह पता लगाना होगा कि इसे कैसे हल किया जाए,” और फिर आप वैज्ञानिक प्रगति कर रहे हैं। अभी मैं एडम व्हाइट, मार्था व्हाइट के साथ इस पर काम कर रहा हूं, जो वास्तव में पानी के शुद्धिकरण संयंत्र परियोजना का नेतृत्व कर रहे हैं, जो मुझे वास्तव में उत्साहित करता है क्योंकि यह एक ऐसी चीज है जो वास्तव में कठिन है को भी वर्णित करने के लिए भाषा के साथ।

यह ऐसी चीज है जिसमें निरंतर सीखने की आवश्यकता है, जैसा कि मैंने कहा, पानी की गुणवत्ता अक्सर बदलती रहती है, चाहे वह कितनी भी हो, और यह संचालित होती है विभिन्न समय स्केल पर। मुझे लगता है कि यह एक ऐसी चीज है जिसे हमें वास्तव में सीखने की आवश्यकता है, यह एक ऐसी समस्या है जो वास्तव में कठिन है। हमारे पास सिम्युलेटर नहीं है, हमारे पास इसका प्राप्त करने के साधन नहीं हैं, इसलिए हमें सबसे अच्छा डेटा उपयोग करना होगा, हमें ऑनलाइन सीखना होगा। यह एक ऐसी चीज है जो बहुत सारे चुनौतियों को लाती है, और यह एक ऐसी चीज है जिसके बारे में मैं उत्साहित हूं। एक और चीज जो मुझे लगता है कि दिलचस्प है वह यह है कि इमारतों को ठंडा करना, और फिर से मौसम और जलवायु परिवर्तन के बारे में सोचना, और चीजें जिन पर हम प्रभाव डाल सकते हैं।

अक्सर यह जैसे है, “कैसे हम एक इमारत को ठंडा करें?” जैसे कि यह इमारत जिसमें हम आज सैकड़ों लोगों के साथ हैं, यह पिछले हफ्ते से बहुत अलग है, और क्या हम वास्तव में उसी नीति का उपयोग करेंगे? कम से कम हमारे पास एक थर्मोस्टैट है, इसलिए हम जैसे हैं, “ओह, यह गर्म है, इसलिए हम शायद इसके बारे में अधिक चतुर हो सकते हैं और अनुकूलन कर सकते हैं,” फिर से यह एक ऐसी चीज है जिसे हम शायद मानक दृष्टिकोण से बेहतर कर सकते हैं जो हम अभी क्षेत्र में करते हैं।

कुछ स्थानों पर 75% बिजली की खपत वास्तव में एयर कंडीशनर यूनिट है।

बिल्कुल, और मुझे लगता है कि बहुत सारे घरों में, वे पहले से ही मशीन लर्निंग का उपयोग कर रहे हैं और फिर वे अपने ग्राहकों से सीखते हैं। इन इमारतों में, आप एक बहुत ही बारीकी से दृष्टिकोण ले सकते हैं, जैसे कि फ्लोरिडा, ब्राजील, यह बहुत सारे स्थान हैं जिन्हें इसकी आवश्यकता है। डेटा सेंटरों को ठंडा करना एक और चीज है जो कुछ कंपनियां शुरू कर रही हैं। यह लगभग विज्ञान कल्पित है, लेकिन यह एक ऐसी चीज है जो निरंतर सीखने और अनुकूलन की क्षमता है जो एक बहुत बड़ा प्रभाव डाल सकती है।

यह नियंत्रण समस्याओं में से एक है जो उच्च आयामी हैं और इतने पर, जैसे कि जब हम गुब्बारे उड़ा रहे थे। उदाहरण के लिए, एक चीज जो हम दिखा सकते थे वह यह थी कि कैसे रिन्फोर्समेंट लर्निंग, और विशेष रूप से गहरा रिन्फोर्समेंट लर्निंग, सेंसरों पर आधारित निर्णय सीख सकता है जो मानव द्वारा डिज़ाइन की तुलना में बहुत अधिक जटिल हैं।

केवल परिभाषा के अनुसार, आप देखेंगे कि एक मानव कैसे एक प्रतिक्रिया कर्व को डिज़ाइन करेगा, जैसे कि “खैर, यह शायद रेखीय, द्विघात होगा,” लेकिन जब आपके पास एक न्यूरल नेटवर्क है, तो यह सभी गैर-रेखीयता सीख सकता है जो इसे एक बहुत ही बारीक निर्णय बनाता है, जो कभी-कभी बहुत प्रभावी होता है।

धन्यवाद इस अद्भुत साक्षात्कार के लिए, पाठक जो अधिक जानना चाहते हैं उन्हें निम्नलिखित संसाधनों पर जाना चाहिए:

• अपर बाउंड एआई सम्मेलन。
• अमी (अल्बर्टा मशीन इंटेलिजेंस इंस्टीट्यूट)。