साक्षात्कार
स्टीवन हिलियन, एसवीपी ऑफ डेटा एंड एआई एट एस्ट्रोनॉमर – साक्षात्कार श्रृंखला
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
स्टीवन हिलियन एस्ट्रोनॉमर में डेटा और एआई के वरिष्ठ उपाध्यक्ष हैं, जहां वह शोध गणित में अपनी व्यापक अकादमिक पृष्ठभूमि और सिलिकॉन वैली के मशीन लर्निंग प्लेटफ़ॉर्म विकास में 15 से अधिक वर्षों के अनुभव का लाभ उठाते हैं। एस्ट्रोनॉमर में, वह एमएल और एआई टीमों के लिए विशेष रूप से डिज़ाइन किए गए अपाचे एयरफ्लो सुविधाओं के निर्माण का नेतृत्व करते हैं और आंतरिक डेटा विज्ञान टीम की देखरेख करते हैं। उनके नेतृत्व में, एस्ट्रोनॉमर ने अपने आधुनिक डेटा ऑर्केस्ट्रेशन प्लेटफ़ॉर्म को आगे बढ़ाया है, जिससे विभिन्न डेटा स्रोतों और कार्यों के लिए अपनी डेटा पाइपलाइन क्षमताओं को काफी हद तक बढ़ाया गया है मशीन लर्निंग के माध्यम से।
क्या आप अपनी डेटा साइंस और एआई यात्रा के बारे में कुछ जानकारी साझा कर सकते हैं, और यह आपके दृष्टिकोण को इंजीनियरिंग और विश्लेषण टीमों का नेतृत्व करने के लिए कैसे आकार देता है?
मैंने बर्कले में शोध गणित में पृष्ठभूमि प्राप्त की थी, इससे पहले कि मैं सिलिकॉन वैली में चला गया और कई सफल स्टार्टअप में एक इंजीनियर के रूप में काम किया। मैं अकादमिक राजनीति और नौकरशाही को पीछे छोड़ने के लिए खुश था, लेकिन मुझे जल्द ही एहसास हुआ कि मुझे गणित की कमी महसूस हो रही है। इसलिए मैं मशीन लर्निंग और विश्लेषण के लिए प्लेटफ़ॉर्म विकसित करने में स्थानांतरित हो गया, और यह लगभग वही है जो मैं तब से कर रहा हूं।
मेरी शुद्ध गणित में प्रशिक्षण का परिणाम ‘पार्सिमनी’ के लिए एक प्राथमिकता में हुआ है – काम के लिए सही उपकरण, और कुछ भी नहीं। क्योंकि गणितज्ञ अक्सर जटिल मशीनरी की तुलना में सुंदर समाधानों को पसंद करते हैं, मैंने हमेशा व्यावसायिक समस्याओं पर मशीन लर्निंग लागू करते समय सरलता पर जोर दिया है। गहरा लर्निंग कुछ अनुप्रयोगों के लिए बहुत अच्छा है – बड़े भाषा मॉडल, उदाहरण के लिए, दस्तावेजों को सारांशित करने के लिए उत्कृष्ट हैं – लेकिन कभी-कभी एक सरल प्रतिगमन मॉडल अधिक उपयुक्त और समझाने में आसान होता है।
पिछले बीस वर्षों में डेटा वैज्ञानिक और सॉफ्टवेयर इंजीनियर की भूमिका में बदलाव देखना दिलचस्प रहा है क्योंकि मशीन लर्निंग व्यापक हो गई है। दोनों टोपियां पहनने के बाद, मैं मशीन लर्निंग परियोजनाओं पर लागू सॉफ्टवेयर विकास जीवन चक्र (विशेष रूप से स्वचालन और परीक्षण) के महत्व के बारे में बहुत जागरूक हूं।
एआई और बड़े भाषा मॉडल (एलएलएम) के लिए असंरचित डेटा को स्थानांतरित करने, प्रसंस्करण करने और विश्लेषण करने में सबसे बड़ी चुनौतियां क्या हैं?
जनरेटिव एआई की दुनिया में, आपका डेटा आपकी सबसे मूल्यवान संपत्ति है। मॉडल बढ़ते जटिल हो रहे हैं, इसलिए आपका अंतर आपके द्वारा जीती गई संस्थागत ज्ञान है जो आपके प्रोप्राइटरी और क्यूरेटेड डेटासेट में कैप्चर किया गया है।
सही डेटा को सही समय पर वितरित करने से आपके डेटा पाइपलाइनों पर उच्च मांगें पड़ती हैं – और यह असंरचित डेटा के लिए उतना ही लागू होता है जितना कि संरचित डेटा के लिए, या शायद अधिक। अक्सर आप विभिन्न स्रोतों से डेटा का सेवन कर रहे होते हैं, विभिन्न प्रारूपों में। आपको डेटा को अनपैक करने और मॉडल अनुमान या मॉडल प्रशिक्षण के लिए उपयोग के लिए तैयार करने के लिए विभिन्न तरीकों तक पहुंच की आवश्यकता है। आपको डेटा की उत्पत्ति को समझने और यह जानने की आवश्यकता है कि यह कहां समाप्त होता है ताकि आप “अपना काम दिखा सकें”।
यदि आप इसे केवल कभी-कभी मॉडल प्रशिक्षण के लिए करते हैं, तो यह ठीक है। आपको इसे परिचालन नहीं करना है। यदि आप दैनिक रूप से मॉडल का उपयोग ऑनलाइन फ़ोरम से ग्राहक भावना को समझने के लिए, या चालान को सारांशित और मार्गदर्शन करने के लिए करते हैं, तो यह किसी अन्य परिचालन डेटा पाइपलाइन की तरह दिखने लगता है, जिसका अर्थ है कि आपको विश्वसनीयता और पुनरुत्पादन के बारे में सोचने की आवश्यकता है। या यदि आप नियमित रूप से मॉडल को फ़ाइन-ट्यून करते हैं, तो आपको सटीकता और लागत की निगरानी के बारे में चिंता करने की आवश्यकता है।
अच्छी खबर यह है कि डेटा इंजीनियरों ने डेटा पाइपलाइनों के प्रबंधन के लिए एक महान प्लेटफ़ॉर्म, एयरफ्लो विकसित किया है, जिसे पहले से ही दुनिया की कुछ सबसे जटिल एमएल टीमों द्वारा मॉडल तैनाती और निगरानी के प्रबंधन के लिए सफलतापूर्वक लागू किया जा चुका है। इसलिए मॉडल नए हो सकते हैं, लेकिन ऑर्केस्ट्रेशन नहीं है।
आप सिंथेटिक डेटा का उपयोग करके छोटे मॉडलों को सटीकता के लिए फ़ाइन-ट्यून करने के बारे में विस्तार से बता सकते हैं? यह बड़े मॉडलों को प्रशिक्षित करने की तुलना में कैसे है?
यह एक शक्तिशाली तकनीक है। आप सबसे अच्छे बड़े भाषा मॉडलों को दुनिया के बारे में जो कुछ भी सीखा है उसे कैप्चर करने के रूप में सोच सकते हैं, और वे इसे छोटे मॉडलों को सिंथेटिक डेटा के माध्यम से पारित कर सकते हैं। एलएलएम विशाल मात्रा में ज्ञान को कैप्चर करते हैं जो वे विविध डेटासेट पर व्यापक प्रशिक्षण से सीखते हैं। ये मॉडल सिंथेटिक डेटा उत्पन्न कर सकते हैं जो उन पैटर्नों, संरचनाओं और जानकारी को कैप्चर करता है जो उन्होंने सीखी है। इस सिंथेटिक डेटा का उपयोग छोटे मॉडलों को प्रशिक्षित करने के लिए किया जा सकता है, जो बड़े मॉडलों से कुछ ज्ञान को प्रभावी ढंग से स्थानांतरित करते हैं। यह प्रक्रिया अक्सर “ज्ञान संक्षेपण” के रूप में जानी जाती है और कुशल, छोटे मॉडल बनाने में मदद करती है जो अभी भी विशिष्ट कार्यों पर अच्छा प्रदर्शन करते हैं। और सिंथेटिक डेटा के साथ आप गोपनीयता समस्याओं से बच सकते हैं, और प्रशिक्षण डेटा में अंतराल को भर सकते हैं जो छोटा या अधूरा है।
यह एक अधिक डोमेन-विशिष्ट जनरेटिव एआई मॉडल को प्रशिक्षित करने में मददगार हो सकता है, और यहां तक कि एक “बड़े” मॉडल को प्रशिक्षित करने की तुलना में अधिक प्रभावी हो सकता है, जिसमें एक बड़ा नियंत्रण स्तर है।
डेटा वैज्ञानिक लंबे समय से सिंथेटिक डेटा का उत्पादन कर रहे हैं और इम्प्यूटेशन उतना ही पुराना है जितना कि गंदे डेटासेट का अस्तित्व। लेकिन आपको हमेशा बहुत सावधान रहने की आवश्यकता थी कि आप डेटा में पूर्वाग्रह नहीं पेश कर रहे हैं, या डेटा के वितरण के बारे में गलत धारणा नहीं बना रहे हैं। अब जब डेटा का संश्लेषण इतना आसान और शक्तिशाली हो गया है, तो आपको और भी सावधान रहने की आवश्यकता है। त्रुटियां बढ़ सकती हैं।
उत्पन्न डेटा में विविधता की कमी ‘मॉडल कोलैप्स’ की ओर ले जा सकती है। मॉडल को लगता है कि यह अच्छा प्रदर्शन कर रहा है, लेकिन यह इसलिए है क्योंकि यह पूरी तस्वीर नहीं देखी है। और, अधिक सामान्य रूप से, प्रशिक्षण डेटा में विविधता की कमी कुछ ऐसा है जिस पर डेटा टीमें हमेशा नजर रखनी चाहिए।
एक बुनियादी स्तर पर, चाहे आप सिंथेटिक डेटा का उपयोग कर रहे हों या जैविक डेटा, वंशावली और गुणवत्ता किसी भी मॉडल को प्रशिक्षित या फ़ाइन-ट्यून करने के लिए परम हैं। जैसा कि हम जानते हैं, मॉडल उतने ही अच्छे हैं जितना डेटा उन्हें प्रशिक्षित किया जाता है। जबकि सिंथेटिक डेटा संवेदनशील डेटासेट का प्रतिनिधित्व करने में मदद करने के लिए एक महान उपकरण हो सकता है या प्रतिनिधि डेटासेट में छोड़े गए अंतराल को भरने के लिए, आपके पास डेटा की उत्पत्ति से लेकर इसकी गुणवत्ता के स्तर को साबित करने के लिए एक कागज़ का निशान होना चाहिए।
एस्ट्रोनॉमर में आपकी टीम द्वारा डेटा पाइपलाइनों की दक्षता और विश्वसनीयता में सुधार के लिए कुछ नवाचारी तकनीकें क्या हैं?
बहुत सारी! एस्ट्रो का पूरी तरह से प्रबंधित एयरफ्लो इन्फ्रास्ट्रक्चर और एस्ट्रो हाइपервाइज़र डायनामिक स्केलिंग और प्रोएक्टिव मॉनिटरिंग के माध्यम से उन्नत स्वास्थ्य मेट्रिक्स का समर्थन करता है। यह सुनिश्चित करता है कि संसाधनों का उपयोग कुशलता से किया जाता है और प्रणाली किसी भी स्तर पर विश्वसनीय है। एस्ट्रो में रोबस्ट डेटा-केंद्रित अलर्टिंग है जो विभिन्न चैनलों जैसे स्लैक और पेजरड्यूटी के माध्यम से अनुकूलित सूचनाएं भेजी जा सकती हैं। यह सुनिश्चित करता है कि समस्याओं का समय पर हस्तक्षेप किया जाता है इससे पहले कि वे बढ़ जाएं।
डेटा पाइपलाइनों और अंततः आपके व्यवसाय को शक्ति प्रदान करने वाले डेटा की विश्वसनीयता, सटीकता और दक्षता सुनिश्चित करने में डेटा सत्यापन परीक्षण, यूनिट परीक्षण और डेटा गुणवत्ता जांच महत्वपूर्ण भूमिका निभाते हैं। ये जांच सुनिश्चित करती हैं कि जबकि आप अपनी समय सीमा को पूरा करने के लिए जल्दी से डेटा पाइपलाइन बनाते हैं, वे सक्रिय रूप से त्रुटियों को पकड़ रहे हैं, विकास समय में सुधार कर रहे हैं और पृष्ठभूमि में अप्रत्याशित त्रुटियों को कम कर रहे हैं। एस्ट्रोनॉमर में, हमने एस्ट्रो सीएलआई जैसे टूल्स बनाए हैं जो आपको अपने डेटा पाइपलाइन में कोड कार्यक्षमता या एकीकरण समस्याओं की पहचान करने में मदद करते हैं।
जनरेटिव एआई शासन के विकास को आप कैसे देखते हैं, और अधिक उपकरण बनाने के लिए क्या कदम उठाए जाने चाहिए?
शासन अनिवार्य है यदि जनरेटिव एआई के अनुप्रयोग सफल होने वाले हैं। यह सभी के बारे में पारदर्शिता और पुनरुत्पादनीयता है। क्या आप जानते हैं कि आप इस परिणाम कैसे प्राप्त करते हैं, और कहां से, और किसने? एयरफ्लो स्वयं आपको देखने का एक तरीका देता है कि व्यक्तिगत डेटा पाइपलाइन क्या कर रही हैं। इसका उपयोगकर्ता इंटरफ़ेस इसके शुरुआती गोद लेने के कारणों में से एक था, और एस्ट्रोनॉमर में, हमने टीमों और तैनाती के पार दृश्यता के साथ इसे बढ़ाया है। हम अपने ग्राहकों को रिपोर्टिंग डैशबोर्ड भी प्रदान करते हैं जो प्लेटफ़ॉर्म के उपयोग, प्रदर्शन और लागत विश्लेषण के लिए व्यापक अंतर्दृष्टि प्रदान करते हैं ताकि सूचित निर्णय लिए जा सकें। इसके अलावा, एस्ट्रो एपीआई टीमों को अपने एयरफ्लो पाइपलाइनों को प्रोग्रामेटिक रूप से तैनात करने, स्वचालित करने और प्रबंधित करने की अनुमति देता है, जो मैनुअल प्रक्रियाओं से जुड़े जोखिमों को कम करता है और बड़े पैमाने पर कई एयरफ्लो वातावरणों के प्रबंधन के दौरान संचालन को सुनिश्चित करता है। वंशावली क्षमताएं प्लेटफ़ॉर्म में निहित हैं।
वे सभी डेटा शासन का प्रबंधन करने में मदद करने के लिए कदम हैं, और मुझे लगता है कि सभी आकार की कंपनियां एआई अनुप्रयोगों में विश्वास सुनिश्चित करने के लिए डेटा शासन के महत्व को पहचान रही हैं। यह मान्यता और जागरूकता डेटा शासन उपकरणों की मांग को बढ़ावा देगी, और मुझे लगता है कि जनरेटिव एआई के प्रसार के रूप में उनके निर्माण में तेजी आएगी। लेकिन उन्हें बड़े ऑर्केस्ट्रेशन स्टैक का हिस्सा होना चाहिए, जो हम अपने प्लेटफ़ॉर्म का निर्माण कैसे करते हैं इसका एक मूलभूत हिस्सा है।
क्या आप बता सकते हैं कि एस्ट्रोनॉमर के समाधानों ने ग्राहकों के लिए परिचालन दक्षता और उत्पादकता में सुधार कैसे किया है?
जनरेटिव एआई प्रक्रियाओं में जटिल और संसाधन-गहन कार्य शामिल होते हैं जिन्हें सावधानीपूर्वक अनुकूलित और बार-बार निष्पादित किया जाना चाहिए। एस्ट्रो, एस्ट्रोनॉमर का प्रबंधित अपाचे एयरफ्लो प्लेटफ़ॉर्म, उभरते एआई ऐप स्टैक के केंद्र में इन कार्यों को सरल बनाने और नवाचार की क्षमता को बढ़ाने में मदद करने के लिए एक फ्रेमवर्क प्रदान करता है।
जनरेटिव एआई कार्यों को ऑर्केस्ट्रेट करके, व्यवसाय यह सुनिश्चित कर सकते हैं कि गणना संसाधनों का उपयोग कुशलता से किया जाता है और कार्यप्रवाह वास्तविक समय में अनुकूलित और समायोजित किए जाते हैं। यह विशेष रूप से उन वातावरणों में महत्वपूर्ण है जहां जनरेटिव मॉडल को नए डेटा के आधार पर बार-बार अपडेट या पुनः प्रशिक्षित किया जाना चाहिए।
एयरफ्लो के वर्कफ्लो प्रबंधन और एस्ट्रोनॉमर की तैनाती और स्केलिंग क्षमताओं का लाभ उठाकर, टीमें बुनियादी ढांचे के प्रबंधन पर कम समय बिता सकती हैं और इसके बजाय डेटा परिवर्तन और मॉडल विकास पर ध्यान केंद्रित कर सकती हैं, जो जनरेटिव एआई अनुप्रयोगों की तैनाती को तेज करता है और प्रदर्शन में सुधार करता है।
इस तरह, एस्ट्रोनॉमर का एस्ट्रो प्लेटफ़ॉर्म जनरेटिव एआई को विभिन्न उपयोग के मामलों में बढ़ाने में ग्राहकों की मदद की है, जिनमें ई-कॉमर्स उत्पाद खोज, ग्राहक चूर्न जोखिम विश्लेषण, समर्थन स्वचालन, कानूनी दस्तावेज़ वर्गीकरण और सारांश, ग्राहक समीक्षा से उत्पाद अंतर्दृष्टि प्राप्त करना और उत्पाद छवि जनरेशन के लिए गतिशील क्लस्टर प्रावधान शामिल हैं।
एआई और एमएल अनुप्रयोगों के प्रदर्शन और स्केलेबिलिटी को बढ़ाने में एस्ट्रोनॉमर की क्या भूमिका है?
2024 में जनरेटिव एआई में कदम रखने वाले व्यवसायों के लिए स्केलेबिलिटी एक प्रमुख चुनौती है। जब प्रोटोटाइप से उत्पादन में जाने की बात आती है, तो उपयोगकर्ता अपने जनरेटिव एआई ऐप्स को विश्वसनीय और प्रदर्शन करने योग्य होने की अपेक्षा करते हैं, और उनके द्वारा उत्पादित आउटपुट पर विश्वास किया जा सकता है। यह लागत प्रभावी ढंग से किया जाना चाहिए और सभी आकार के व्यवसायों को इसकी क्षमता का दोहन करने में सक्षम होना चाहिए। एस्ट्रोनॉमर का उपयोग करके, कार्यों को क्षैतिज रूप से स्केल किया जा सकता है ताकि बड़ी संख्या में डेटा स्रोतों को गतिशील रूप से संसाधित किया जा सके। एस्ट्रो तैनाती और होस्ट किए गए क्लस्टर को लचीले रूप से स्केल कर सकता है, और क्यू-आधारित कार्य निष्पादन के साथ समर्पित मशीन प्रकार अधिक विश्वसनीयता और संसाधनों के कुशल उपयोग प्रदान करते हैं। लागत प्रभावशीलता के टुकड़े को हल करने में मदद करने के लिए, एस्ट्रो स्केल-टू-ज़ीरो और हाइबरनेशन सुविधाएं प्रदान करता है, जो लागतों को नियंत्रित करने और क्लाउड खर्च को कम करने में मदद करता है। हम प्लेटफ़ॉर्म की लागत के बारे में पूरी पारदर्शिता भी प्रदान करते हैं। मेरी अपनी डेटा टीम दैनिक रूप से उपभोग पर रिपोर्ट उत्पन्न करती है जिसे हम अपने ग्राहकों को उपलब्ध कराते हैं।
एआई और डेटा साइंस में आप कौन से भविष्य के रुझानों के बारे में उत्साहित हैं, और एस्ट्रोनॉमर उनके लिए कैसे तैयार हो रहा है?
व्याख्यात्मक एआई एक बहुत ही महत्वपूर्ण और रोमांचक विकास क्षेत्र है। बहुत बड़े मॉडल के आंतरिक कामकाज में झांकना लगभग अजीब है। और मुझे यह देखने में दिलचस्पी है कि समुदाय मॉडल प्रशिक्षण और ट्यूनिंग के पर्यावरणीय प्रभाव से कैसे निपटता है। एस्ट्रोनॉमर में, हम अपने रजिस्ट्री को नियमित रूप से अद्यतन करते हैं ताकि डेटा और एमएल टीमें बिना किसी भारी उठाने के सर्वोत्तम मॉडल सेवाओं और सबसे कुशल कंप्यूट प्लेटफार्मों से जुड़ सकें।
आप आगामी वर्षों में उन्नत एआई टूल जैसे एलएलएम के पारंपरिक डेटा प्रबंधन प्रणालियों के साथ एकीकरण को कैसे देखते हैं?
हमने हाल ही में देखा है कि डाटाब्रिक्स और स्नोफ्लेक ने अपने संबंधित प्लेटफ़ॉर्म के भीतर एलएलएम के उपयोग और विकास के बारे में घोषणा की है। अन्य डीबीएमएस और एमएल प्लेटफ़ॉर्म भी ऐसा ही करेंगे। यह देखकर अच्छा लगता है कि डेटा इंजीनियरों के पास ऐसे शक्तिशाली तरीकों तक इतनी आसान पहुंच है, सीधे कमांड लाइन या एसक्यूएल प्रोम्प्ट से।
मैं विशेष रूप से रिलेशनल डेटाबेस में मशीन लर्निंग को एकीकृत होते देखने में रुचि रखता हूं। मैं हमेशा इंतजार करता हूं कि एमएल विधियों को एसक्यूएल मानक में शामिल किया जाए, लेकिन किसी कारण से दो अनुशासन कभी भी वास्तव में हिट नहीं हुए हैं। शायद इस बार अलग होगा।
मैं डेटा इंजीनियर के काम में बड़े भाषा मॉडल की क्षमता के बारे में बहुत उत्साहित हूं। शुरुआत के लिए, एलएलएम कोड जेनरेशन के साथ विशेष रूप से सफल रहे हैं, हालांकि डेटा वैज्ञानिकों को एआई-संचालित सुझाव प्रदान करने के प्रयास पहले मिले-जुले रहे हैं: हेक्स, उदाहरण के लिए, बहुत अच्छा है, जबकि स्नोफ्लेक अभी तक प्रेरणादायक नहीं है। लेकिन डेटा टीमों के लिए काम की प्रकृति को बदलने की巨ी संभावना है, विकासकर्ताओं की तुलना में बहुत अधिक। क्यों? सॉफ्टवेयर इंजीनियरों के लिए, प्रॉम्प्ट एक फंक्शन नाम या डॉक्स है, लेकिन डेटा इंजीनियरों के लिए, डेटा भी है। डेटा इंजीनियरों के पास मॉडल के साथ काम करने के लिए इतना सारा संदर्भ है।
उभरते डेटा वैज्ञानिकों और एआई इंजीनियरों को जो उद्योग में प्रभाव डालना चाहते हैं, उन्हें आप क्या सलाह देंगे?
करके सीखें। यह इतना आसान है कि आजकल अनुप्रयोगों का निर्माण किया जा सकता है, और उन्हें कृत्रिम बुद्धिमत्ता से बढ़ाया जा सकता है। इसलिए कुछ ठंडा बनाएं, और इसे एक मित्र के मित्र को भेजें जो एक कंपनी में काम करता है जिसकी आप प्रशंसा करते हैं। या मुझे भेजें, और मैं वादा करता हूं कि मैं इसे देखूंगा!
चाल यह है कि आप जिस चीज़ के बारे में भावुक हैं और एक अच्छा डेटा स्रोत ढूंढें। मेरे एक मित्र ने 19वीं शताब्दी से असामान्य बेसबॉल सीज़न का एक दिलचस्प विश्लेषण किया और कुछ ऐसी कहानियां उजागर कीं जो एक फिल्म के योग्य हैं। और हाल ही में एस्ट्रोनॉमर के कुछ इंजीनियरों ने एक सप्ताहांत में मिलकर स्व-चिकित्सा डेटा पाइपलाइनों के लिए एक प्लेटफ़ॉर्म बनाया। मैं कल्पना नहीं कर सकता कि कुछ साल पहले ऐसा करने की कोशिश की जाए, लेकिन कुछ दिनों के प्रयास के साथ हमने कोहेरे के हैकथॉन जीता और हमारे प्लेटफ़ॉर्म में एक प्रमुख नई सुविधा का आधार बनाया।
साक्षात्कार के लिए धन्यवाद, पाठक जो और जानना चाहते हैं उन्हें एस्ट्रोनॉमर पर जाना चाहिए。
