जूलियन लाएनवे, खगोलशास्त्री में सीटीओ - साक्षात्कार श्रृंखला

जूलियन लानावे में मुख्य तकनीकी अधिकारी (सीटीओ) हैं खगोलविदएआई से लेकर सामान्य एनालिटिक्स तक हर चीज को सशक्त बनाने के लिए अपाचे एयरफ्लो और आधुनिक डेटा ऑर्केस्ट्रेशन के पीछे की प्रेरक शक्ति।

जूलियन एस्ट्रोनॉमर में उत्पाद और इंजीनियरिंग करते हैं जहां वह डेवलपर अनुभव, डेटा अवलोकन और एआई पर ध्यान केंद्रित करते हैं। वह इसके लेखक भी हैं व्यवस्थित, एयरफ्लो डीएजी के रूप में डीबीटी कोर परियोजनाओं को चलाने के लिए एक एयरफ्लो प्रदाता।

उन्हें सभी चीजों के डेटा और ओपन सोर्स का शौक है क्योंकि वह अपना खाली समय हैकथॉन करने, नई परियोजनाओं को प्रोटोटाइप करने और नवीनतम डेटा की खोज करने में बिताते हैं।

क्या आप अपनी व्यक्तिगत कहानी साझा कर सकते हैं कि आप सॉफ्टवेयर इंजीनियरिंग से कैसे जुड़े और खगोलशास्त्री के सीटीओ बनने तक कैसे काम किया?

मैं तब से कोडिंग कर रहा हूं जब मैं मिडिल स्कूल में था। मेरे लिए, इंजीनियरिंग हमेशा एक महान रचनात्मक आउटलेट रही है: मैं एक विचार के साथ आ सकता हूं और एक दृष्टिकोण के निर्माण के लिए जो भी तकनीक आवश्यक है उसका उपयोग कर सकता हूं। हालाँकि, इंजीनियरिंग में कुछ समय बिताने के बाद, मैं और अधिक करना चाहता था। मैं यह समझना चाहता था कि व्यवसाय कैसे चलाए जाते हैं, उत्पाद कैसे बेचे जाते हैं और टीमें कैसे बनाई जाती हैं-- और मैं जल्दी से सीखना चाहता था।

मैंने बीसीजी में प्रबंधन परामर्श में काम करते हुए कुछ साल बिताए, जहां मैंने विभिन्न उद्योगों में विभिन्न प्रकार की परियोजनाओं पर काम किया। मैंने बहुत कुछ सीखा, लेकिन अंततः उत्पाद बनाने और दीर्घकालिक दृष्टिकोण की दिशा में काम करने से चूक गया। मैंने एस्ट्रोनॉमर की उत्पाद प्रबंधन टीम में शामिल होने का फैसला किया, जहां मैं अभी भी ग्राहकों के साथ काम कर सकता हूं और रणनीतियां बना सकता हूं (परामर्श से मुझे जो चीजें पसंद आईं), लेकिन वास्तविक उत्पाद बनाने और प्रौद्योगिकी के साथ काम करने में भी मुझे बहुत मदद मिल सकती है।

कुछ समय के लिए, मैंने एक हाइब्रिड पीएम/इंजीनियर के रूप में काम किया - मैं ग्राहकों के साथ काम करके उनके सामने आने वाली चुनौतियों को समझूंगा और एक पीएम के रूप में उत्पादों और सुविधाओं को डिजाइन करूंगा। फिर, मैं उत्पाद आवश्यकताओं को ध्यान में रखूंगा और वास्तव में उत्पाद या सुविधा तैयार करने के लिए इंजीनियरिंग टीम के साथ काम करूंगा। समय के साथ, मैंने एस्ट्रोनॉमर में उत्पादों के एक बड़े सेट के साथ ऐसा किया, जिसके परिणामस्वरूप अंततः मुझे सीटीओ की भूमिका मिली, जिसमें मैं अब हूं।

उन उपयोगकर्ताओं के लिए जो एयरफ्लो से अपरिचित हैं, क्या आप बता सकते हैं कि प्रोग्रामेटिक रूप से लेखक, शेड्यूल और वर्कफ़्लो की निगरानी के लिए यह आदर्श मंच क्या है?

अपाचे एयरफ्लो बैच-उन्मुख वर्कफ़्लो के विकास, शेड्यूलिंग और निगरानी के लिए एक ओपन-सोर्स प्लेटफ़ॉर्म है। एयरफ़्लो वर्कफ़्लो प्रबंधन क्षमताएं प्रदान करता है जो आधुनिक क्लाउड-नेटिव डेटा प्लेटफ़ॉर्म का अभिन्न अंग हैं। यह नौकरियों के निष्पादन को स्वचालित करता है, कार्यों के बीच निर्भरता का समन्वय करता है, और संगठनों को वर्कफ़्लो की निगरानी और प्रबंधन के लिए नियंत्रण का एक केंद्रीय बिंदु देता है।

डेटा प्लेटफ़ॉर्म आर्किटेक्ट विभिन्न प्रणालियों के माध्यम से डेटा की आवाजाही और प्रसंस्करण को स्वचालित करने, जटिल डेटा प्रवाह को प्रबंधित करने और लचीली शेड्यूलिंग, निगरानी और चेतावनी प्रदान करने के लिए एयरफ़्लो का लाभ उठाते हैं। ये सभी सुविधाएँ आधुनिक डेटा टीमों के लिए बेहद उपयोगी हैं, लेकिन जो बात एयरफ़्लो को आदर्श प्लेटफ़ॉर्म बनाती है, वह यह है कि यह एक ओपन-सोर्स प्रोजेक्ट है - जिसका अर्थ है कि एयरफ़्लो उपयोगकर्ताओं और योगदानकर्ताओं का एक समुदाय है जो प्लेटफ़ॉर्म को और विकसित करने के लिए लगातार काम कर रहे हैं, समस्याओं का समाधान करें और सर्वोत्तम अभ्यास साझा करें।

एयरफ़्लो में लोकप्रिय डेटाबेस, एप्लिकेशन और टूल के साथ-साथ दर्जनों क्लाउड सेवाओं के साथ कई डेटा एकीकरण भी हैं - और हर महीने और अधिक जोड़े जाते हैं।

खगोलशास्त्री आंतरिक प्रक्रियाओं के लिए वायुप्रवाह का उपयोग कैसे करता है?

हम एयरफ़्लो का भरपूर उपयोग करते हैं! स्वाभाविक रूप से, हमारी अपनी डेटा टीम है जो व्यवसाय और हमारे ग्राहकों तक डेटा पहुंचाने के लिए एयरफ़्लो का उपयोग करती है। उनके पास कुछ बहुत ही परिष्कृत टूलिंग हैं जो उन्होंने एयरफ़्लो के आसपास बनाए हैं जिनका उपयोग हमने व्यापक प्लेटफ़ॉर्म पर फीचर विकास के लिए प्रेरणा के रूप में किया है।

हम कुछ बेहद अपरंपरागत उपयोग के मामलों के लिए भी एयरफ़्लो का उपयोग करते हैं, लेकिन यह बहुत अच्छा प्रदर्शन करता है। उदाहरण के लिए, हमारी सीआरई टीम अपने ग्राहकों की ओर से चलाए जा रहे सैकड़ों कुबेरनेट क्लस्टर और हजारों एयरफ्लो परिनियोजन की निगरानी के लिए एयरफ्लो का उपयोग करती है। समस्याओं की जाँच के लिए उनकी पाइपलाइनें लगातार चलती रहती हैं, और यदि हमें कोई समस्या नज़र आती है, तो हम अपने ग्राहकों की ओर से सक्रिय सहायता टिकट खोलेंगे।

मैंने व्यक्तिगत उपयोग के मामलों के लिए भी एयरफ़्लो का उपयोग किया है। मेरा पसंदीदा (आज तक) वह समय था जब मैं न्यूयॉर्क शहर जा रहा था। यदि आप कभी यहां रहे हैं, तो आपको पता होगा कि किराये का बाजार पागलपन भरा है। सूचीबद्ध होने के कुछ ही घंटों के भीतर अपार्टमेंट किराए पर मिल जाते हैं। मेरे रूममेट्स और मेरे पास मानदंडों की एक सूची थी जिस पर हम सभी सहमत थे (स्थान, शयनकक्षों की संख्या, बाथरूम, आदि), और मैंने एक एयरफ्लो डीएजी बनाया जो हर कुछ मिनटों में चलता था, विभिन्न अपार्टमेंट लिस्टिंग साइटों से नई लिस्टिंग खींची, और मुझे टेक्स्ट किया ( धन्यवाद ट्विलियो!) हर बार कुछ नया होता था जो हमारे मानदंडों से मेल खाता था। जिस अपार्टमेंट में मैं अब रह रहा हूं वह एयरफ्लो की बदौलत मिला था!

खगोलशास्त्री ने डिज़ाइन किया ज्योतिष, एक आधुनिक डेटा ऑर्केस्ट्रेशन प्लेटफ़ॉर्म, जो एयरफ़्लो द्वारा संचालित है। क्या आप हमारे साथ साझा कर सकते हैं कि कैसे यह टूल कंपनियों को अपने डेटा संचालन के मूल में एयरफ्लो को आसानी से रखने में सक्षम बनाता है?

एस्ट्रो संगठनों और विशेष रूप से, डेटा इंजीनियरों, डेटा वैज्ञानिकों और डेटा विश्लेषकों को उनके सभी डेटा प्रवाह के लिए एक ही मंच पर अपने मिशन-महत्वपूर्ण डेटा पाइपलाइनों को बनाने, चलाने और विकसित करने में सक्षम बनाता है। यह एकमात्र प्रबंधित एयरफ्लो सेवा है जो उच्च स्तर की डेटा सुरक्षा और संरक्षण प्रदान करती है और कंपनियों को उनके व्यापक व्यावसायिक लक्ष्यों पर ध्यान केंद्रित करने के लिए उनकी तैनाती और संसाधनों को मुक्त करने में मदद करती है।

हमारे ग्राहकों में से एक, एनेस्टेसियाएक अत्याधुनिक प्रौद्योगिकी कंपनी, ने एयरफ़्लो को प्रबंधित करने के लिए एस्ट्रो को चुना क्योंकि उनके पास एयरफ़्लो को स्वयं बनाए रखने के लिए पर्याप्त समय या संसाधन नहीं थे। एस्ट्रो बैक एंड पर काम करता है ताकि टीमें एयरफ्लो के प्रबंधन जैसी अविभाज्य गतिविधियों पर समय बर्बाद करने के बजाय मुख्य व्यावसायिक गतिविधियों पर ध्यान केंद्रित कर सकें।

एस्ट्रो के मुख्य घटकों में से एक लोचदार स्केलेबिलिटी है, क्या आप परिभाषित कर सकते हैं कि यह क्या है और क्लाउड कंप्यूटिंग वातावरण के लिए यह महत्वपूर्ण क्यों है?

हमारे लिए, इसका मतलब सिर्फ इतना है कि हर समय ढेर सारा बुनियादी ढांचा चलाए बिना अपने ग्राहकों की गणना संबंधी मांगों को पूरा करने की हमारी क्षमता। हमारे ग्राहक विभिन्न प्रकार के उपयोग के मामलों के लिए हमारे प्लेटफ़ॉर्म का उपयोग करते हैं, जिनमें से अधिकांश में उच्च गणना आवश्यकताएं होती हैं (प्रशिक्षण मशीन लर्निंग मॉडल, बड़े डेटा को संसाधित करना, आदि)। खगोलशास्त्री के मुख्य मूल्य प्रस्तावों में से एक यह है कि, एक ग्राहक के रूप में, आपको अपनी पाइपलाइन चलाने वाली मशीनों के बारे में सोचने की ज़रूरत नहीं है। आप अपनी पाइपलाइनें एस्ट्रो पर तैनात करते हैं, और उम्मीद कर सकते हैं कि वे काम करेंगी। हमने सुविधाओं और प्रणालियों का एक सेट बनाया है जो हमारे ग्राहकों की बदलती मांगों को पूरा करने के लिए हमारे बुनियादी ढांचे को बढ़ाने में मदद करता है, और यह कुछ ऐसा है जिसे हम भविष्य में भी जारी रखने के लिए उत्साहित हैं।

आप अपाचे एयरफ्लो के लिए एलएलएम-संचालित चैटबॉट, आस्क-एस्ट्रो के निर्माण के लिए खगोलशास्त्री टीम के लिए जिम्मेदार थे। क्या आप हमारे साथ आस्क-एस्ट्रो क्या है और इसे संचालित करने वाले एलएलएम के बारे में विवरण साझा कर सकते हैं?

एस्ट्रोनॉमर की हमारी टीम में कुछ सबसे जानकार एयरफ्लो समुदाय के सदस्य हैं और हम उनके ज्ञान को साझा करना आसान बनाना चाहते थे। ऐसा करने के लिए, हमने एलएलएम अनुप्रयोगों के लिए आंद्रेसेन होरोविट्ज़ के उभरते आर्किटेक्चर का एक संदर्भ कार्यान्वयन बनाया, जो एआई स्टार्टअप और परिष्कृत तकनीकी कंपनियों द्वारा उपयोग किए जाने वाले सबसे आम सिस्टम, टूल और डिज़ाइन पैटर्न दिखाता है। हमने इस संदर्भ कार्यान्वयन के बारे में कुछ जानकारियों के साथ शुरुआत की और अपाचे एयरफ्लो भी वास्तुकला में एक केंद्रीय भूमिका निभाता है। आस्क एस्ट्रो एक वास्तविक जीवन का संदर्भ है जो दिखाता है कि सभी विभिन्न टुकड़ों को एक साथ कैसे जोड़ा जाए।

आस्क एस्ट्रो एक अन्य चैटबॉट से कहीं अधिक है। खगोलशास्त्री टीम ने समुदाय की ओर से संस्थागत ज्ञान विकसित करने के लिए खुले में एप्लिकेशन विकसित करने और चुनौतियों, विचारों और समाधानों के बारे में नियमित रूप से पोस्ट करने का विकल्प चुना। टीम को किन सबसे बड़ी चुनौतियों का सामना करना पड़ा?

सबसे बड़ी चुनौती समुदाय में स्पष्ट सर्वोत्तम प्रथाओं की कमी थी। क्योंकि हर हफ्ते "अत्याधुनिक स्थिति" को फिर से परिभाषित किया गया था, यह समझना कठिन था कि कुछ समस्याओं (दस्तावेज़ अंतर्ग्रहण, मॉडल चयन, आउटपुट सटीकता माप, आदि) से कैसे निपटें। यह हमारे निर्माण के लिए एक प्रमुख चालक था एस्ट्रो से पूछो खुले में। हम एलएलएम ऑर्केस्ट्रेशन के लिए प्रथाओं का एक सेट स्थापित करना चाहते थे जो विभिन्न उपयोग के मामलों के लिए अच्छी तरह से काम करता है ताकि हमारे ग्राहक और समुदाय एलएलएम और जेनरेटिव एआई प्रौद्योगिकियों को अपनाने के लिए अच्छी तरह से तैयार महसूस कर सकें।

यह एक बढ़िया विकल्प साबित हुआ है - टूल का बहुत अधिक उपयोग होता है, हमने एलएलएम एप्लिकेशन बनाने के तरीके पर कई सार्वजनिक वार्ताएं दी हैं, और हमने आंतरिक संस्करण पेश करने के लिए ग्राहकों के एक चुनिंदा समूह के साथ काम करना भी शुरू कर दिया है। एस्ट्रो से पूछें!

 एयरफ़्लो और खगोलशास्त्री के भविष्य के लिए आपका व्यक्तिगत दृष्टिकोण क्या है?

मैं एयरफ्लो और एस्ट्रोनॉमर दोनों के भविष्य को लेकर वास्तव में उत्साहित हूं। एयरफ़्लो समुदाय लगातार बढ़ रहा है और एस्ट्रोनॉमर में, हम टीमों और व्यक्तियों के बीच इसके विकास, समर्थन और कनेक्शन को बढ़ावा देने के लिए प्रतिबद्ध हैं।

डेटा-संचालित अंतर्दृष्टि की बढ़ती मांग और डेटा स्रोतों की आमद के साथ, डेटा इंजीनियरों के लिए एक चुनौतीपूर्ण काम है। हम इन व्यक्तियों और टीमों को बड़े पैमाने पर जटिल डेटा को एकीकृत और प्रबंधित करने के लिए सशक्त बनाकर उनका बोझ हल्का करना चाहते हैं। आज, इसका मतलब एआई अपनाने और कार्यान्वयन का समर्थन करना भी है। 2023 में, कई अन्य कंपनियों की तरह, हमने इस पर ध्यान केंद्रित किया कि हम अपने ग्राहकों के लिए AI के उपयोग को कैसे तेज कर सकते हैं। हमारा प्लेटफ़ॉर्म, एस्ट्रो, एआई परिनियोजन में तेजी लाता है, एमएल विकास को सुव्यवस्थित करता है, और अगली पीढ़ी के अनुप्रयोगों के लिए आवश्यक मजबूत गणना शक्ति प्रदान करता है। इस वर्ष AI हमारा फोकस बना रहेगा और नई तकनीकों और रूपरेखाओं के सामने आने पर हम अपने ग्राहकों का समर्थन करेंगे।

इसके अलावा, खगोलशास्त्री काम करने और करियर बढ़ाने के लिए एक बेहतरीन जगह है। जैसे-जैसे डेटा परिदृश्य विकसित होता जा रहा है, यहां काम करना और अधिक रोमांचक होता जा रहा है। हम यहां एक बेहतरीन टीम बना रहे हैं और हमें कई तकनीकी चुनौतियों का समाधान करना है। हमने हाल ही में अपना मुख्यालय न्यूयॉर्क शहर में स्थानांतरित कर दिया है, जहां हम वहां मौजूद तकनीकी समुदाय का एक बड़ा हिस्सा बन सकते हैं और हम उद्योग में सर्वोत्तम, सबसे कुशल प्रतिभा को आकर्षित करने के लिए बेहतर ढंग से सुसज्जित होंगे। यदि आप दुनिया का डेटा समय पर उपलब्ध कराने में हमारी मदद करने के लिए टीम में शामिल होने में रुचि रखते हैं, तो संपर्क करें!

बेहतरीन साक्षात्कार के लिए धन्यवाद, जो पाठक अधिक जानना चाहते हैं, उन्हें अवश्य आना चाहिए खगोलविद.