विचार नेता

AI ऑर्केस्ट्रेशन इंजीनियरिंग का उदय

Andrew Filev
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
A cinematic, wide-angle shot of a technical professional sitting at a futuristic curved workstation in a dark data center, orchestrating a complex digital workflow displayed on glowing holographic glass panels.
मुख्य बिंदुएक तीन-सदस्यीय OpenAI टीम ने Codex के माध्यम से बिना कोई कोड मैन्युअल रूप से लिखे दस…
और देखें
  • एक तीन-सदस्यीय OpenAI टीम ने Codex के माध्यम से बिना कोई कोड मैन्युअल रूप से लिखे दस लाख लाइनें भेजीं।
  • AI ऑर्केस्ट्रेशन इंजीनियरिंग DevOps आर्किटेक्चर और AI विशेषज्ञता को एक केंद्रीकृत भूमिका में समाहित करती है।
  • जो संगठन एजेंट वर्कफ़्लो को केंद्रीकृत करते हैं, वे दोगुना थ्रूपुट प्राप्त करेंगे जबकि अन्य ऑटोकम्प्लीट पर स्थिर रहेंगे।

10x इंजीनियर पिछले कई दशकों से सिलिकॉन वैली का एक मिथक रहा है। अकेला जीनियस, हेडफ़ोन लगाए हुए, सुपरह्यूमन गति से सुंदर कोड का उत्पादन करता है। हमने तर्क दिया है कि क्या वे मौजूद हैं, इस बारे में बहस की है कि उन्हें कैसे नियुक्त किया जाए, और मन ही मन उन लोगों से खिन्न रहे हैं जिन्होंने खुद को ऐसा इंजीनियर बताया।

लेकिन कुछ दिलचस्प बातें हुईं जब हम AI को प्राथमिकता देने वाले भविष्य की ओर बढ़ रहे थे: 10x इंजीनियर वास्तविक हो गया। वे बस हमारी कल्पना के अनुसार नहीं दिखते हैं।

ओपनएआई ने हाल ही में साझा किया है कि कैसे एक तीन-व्यक्ति टीम ने कोडेक्स का उपयोग करके 1,500 पुल अनुरोध और कोड की लगभग दस लाख पंक्तियों को शिप किया, बिना एक भी लाइन मैनुअल रूप से लिखे। तीन इंजीनियर, और शून्य हाथ से लिखा कोड। वास्तविक उपयोग के वातावरण में चलने वाला एक उत्पाद, जो सैकड़ों आंतरिक उपयोगकर्ताओं द्वारा उपयोग किया जाता है।

यह 10x नहीं है; यह 100x के करीब है। और यह कौशल जो इसे संभव बनाता है, यह टाइपिंग की गति या अधिक एल्गोरिदम जानने में नहीं था। यह एआई एजेंटों को उत्पादक बनाने वाली प्रणाली का निर्माण करना था: कार्य प्रवाह, गार्डरेल, सत्यापन लूप, वे इंटरफेस जिनसे एजेंट जुड़ते हैं और जिनके माध्यम से मनुष्य काम की समीक्षा करते हैं।

मुझे लगता है कि यह इंजीनियरिंग संगठनों में एक नए प्रमुख कार्य का उदय है। मैं इसे एआई ऑर्केस्ट्रेशन इंजीनियरिंग कहूंगा।

तीन विधाएँ एक स्टैंडअप बैठक में मिलती हैं

यदि आप देखते हैं कि एक एआई ऑर्केस्ट्रेशन इंजीनियर वास्तव में क्या करता है, तो आप तीन परिचित विधाओं को एक में जुड़ा हुआ पाएँगे।

सबसे स्पष्ट सामग्री डेवओप्स है। डेवओप्स ने डिप्लॉयमेंट पाइपलाइन को केंद्रीकृत किया। एक टीम ने सीआई/सीडी कार्य प्रवाह को कॉन्फ़िगर किया जो हर इंजीनियर ने कोड शिपिंग करते समय उपयोग किया। एआई ऑर्केस्ट्रेशन इंजीनियरिंग वही करती है, लेकिन एजेंट कार्य प्रवाह के लिए। यह परिभाषित करता है कि कार्य एजेंटों को कैसे असाइन किए जाते हैं, आउटपुट कैसे मान्य किए जाते हैं, रिट्राई और फॉलबैक कैसे काम करते हैं। यह साझा बुनियादी ढांचा है जिस पर एजेंट चलते हैं।

फिर आर्किटेक्चर है, जो डेवओप्स से अधिक ओवरलैप करता है जितना आप उम्मीद करेंगे। आर्किटेक्ट तय करते हैं कि कौन से इंटरफेस लॉक किए गए हैं, किन पैटर्न का पालन अनिवार्य है, कौन सी सीमाएं पार नहीं की जा सकती हैं। एक एजेंट-पहले दुनिया में, यह और भी महत्वपूर्ण है। एजेंटों को साफ, अच्छी तरह से दस्तावेजीकृत कोडबेस की आवश्यकता होती है जिसमें स्पष्ट अनुबंध हों। एआई ऑर्केस्ट्रेशन इंजीनियर उन प्रतिबंधों को परिभाषित करता है, न केवल मानव पठनीयता के लिए, बल्कि एजेंट की समझ के लिए भी। एक अव्यवस्थित रेपो अब केवल तकनीकी ऋण नहीं है; यह हर एजेंट के लिए उत्पादकता की सीमा है जो इसे छूता है।

सबसे कम समझा जाने वाला टुकड़ा एआई-विशिष्ट परत है। प्रॉम्प्ट इंजीनियरिंग, संदर्भ प्रबंधन, मॉडल चयन, एजेंट कॉन्फ़िगरेशन। आज, अधिकांश इंजीनियर इसे एक बिखरे हुए, कार्य-दर-कार्य तरीके से करते हैं। प्रत्येक व्यक्ति अपनी प्रॉम्प्टिंग शैली, अपने एजेंट सेटअप, अपने वर्कअराउंड का पता लगाता है। एआई ऑर्केस्ट्रेशन इंजीनियर इसे केंद्रीकृत करता है। वे साझा प्लेबुक, दोबारा इस्तेमाल किए जा सकने वाले कॉन्फ़िगरेशन और विभिन्न मॉडलों व उपयोग के मामलों में क्या काम करता है और क्या नहीं, इसकी संगठनात्मक जानकारी तैयार करते हैं।

अलग-अलग, ये तीन कार्य अधिकांश इंजीनियरिंग संगठनों में आज मौजूद हैं। तर्क यह है कि उन्हें एक एकल, केंद्रीकृत भूमिका में मिलाने से कुछ गुणात्मक रूप से अलग बन जाता है।

शो-रनर मेटाफर

एक फिल्म निर्देशक कैमरा संचालित नहीं करता है, दृश्यों में अभिनय नहीं करता है, या फुटेज को संपादित नहीं करता है। लेकिन हर फ्रेम उनके निर्णयों को दर्शाता है।

वे शॉट संरचना, गति, स्वर का चयन करते हैं। वे तय करते हैं कि कब कैमरे को पास लाकर क्लोज़-अप लेना है और कब पीछे हटाकर चौड़ा दृश्य दिखाना है। वे पर्यावरण (प्रकाश, सेट डिज़ाइन, कलाकारों की स्थिति और आवाजाही) को इस तरह से सेट करते हैं ताकि सेट पर प्रत्येक व्यक्ति एक सुसंगत दृष्टि के भीतर अपना सर्वश्रेष्ठ काम कर सके। फिल्म की टीम के सभी सदस्य व्यक्तिगत रूप से प्रतिभाशाली हैं, लेकिन उस समन्वय के बिना, आपको ऐसा बिखरा हुआ काम मिलता है जो कभी पूरा होकर सौंपा ही नहीं जाता।

एआई ऑर्केस्ट्रेशन इंजीनियरिंग उसी तरह काम करती है। एजेंट सक्षम हैं। मॉडल शक्तिशाली हैं। लेकिन यदि कोई उनके बीच समन्वय करने वाला सिस्टम नहीं बना रहा, सीमाएँ निर्धारित नहीं कर रहा, फीडबैक लूप नहीं बना रहा और कार्यप्रवाह व्यवस्थित नहीं कर रहा, तो वही होता है जो हम सभी ने अनुभव किया है: असंगत आउटपुट, बेकार गया कंप्यूट, एक-दूसरे के विपरीत उद्देश्यों पर काम करते एजेंट, और ऐसे इंजीनियर जो AI-जनित कोड सुधारने में उसे स्वयं लिखने के लिए आवश्यक समय से भी अधिक समय लगा देते हैं।

निर्देशक एक फिल्म बनाता है जो इसके भागों के योग से अधिक है। एआई ऑर्केस्ट्रेशन इंजीनियर एजेंट बेड़े के लिए वही करता है।

अधिकांश संगठन कम निवेश कर रहे हैं

पूरे उद्योग में मुझे यह दिखाई देता है: कंपनियां एआई टूल्स में भारी निवेश कर रही हैं और उनके आसपास की प्रणालियों में आवश्यकता से बहुत कम निवेश कर रही हैं।

इंजीनियरों को कोपायलट, क्लॉड, कोडेक्स तक पहुंच मिलती है। वे व्यक्तिगत रूप से प्रयोग करते हैं। कुछ कुशल उपयोगकर्ता बन जाते हैं। अधिकांश “फैंसी ऑटोकम्प्लीट” चरण में आकर ठहर जाते हैं। 20% उत्पादकता लाभ जो अध्ययन लगातार रिपोर्ट करते हैं? यह उपकरण-स्तर के अपनाने का लक्षण है, प्रणाली-स्तर की सोच के बिना।

जो संगठन इस सीमा से आगे बढ़ रहे हैं, जो 2x या अधिक थ्रूपुट की रिपोर्ट कर रहे हैं, उनके पास एक चीज समान है। उन्होंने ऑर्केस्ट्रेशन कार्य को केंद्रीकृत किया है। कोई व्यक्ति (या कोई टीम) एजेंट कार्य प्रवाह, रिपॉजिटरी तैयारी, सत्यापन बुनियादी ढांचे, साझा संदर्भ की जिम्मेदारी सँभालता है जिसे हर एजेंट एक्सेस कर सकता है।

भूमिका वास्तव में कैसी दिखती है

एक एआई ऑर्केस्ट्रेशन इंजीनियर का दिन-प्रतिदिन का कार्य शामिल हो सकता है:

  • एजेंट कार्य प्रवाह का डिज़ाइन: यह निर्धारित करना कि फीचर अनुरोध कैसे विनिर्देश, फिर योजना, फिर समानांतर एजेंट कार्य और अंततः समीक्षा किए गए व मर्ज किए गए कोड में बदलता है।
  • सत्यापन बुनियादी ढांचे का निर्माण: स्वचालित परीक्षण, लिंटिंग नियम, सुरक्षा स्कैन, और मूल्यांकन ढाँचे जिन्हें एजेंटों को अपना काम मर्ज किए जाने से पहले पास करना होगा।
  • एजेंट की खपत के लिए रिपॉजिटरी स्वास्थ्य का रखरखाव: दस्तावेज़, स्पष्ट इंटरफेस, निर्भरता प्रबंधन, और कोडबेस सरलीकरण, सभी एजेंट की समझ के लिए अनुकूलित, न केवल मानव पठनीयता के लिए।
  • प्रॉम्प्ट और संदर्भ रणनीतियों का केंद्रीकरण: साझा प्रणाली प्रॉम्प्ट, पुनर्प्राप्ति पाइपलाइन, मॉडल रूटिंग निर्णय, और कॉन्फ़िगरेशन टेम्पलेट जिनका पूरी टीम उपयोग करती है।
  • एजेंट प्रदर्शन की निगरानी और सुधार: सफलता दर, विफलता मोड, प्रति कार्य लागत, और कोड मर्ज होने तक लगने वाले समय को एजेंट बेड़े में ट्रैक करना, फिर डेटा के आधार पर प्रणाली को ट्यून करना।

यह व्यक्ति प्लेटफ़ॉर्म इंजीनियरिंग, सॉफ़्टवेयर वास्तुकला, और एआई विशेषज्ञता के बीच के चौराहे पर बैठता है। वे विशेषताओं को नहीं लिखते हैं। वे उस प्रणाली का निर्माण करते हैं जो विशेषता वितरण को तेज़, विश्वसनीय और स्केलेबल बनाती है।

ऐतिहासिक पैटर्न

क्लाउड कंप्यूटिंग के शुरुआती दिनों में, तैनाती प्रत्येक इंजीनियर का साइड क्वेस्ट था। प्रत्येक टीम के पास अपने स्क्रिप्ट, अपने सर्वर कॉन्फ़िगरेशन, अपना तरीका था कि कोड को वास्तविक उपयोग के वातावरण में कैसे पहुँचाया जाए। डेवओप्स इस काम को केंद्रीकृत करने के लिए उभरा, और प्लेटफ़ॉर्म इंजीनियरिंग विकसित हुई ताकि इसे साझा, स्व-सेवा बुनियादी ढाँचे का रूप दिया जा सके।

एआई उसी आर्क का अनुसरण कर रहा है। अभी एजेंट का उपयोग प्रत्येक इंजीनियर का साइड क्वेस्ट है। प्रत्येक व्यक्ति के पास अपनी प्रॉम्प्टिंग शैली, अपने टूल प्राथमिकताएं, अपने मानसिक मॉडल हैं कि एआई कब मदद करता है और कब नहीं। जो संगठन इसे केंद्रीकृत करते हैं, जो इसे अलग-अलग व्यक्तियों के प्रयोग के बजाय बुनियादी ढाँचा मानते हैं, वे उसी तरह से आगे निकल जाएंगे जिस तरह से डेवओप्स के परिपक्व अभ्यास वाले संगठनों ने उन लोगों को पीछे छोड़ दिया जिनके पास नहीं था।

अंतर गति है। डेवओप्स संक्रमण एक दशक ले गया। इस बदलाव में शायद कुछ ही तिमाहियाँ लगें, हालाँकि मैं मानता हूँ कि यह अनुमान इस धारणा पर आधारित है कि संगठन सामान्य से जल्दी इस पैटर्न को पहचान लेंगे।

आगे का रास्ता

यदि आप एक इंजीनियरिंग नेता हैं, तो मैं आपको यह सुझाव दूंगा, हालांकि आपके परिणाम इस पर निर्भर करेंगे कि आपकी टीम पहले ही कितनी आगे बढ़ चुकी है।

  1. जो पहले से ही इस काम को अनौपचारिक रूप से कर रहा है उसे पहचानें। हर संगठन में कोई ऐसा व्यक्ति होता है जिसने एजेंट कार्यप्रवाहों को समझ लिया है और जिसके पास दूसरे इंजीनियर प्रॉम्प्टिंग या टूल सेटअप की सलाह लेने आते हैं। वह व्यक्ति आपका प्रोटो-एआई ऑर्केस्ट्रेशन इंजीनियर है।
  2. इसे स्पष्ट करें। कार्य को एक नाम, स्पष्ट अधिकार और दायित्व, और संसाधन दें। इसे किसी की “असली” नौकरी से जुड़े एक अतिरिक्त प्रोजेक्ट के रूप में न रहने दें।
  3. रिपॉजिटरी तैयारी से शुरू करें। जटिल एजेंट कार्य प्रवाह में निवेश करने से पहले सुनिश्चित करें कि आपका कोडबेस कुछ ऐसा है जिसे एजेंट वास्तव में नेविगेट कर सकते हैं। साफ इंटरफेस, अच्छे दस्तावेज़, व्यापक परीक्षण, सरलीकृत वास्तुकला।
  4. केंद्रीकृत करें जो काम करता है। जब कोई एक प्रॉम्प्टिंग रणनीति या कार्य प्रवाह पैटर्न का पता लगाता है जो एजेंट आउटपुट में नाटकीय रूप से सुधार करता है, तो इसे कैप्चर करें। इसे पूरी टीम के लिए डिफ़ॉल्ट बनाएं, न कि ऐसा अनलिखा ज्ञान जो केवल एक व्यक्ति के दिमाग में बंद रहे।
  5. सिस्टम स्तर पर मापें। केवल व्यक्तिगत टूल उपयोग को ट्रैक न करें। एजेंटों द्वारा शुरू से अंत तक पूरे किए गए कार्यों की संख्या, समीक्षा और पुनर्कार्य दर, बोतलनेक को ट्रैक करें।

नया 10x

10x इंजीनियर का मिथक हमेशा व्यक्तिगत नायकत्व के बारे में रहा है। एक व्यक्ति, सिर्फ प्रतिभा और कैफीन के बल पर सभी से बेहतर प्रदर्शन कर रहा है।

एआई युग में 10x इंजीनियर की वास्तविकता प्रणाली सोच के बारे में है। जो व्यक्ति हर अन्य इंजीनियर (और हर एजेंट) को सही बुनियादी ढाँचा, सही कार्यप्रवाह और सही सीमाएँ बनाकर अधिक उत्पादक बनाता है।

वे 10x कोड नहीं लिखते हैं। वे उस प्रणाली का निर्माण करते हैं जो इसे लिखती है।

मुझे यकीन नहीं है कि यह भूमिका ठीक वैसी ही सामने आएगी जैसा मैंने यहां वर्णित किया है। लेकिन मुझे काफी विश्वास है कि जो संगठन ऑर्केस्ट्रेशन परत (जो भी वे इसे बुलाते हैं) का पता लगाते हैं, वे वास्तव में उत्पादकता लाभ को महसूस करेंगे जिनके बारे में बाकी लोग केवल बातें कर रहे हैं।

एंड्रू फिलेव Zencoder के संस्थापक/सीईओ हैं। उन्होंने व्राइक (20,000 से अधिक ग्राहक, 2.25 अरब डॉलर में बेची गई) की स्थापना करके सहयोगी कार्य प्रबंधन को बदल दिया, फोर्ब्स और द न्यू यॉर्क टाइम्स में उनके बारे में लिखा गया, और उनका एआई और नवाचार के लिए जुनून कार्य के भविष्य को आकार देना जारी रखता है।