टोकन की लागत से यह पता नहीं चलता कि उद्यमों में AI कारगर है या नहीं

उद्यमों में AI का सफ़र एक जानी-पहचानी राह पर आगे बढ़ रहा है। शुरुआत में संगठनों ने पूरी ताकत से इसमें निवेश किया और सबसे बड़े, सबसे सक्षम मॉडल अपनाए, क्योंकि यह तकनीक रोमांचक थी और उसका बिल अभी आया नहीं था। जब बिल आया, तो प्रतिक्रिया भी उतनी ही अनुमानित थी: टीमों ने पहुँच सीमित करना, प्रयोग कम करना और कम खर्चीले मॉडल तलाशना शुरू कर दिया।

Databricks के सह-संस्थापक और CEO Ali Ghodsi ने इस चक्र के शुरुआती दौर को “टोकन की खपत अधिकतम करना” कहा है—इसमें ज़्यादा टोकन खर्च करने को प्रगति का प्रमाण माना जाता है। इससे भी अहम दौर है “मूल्य अधिकतम करना”, यानी यह समझना कि उस खर्च से क्या हासिल हो रहा है और उसे उन कामों पर लगाना जो वाकई मायने रखते हैं।

यह लागत घटाने को दिया गया कोई नया नाम भर नहीं है। लागत घटाने का सवाल है कि कोई संगठन कम खर्च कैसे कर सकता है, जबकि मूल्य अधिकतम करने का सवाल है कि वह अपने खर्च से और ज़्यादा कैसे हासिल कर सकता है। जैसे-जैसे AI अलग-थलग प्रयोगों से निकलकर उद्यमों के रोज़मर्रा के कामकाज का हिस्सा बन रहा है, यह अंतर लगातार अहम होता जाएगा।

सबसे बड़ा मॉडल हमेशा सही मॉडल नहीं होता

कई संगठनों ने अपने AI कार्यक्रमों की शुरुआत लगभग हर काम के लिए उपलब्ध सबसे शक्तिशाली मॉडल का इस्तेमाल करके की। शुरुआती प्रयोग के दौर में यह तरीका उचित था, क्योंकि टीमें यह समझने की कोशिश कर रही थीं कि यह तकनीक क्या कर सकती है और अनुमानित परिणामों से ज़्यादा अहम मॉडल की क्षमता थी।

हालाँकि, इस्तेमाल बढ़ने के साथ हर अनुरोध के लिए अत्याधुनिक मॉडल का उपयोग करना उचित ठहराना मुश्किल हो गया। कुछ संगठनों ने पहुँच सीमित करके या टीमों से कम काम करने को कहकर प्रतिक्रिया दी, लेकिन व्यापक पाबंदियाँ वास्तविक बर्बादी के साथ उपयोगी प्रयोगों को भी रोक सकती हैं।

अब एक अधिक परिपक्व तरीका उभर रहा है। टीमें रोज़मर्रा के कामों के लिए छोटे, विशिष्ट मॉडल चुनने लगी हैं और अधिक सक्षम मॉडल उन कार्यों के लिए बचाकर रख रही हैं जिनमें जटिल तर्क की ज़रूरत होती है या जिनमें विफलता की कीमत बहुत अधिक हो सकती है। समय के साथ, कुछ संगठन लागत, प्रदर्शन और संवेदनशील डेटा पर अधिक नियंत्रण पाने के लिए अपने बुनियादी ढाँचे के भीतर भी मॉडल तैनात कर सकते हैं।

अहम सवाल यह नहीं है कि बड़ा मॉडल बेहतर है या छोटा। सवाल यह है कि क्या मॉडल उस काम के लिए उपयुक्त है और क्या उससे मिला परिणाम उसे तैयार करने की कुल लागत को उचित ठहराता है।

टोकन गतिविधि दिखाते हैं, मूल्य नहीं

उद्यमों के ज़्यादातर AI डैशबोर्ड इस बात पर केंद्रित होते हैं कि कितना इस्तेमाल हुआ। वे दिखाते हैं कि कितने टोकन इस्तेमाल किए गए, उन्हें किन मॉडलों ने संसाधित किया और संगठन ने कितना खर्च किया। ये आँकड़े ज़रूरी हैं, लेकिन इनसे यह पता नहीं चलता कि काम से कोई उपयोगी परिणाम मिला या नहीं।

दोगुने टोकन खर्च करने वाली टीम ज़रूरी नहीं कि दोगुना मूल्य भी पैदा कर रही हो। हो सकता है कि वह अधिक कठिन काम संभाल रही हो, ज़रूरत से ज़्यादा शक्तिशाली मॉडल इस्तेमाल कर रही हो या ऐसे एजेंट पर निर्भर हो जो विफल कार्यों को बार-बार फिर से करने की कोशिश करता है। मॉडल पर अधिक लागत वाला काम भी एक बेहतरीन निवेश साबित हो सकता है, अगर उससे सेवा बाधित होने से बचती है, ग्राहकों की समस्याएँ हल होती हैं या कर्मचारियों को उनके मूल्यवान समय के कई घंटे वापस मिलते हैं।

ऑब्ज़र्वेबिलिटी में भी यही समस्या वर्षों से रही है—फ़र्क बस इतना है कि वहाँ टोकन के बजाय गीगाबाइट की बात होती है। टीमों ने शुरुआत में सब कुछ इकट्ठा करना शुरू किया, क्योंकि अधिकतम दृश्यता सबसे सुरक्षित रणनीति लगती थी। जब स्टोरेज और प्रोसेसिंग के बिल बढ़े, तो खर्च पर काबू पाने के लिए उन्होंने डेटा का नमूना लेना, उसे कम समय तक रखना और संदर्भ हटाना शुरू कर दिया।

दोनों ही मामलों में, बढ़ती लागत का जवाब अक्सर काम कम करना रहा है। इसके बजाय संगठनों को यह पहचानने में सक्षम होना चाहिए कि कौन-सी गतिविधि मूल्यवान है, कौन-सी बेकार है और किसे परिणाम से समझौता किए बिना अधिक कुशल बनाया जा सकता है।

असली लागत अनुमान-प्रक्रिया से आगे तक जाती है

किसी मॉडल को किया गया एक अनुरोध शायद ही कभी पूरे AI कार्यप्रवाह का प्रतिनिधित्व करता है। जवाब देने से पहले कोई एजेंट दस्तावेज़ खोज सकता है, डेटाबेस से जानकारी ले सकता है, टेलीमेट्री में खोज कर सकता है, बाहरी सेवाओं को कॉल कर सकता है और एप्लिकेशन या बुनियादी ढाँचे पर नई गतिविधियाँ शुरू कर सकता है।

मान लीजिए कोई एजेंट यह जाँच रहा है कि तैनाती के बाद चेकआउट में देरी क्यों बढ़ गई। वह लॉग देख सकता है, मेट्रिक्स की तुलना कर सकता है, ट्रेस की जाँच कर सकता है, तैनाती के रिकॉर्ड निकाल सकता है और निर्भर सेवाओं का विश्लेषण कर सकता है। अगर उसका पहला अनुमान गलत निकलता है, तो वह समयावधि बदल सकता है, अलग-अलग सेवा नामों से खोज कर सकता है और कई वैकल्पिक कारणों की पड़ताल कर सकता है।

इस तरह, इंसान का एक निर्देश मशीन से किए गए सैकड़ों काम पैदा कर सकता है। इन कामों में कंप्यूट संसाधन, स्टोरेज का इनपुट और आउटपुट, नेटवर्क क्षमता और तीसरे पक्ष की API की उपयोग-सीमाएँ खर्च होती हैं—और इनमें से कोई भी खर्च संगठन के मॉडल-व्यय डैशबोर्ड में दिखाई न दे।

इसका मतलब है कि देखने में कम खर्चीला मॉडल भी महँगा कार्यप्रवाह चला सकता है। अधिक सक्षम मॉडल की हर कॉल की लागत ज़्यादा हो सकती है, लेकिन वह कम चरणों में सही निष्कर्ष तक पहुँच सकता है, जिससे दोबारा कोशिशें और सहायक बुनियादी ढाँचे की ज़रूरत घटती है। यह तुलना करने का एकमात्र तरीका पूरे कार्य को देखना है।

गतिविधि, लागत और परिणामों को आपस में जोड़ें

मूल्य अधिकतम करने के लिए संगठनों को जानकारी के तीन प्रकारों को आपस में जोड़ना होगा, जिन्हें अक्सर अलग-अलग मापा जाता है।

पहला पहलू एआई गतिविधि है, जिसमें मॉडल का चयन, टोकन की खपत, विलंबता, टूल कॉल, दोबारा प्रयास और समानांतर शाखाएँ शामिल हैं। दूसरा पहलू उस गतिविधि से पैदा होने वाली बुनियादी ढाँचे की और वित्तीय लागत है, जिसमें कंप्यूटिंग, स्टोरेज, नेटवर्क का उपयोग, डेटाबेस पर भार और बाहरी एपीआई शुल्क शामिल हैं। तीसरा पहलू परिणाम है, जिससे पता चलना चाहिए कि काम सफलतापूर्वक पूरा हुआ या नहीं और क्या किसी को उसका नतीजा उपयोगी लगा।

हर परिणाम को सटीक डॉलर राशि में बदलना ज़रूरी नहीं है। कोई व्यावहारिक माप पर्याप्त हो सकता है—जैसे, क्या उत्तर स्वीकार किया गया, क्या किसी व्यक्ति को काम दोबारा करना पड़ा, क्या किसी घटना का समाधान पहले से तेज़ी से हुआ, या क्या स्वचालित कार्यप्रवाह बिना किसी हस्तक्षेप के पूरा हुआ।

उदाहरण के लिए, किसी घटना की जाँच के दौरान सैकड़ों क्वेरी तैयार करना सार्थक हो सकता है, अगर इससे इंजीनियर किसी अहम सेवा को 30 मिनट पहले बहाल कर सकें। इसके उलट, बहुत छोटा कार्यप्रवाह भी बेकार साबित हो सकता है, अगर उससे ऐसी रिपोर्ट बने जिसे कोई पढ़ता ही न हो। केवल टोकन की खपत से इन दोनों में फ़र्क नहीं पहचाना जा सकता।

जब संगठन गतिविधियों को परिणामों से जोड़ पाते हैं, तो वे सोच-समझकर तय कर सकते हैं कि अत्याधुनिक मॉडल कहाँ इस्तेमाल करने हैं, कहाँ छोटे मॉडल पर्याप्त हैं और कहाँ किसी कार्यप्रवाह को नए सिरे से तैयार करने की ज़रूरत है।

निगरानी के लिए नियंत्रण छोड़ना ज़रूरी नहीं होना चाहिए

एआई के मूल्य को समझने के लिए संवेदनशील संदर्भ तक पहुँच आवश्यक है। प्रॉम्प्ट, मॉडल के जवाब, स्रोत कोड, ग्राहक की जानकारी और उत्पादन-प्रणाली का टेलीमेट्री डेटा—ये सभी एक ही कार्यप्रवाह का हिस्सा हो सकते हैं।

संगठनों को सिर्फ़ यह समझने के लिए यह जानकारी किसी बाहरी सेवा को भेजने की ज़रूरत नहीं पड़नी चाहिए कि उनके एआई सिस्टम कैसा प्रदर्शन कर रहे हैं। मापन को उपयोगी बनाने वाले प्रॉम्प्ट और उत्पादन-संदर्भ वही जानकारी हो सकते हैं, जिसे सुरक्षा, निजता और अनुपालन टीमें संगठन के परिवेश से बाहर जाने की अनुमति नहीं दे सकतीं।

इसलिए उद्यमों के नेताओं को पूछना चाहिए कि उनके एआई और निगरानी संबंधी डेटा का प्रसंस्करण कहाँ होता है, उस तक किसकी पहुँच है, उसे कितने समय तक रखा जाता है और क्या विश्लेषण उनकी मौजूदा सुरक्षा-सीमा के भीतर किया जा सकता है। सुशासन के लिए निगरानी आवश्यक है, लेकिन इस निगरानी से डेटा पर नियंत्रण की नई समस्या पैदा नहीं होनी चाहिए।

विश्लेषण को मूल डेटा के पास रखने से एआई गतिविधियों को उन एप्लिकेशन, बुनियादी ढाँचे और व्यावसायिक प्रक्रियाओं से जोड़ना भी आसान हो जाता है, जिन पर उनका असर पड़ता है। यही समग्र दृष्टिकोण टीमों को यह समझने में मदद करता है कि उन्होंने कितना खर्च किया ही नहीं, बल्कि उस खर्च से उन्हें क्या हासिल हुआ।

मात्रा नहीं, मूल्य को प्राथमिकता दें

उद्यमों में एआई के अगले चरण में सफल होने वाले संगठन ज़रूरी नहीं कि वे हों जो सबसे ज़्यादा टोकन इस्तेमाल करते हैं या सबसे कम खर्च करते हैं। सफलता उन संगठनों को मिलेगी जो यह देख सकें कि कौन-से मॉडल और कार्यभार सार्थक नतीजे देते हैं, और फिर इस जानकारी के आधार पर तय करें कि उन्हें कहाँ और कैसे लागू करना है।

इसके लिए अलग-अलग मॉडल-लागत डैशबोर्ड से आगे बढ़ना होगा। टीमों को उपयोगकर्ता के अनुरोध से लेकर मॉडल कॉल, टूल, बुनियादी ढाँचे और अंतिम नतीजे तक की पूरी प्रक्रिया पर नज़र रखनी होगी, साथ ही संवेदनशील जानकारी को संगठन के उचित नियंत्रण में बनाए रखना होगा।

टोकनमैक्सिंग एक उपयोगी चरण था, क्योंकि इससे प्रयोग को बढ़ावा मिला और पता चला कि एआई क्या कर सकता है। इसके बाद वैल्यूमैक्सिंग का अनुशासित तरीका अपनाना होगा, जो निगरानी, लागत और परिणामों को जोड़ता है, ताकि संगठन अपने खर्च या डेटा पर नियंत्रण खोए बिना प्रयोग जारी रख सकें।

सिर्फ़ इसलिए उद्यमों में एआई का दायरा छोटा करने की ज़रूरत नहीं कि पहला बिल आ चुका है। ज़रूरत इसे अधिक सोच-समझकर इस्तेमाल करने की है—काम की जटिलता के अनुसार प्रयास, कार्य के अनुसार मॉडल और मापे जा सकने वाले मूल्य के अनुसार खर्च तय करके।