एआई की नई अर्थव्यवस्था टोकन पर आधारित है – लेकिन हम उन्हें गलत तरीके से माप रहे हैं

एआई में एक बदलाव हो रहा है जिसे अधिकांश लोग महसूस करते हैं लेकिन पूरी तरह से समझते नहीं हैं: हम अनुरोधों की गणना से टोकनों की गणना करने की ओर बढ़ गए हैं।

वेब युग में, हमने प्रति सेकंड अनुरोधों की संख्या को मापा। यह साफ, सहज और अधिकांशतः सटीक था। एक अनुरोध आया, एक प्रतिक्रिया गई, और आप उस मॉडल के आसपास बुनियादी ढांचे को स्केल कर सकते थे।

यह अभिव्यक्ति चली गई है।

एआई में, मूल इकाई अब अनुरोध नहीं है – यह टोकन है। प्रत्येक प्रॉम्प्ट, प्रत्येक प्रतिक्रिया और प्रत्येक तर्क श्रृंखला को टोकन में तोड़ दिया जाता है, जो प्रणाली द्वारा किए जा रहे कार्य, हुए लागत और बढ़ती तरह से निर्मित मूल्य का प्रतिनिधित्व करता है।

स्वाभाविक रूप से, उद्योग इस बदलाव के चारों ओर एकत्रित हुआ है, जैसे टोकन प्रति सेकंड, प्रति टोकन लागत और यहां तक कि प्रति टोकन राजस्व जैसे मेट्रिक्स की शुरुआत की है। यह महसूस होता है कि हमने अंततः एआई प्रणालियों को मापने का एक तरीका खोज लिया है। लेकिन यह फ्रेमिंग अधूरी है।

उद्योग का शॉर्टकट: टोकन समान मूल्य

एक बढ़ती हुई कथा है कि टोकन एआई की नई मुद्रा हैं – अधिक टोकन अधिक बुद्धिमत्ता के बराबर हैं, और विस्तार से, अधिक राजस्व। यह एक आकर्षक विचार है, लेकिन यह वास्तव में क्या हो रहा है उसे सरल बनाता है।

सभी टोकन समान नहीं हैं। कुछ टोकन वास्तविक कार्य का प्रतिनिधित्व करते हैं: डेटा विश्लेषण, अंतर्दृष्टि पीढ़ी, कार्य प्रवाह स्वचालन और व्यवसाय परिणामों को चलाने वाले निर्णयों का समर्थन। अन्य बहुत कम अर्थपूर्ण हैं – आकस्मिक सामग्री पीढ़ी, प्रयोग या उपयोग के मामले जो उत्पादन में कभी नहीं जाते हैं।

आप इसे पहले से ही उद्यमों के भीतर देख सकते हैं। एक टीम उत्पादकता या ग्राहक संचालन का समर्थन करने के लिए लाखों टोकन पैदा कर सकती है, जो सीधे तौर पर दक्षता और राजस्व को प्रभावित करती है। दूसरी टीम आंतरिक अन्वेषण से परे कभी नहीं जाने वाले उपकरणों के साथ प्रयोग करने के लिए समान मात्रा में टोकन पैदा कर सकती है। कागज पर, टोकन गिनती समान दिखती है। वास्तव में, व्यवसाय मूल्य पूरी तरह से अलग है।

सभी टोकनों को विनिमय योग्य मूल्य इकाइयों के रूप में मानने से संगठन के भीतर वास्तव में क्या हो रहा है, इसका एक विकृत दृश्य बनता है। व्यवसाय टोकन की मात्रा पर नहीं बने हैं; वे उन टोकनों पर बने हैं जो उन्हें सक्षम बनाते हैं।

इस अंतर को समझने के लिए, आपको सतह के नीचे देखना होगा और देखना होगा कि वास्तव में ये प्रणालियां कैसे काम करती हैं।

आपका दूसरा प्रॉम्प्ट आपके पहले से तेज़ क्यों है

यदि आपने कभी ChatGPT जैसा टूल उपयोग किया है, तो आपने शायद देखा होगा कि आपका दूसरा प्रश्न अक्सर आपके पहले से तेज़ होता है। यह व्यवहार मॉडल के अधिक बुद्धिमान होने के बारे में नहीं है – यह प्रणाली द्वारा पिछले प्रॉम्प्ट्स से संदर्भ को कैसे पुन: उपयोग किया जाता है।

आधुनिक एआई प्रणालियां प्रत्येक अनुरोध को अलग से नहीं संसाधित करती हैं। वे संदर्भ बनाते हैं, पिछले प्रॉम्प्ट्स और प्रतिक्रियाओं को मेमोरी में संग्रहीत करते हैं, जिसे अक्सर केवी कैश कहा जाता है। यह कैश जीपीयू के पास होता है ताकि इसे तेजी से सुलभ किया जा सके जब प्रतिक्रिया पीढ़ी।

पहला अनुरोध महंगा है क्योंकि यह उस स्थिति को आरंभ करता है – मेमोरी आवंटित करना, इनपुट प्रोसेस करना और संदर्भ बनाना। बाद के अनुरोध उस स्थिति का पुन: उपयोग करते हैं, जो देरी को कम करता है और प्रतिक्रिया को बेहतर बनाता है।

यह गतिविधि अधिक महत्वपूर्ण हो जाती है क्योंकि संदर्भ विंडोज़ हज़ारों से लेकर लाखों – या यहां तक कि लाखों – टोकन तक विस्तारित होती हैं। जितना अधिक संदर्भ एक प्रणाली बनाए रखती है, उतना ही अधिक दबाव यह मेमोरी और बुनियादी ढांचे पर डालती है, जिससे यह निर्णय लेना महत्वपूर्ण हो जाता है कि क्या संग्रहीत, संकुचित या त्याग दिया जाए।

उपयोगकर्ता के दृष्टिकोण से, यह एक तेज़ प्रणाली की तरह लगता है। बुनियादी ढांचे के दृष्टिकोण से, यह देरी, लागत और मेमोरी के बीच एक जटिल व्यापार है।

यह वह जगह है जहां वास्तविक काम हो रहा है: न केवल मॉडल में, बल्कि मॉडल के आसपास की प्रणाली में।

अंतिम सीमा: ऊर्जा

एक बार जब आप मॉडल के प्रदर्शन से परे जाते हैं, तो बातचीत तेजी से बदलती है।

पैमाने पर एआई चलाने वाली टीमें मुख्य रूप से यह नहीं पूछती हैं कि कौन सा मॉडल सबसे अच्छा है। वे यह पूछते हैं कि इसे कैसे बनाए रखा जाए।

एआई बुनियादी ढांचा भौतिक सीमाओं के खिलाफ दबाव डाल रहा है: ऊर्जा की उपलब्धता, शीतलन क्षमता और मेमोरी बैंडविड्थ। डेटा सेंटर इन सीमाओं के आसपास फिर से डिज़ाइन किए जा रहे हैं, और बड़े पैमाने पर एआई प्रणालियों को तैनात करने वाले संगठन अधिक पारंपरिक सॉफ़्टवेयर कंपनियों की तुलना में उपयोगिताओं की तरह काम करना शुरू कर रहे हैं।

हम इसे पहले से ही बड़े उद्यमों में एआई बुनियादी ढांचे का निर्माण करते हुए देख रहे हैं, जहां शक्ति और शीतलन – मॉडल क्षमता नहीं – प्राथमिक सीमा बन रहे हैं।

एआई कार्यभार साफ़ या अनुमानित रूप से नहीं बढ़ते हैं। वे एक ही समय में कंप्यूट, मेमोरी और नेटवर्किंग में मांग को जोड़ते हैं। अधिक टोकन पैदा करना केवल अधिक जीपीयू जोड़ने का मामला नहीं है; यह एक प्रश्न है कि क्या अंतर्निहित बुनियादी ढांचा ऊर्जा और थर्मल लोड को बनाए रखने में सक्षम है जो कुशलता से चलने के लिए इन प्रणालियों की आवश्यकता है।

एक टोकन पैदा करने की लागत इसलिए कंप्यूट से परे है। इसमें बिजली, शीतलन, भौतिक बुनियादी ढांचे और देरी के बिना भार के तहत प्रदर्शन को बनाए रखने की क्षमता शामिल है।

अधिकांश “प्रति टोकन लागत” चर्चा इस वास्तविकता को पूरी तरह से प्रतिबिंबित नहीं करती है। पैमाने पर, ऊर्जा बजट बन जाती है, न कि केवल एक और आइटम।

भविष्य बड़े मॉडल नहीं है, बल्कि बेहतर प्रणाली है

पिछले दो वर्षों से, उद्योग मॉडल तुलनाओं, बेंचमार्क, रैंकिंग और क्षमता में बढ़ते सुधार पर केंद्रित रहा है।

यह फोकस बदलना शुरू हो रहा है।

उत्पादन वातावरण में, प्रदर्शन मॉडल का चयन करने से कम है और अधिक यह है कि आप इसका उपयोग कैसे करते हैं। संगठन मॉडल की प्रणालियों की ओर बढ़ रहे हैं – बड़े और छोटे मॉडल को जोड़कर, कार्यों को बुद्धिमानी से मार्गदर्शन करके और पूरे कार्य प्रवाह में लागत, देरी और थ्रूपुट के लिए अनुकूलन कर रहे हैं।

एक बड़े मॉडल को प्रत्येक अनुरोध भेजने के बजाय, प्रणालियां कार्यभार को छोटे घटकों में तोड़ती हैं। सरल कार्यों को अधिक कुशल मॉडल द्वारा संभाला जा सकता है, जबकि जटिल तर्क को बड़े लोगों के लिए आरक्षित किया जाता है। संदर्भ जहां संभव हो वहां पुन: उपयोग किया जाता है, और कैशिंग रणनीतियों को आक्रामक रूप से लागू किया जाता है।

इन निर्णयों का अक्सर मॉडल से दूसरे मॉडल में स्विच करने की तुलना में प्रदर्शन और लागत पर अधिक प्रभाव पड़ता है। इस अर्थ में, टोकन अभी भी कार्य की इकाई बने हुए हैं, लेकिन टोकन को उत्पन्न और प्रबंधित करने वाली प्रणाली वास्तविक अंतर बन जाती है।

एआई प्रणालियों में सबसे अधिक अनदेखी परत

एआई अक्सर मॉडल और अनुप्रयोगों के संदर्भ में वर्णित किया जाता है, लेकिन बीच की परत जटिलता और अवसर का सबसे अधिक हिस्सा है।

यह परत केवल अनुरोधों को स्थानांतरित नहीं करती है; यह उन्हें आकार देती है। यह निर्धारित करता है कि यातायात कैसे प्रवाहित होता है, निर्णय कैसे लागू किए जाते हैं और प्रणालियां वास्तविक दुनिया की स्थितियों में कैसे व्यवहार करती हैं।

वितरण और सुरक्षा को अलग-अलग चिंताओं के रूप में नहीं माना जा सकता है। वही परत जो अनुरोधों को मार्गदर्शन करती है और संदर्भ प्रबंधित करती है, वही परत है जहां नीतियां लागू की जाती हैं, जोखिमों को कम किया जाता है और विश्वास स्थापित किया जाता है।

जैसे-जैसे जटिलता बढ़ती है, बिंदु समाधान विफल हो जाते हैं। जो की आवश्यकता है वह एक एकीकृत मंच है जो इन कार्यों को वास्तविक समय में समन्वयित कर सके, न कि事หลัง में उन्हें एक साथ जोड़े।

यह वह जगह है जहां व्यापार बंद हो जाते हैं। यह वह जगह है जहां लागत नियंत्रित है, प्रदर्शन अनुकूलित है और सुरक्षा निर्णय वास्तविक समय में लागू किए जाते हैं। जैसे-जैसे एआई प्रणालियां बढ़ती हैं, यह परत बढ़ती महत्वपूर्ण हो जाती है। यह एक प्रणाली के बीच का अंतर है जो एक डेमो में अच्छा प्रदर्शन करता है और एक जो उत्पादन में विश्वसनीय और कुशलता से संचालित होता है। यह बदलाव के लिए वास्तविक परिणाम हैं कि संगठन एआई प्रणालियों को कैसे डिज़ाइन और प्रबंधित करते हैं।

संगठनों के लिए इसका क्या अर्थ है

जैसे ही उद्यम एआई को उत्पादन में ले जाते हैं, प्रश्न यह नहीं है कि कौन सा मॉडल उपयोग किया जाए – यह है कि मॉडल के आसपास की प्रणाली कैसे डिज़ाइन की जाए।

इसका अर्थ है टोकन मेट्रिक्स और मॉडल बेंचमार्क से परे सोचना और अनुरोधों को कैसे मार्गदर्शन किया जाता है, संदर्भ कैसे प्रबंधित किया जाता है और पूरे कार्य प्रवाह में नीतियां कैसे लागू की जाती हैं।

अधिकांश संगठन अभी भी इन टुकड़ों को एक साथ जोड़ रहे हैं – और यह दृष्टिकोण वास्तविक उत्पादन दबाव के तहत नहीं टिकेगा।

हम गलत चीज़ को माप रहे हैं

टोकन एक उपयोगी स abstract प्रदान करते हैं। वे उद्योग को कुछ ऐसा मापने का एक तरीका देते हैं जो पहले अमूर्त लगता था, लेकिन वे पूरी तस्वीर नहीं हैं।

वर्तमान में, उद्योग सबसे आसानी से मापी जाने वाली चीज़ की ओर बढ़ रहा है – टोकन गिनती, थ्रूपुट और लागत मेट्रिक्स – जो सबसे ज्यादा मायने रखता है, उसके बजाय। संदर्भ के बिना, वे संख्याएं भ्रामक हो सकती हैं।

एआई का अगला चरण टोकन की संख्या को बढ़ाने वाला नहीं होगा। यह उन लोगों द्वारा परिभाषित किया जाएगा जो समझते हैं कि वे टोकन का प्रतिनिधित्व करते हैं और जो प्रणालियों का निर्माण कर सकते हैं जो उन्हें अर्थपूर्ण, कुशल और विस्तार योग्य परिणामों में बदल दें।

क्योंकि अंत में, टोकन उत्पाद नहीं हैं। वे बस बुद्धिमत्ता के निर्माण का एक उप उत्पाद हैं।