नए शोध पत्र ‘टोकन’ मूल्य निर्धारण के लिए प्रश्न उठाते हैं

नया शोध दिखाता है कि एआई सेवाओं द्वारा टोकन द्वारा बिलिंग करने का तरीका वास्तविक लागत को उपयोगकर्ताओं से छिपाता है। प्रदाता शांत रूप से टोकन गणना को बढ़ाकर या छिपे हुए चरणों को डालकर शुल्क बढ़ा सकते हैं। कुछ सिस्टम ऐसी अतिरिक्त प्रक्रियाएं चलाते हैं जो आउटपुट को प्रभावित नहीं करती हैं लेकिन अभी भी बिल पर दिखाई देती हैं। ऑडिट टूल का प्रस्ताव किया गया है, लेकिन वास्तविक पर्यवेक्षण के बिना, उपयोगकर्ता अधिक भुगतान करते हैं जितना वे महसूस करते हैं।

लगभग सभी मामलों में, हम जो एआई-संचालित चैट इंटरफेस के लिए भुगतान करते हैं, जैसे कि ChatGPT-4o, वर्तमान में टोकन में मापा जाता है: दृश्य के दौरान अदृश्य पाठ की इकाइयाँ, जो बिलिंग उद्देश्यों के लिए सटीक सटीकता के साथ गिनी जाती हैं; और यद्यपि प्रत्येक आदान-प्रदान टोकन की संख्या से मूल्य निर्धारित किया जाता है, उपयोगकर्ता के पास सीधे गणना की पुष्टि करने का कोई साधन नहीं है।

टोकन-आधारित बिलिंग में हमारी (सबसे अच्छे मामले में) अपूर्ण समझ के बावजूद, टोकन-आधारित बिलिंग प्रदाताओं के पार प्रमुख दृष्टिकोण बन गया है, जो शायद ही भरोसे की एक अस्थायी धारणा पर आराम करता है।

टोकन शब्द

एक टोकन एक शब्द के समान नहीं है, हालांकि यह अक्सर एक समान भूमिका निभाता है, और अधिकांश प्रदाता छोटे पाठ की इकाइयों जैसे शब्दों, विराम चिह्न, या शब्द-खंडों का वर्णन करने के लिए ‘टोकन’ शब्द का उपयोग करते हैं। उदाहरण के लिए, ‘अविश्वसनीय’ शब्द एक प्रणाली द्वारा एक टोकन के रूप में गिना जा सकता है, जबकि दूसरा इसे अन, विश्वास और योग्य में विभाजित कर सकता है, जिसमें प्रत्येक टुकड़ा लागत को बढ़ाता है।

यह प्रणाली उपयोगकर्ता द्वारा इनपुट किए गए पाठ और मॉडल के उत्तर दोनों पर लागू होती है, जिसमें मूल्य इन इकाइयों की कुल संख्या पर आधारित होता है।

कठिनाई इस तथ्य में निहित है कि उपयोगकर्ता इस प्रक्रिया को नहीं देखते। अधिकांश इंटरफेस बातचीत के दौरान टोकन गणना नहीं दिखाते हैं, और टोकन की गणना का तरीका पुन: उत्पन्न करना कठिन है। यहां तक कि अगर एक गणना उत्तर के बाद दिखाई देती है, तो यह निर्धारित करने के लिए बहुत देर हो चुकी है कि क्या यह न्यायसंगत था, जिससे उपयोगकर्ता को जो दिखाई देता है और जिसके लिए वे भुगतान करते हैं उसके बीच एक मेल नहीं है।

हाल के शोध ने गहरी समस्याओं की ओर इशारा किया है: एक अध्ययन दिखाता है कि प्रदाता नियमों को तोड़े बिना कैसे अधिक शुल्क ले सकते हैं, बस टोकन गणना को बढ़ाकर जो उपयोगकर्ता नहीं देख सकते; एक अन्य यह खुलासा करता है कि इंटरफेस द्वारा प्रदर्शित किए जाने और वास्तव में बिल किए जाने के बीच असंगति, जिससे उपयोगकर्ता को कुशलता का भ्रम हो सकता है जहां कोई नहीं है; और एक तीसरा यह उजागर करता है कि मॉडल आमतौर पर आंतरिक तर्क चरणों का उत्पादन करते हैं जो उपयोगकर्ता को नहीं दिखाए जाते हैं, लेकिन अभी भी बिल पर दिखाई देते हैं।

निष्कर्ष एक ऐसी प्रणाली का वर्णन करते हैं जो सटीक लगती है, जिसमें सटीक संख्याएं स्पष्टता का अर्थ रखती हैं, लेकिन जिसका अंतर्निहित तर्क छिपा हुआ है। चाहे यह डिजाइन द्वारा है या एक संरचनात्मक दोष है, परिणाम समान है: उपयोगकर्ता अधिक के लिए भुगतान करते हैं जितना वे देख सकते हैं, और अक्सर अधिक जितना वे उम्मीद करते हैं।

दर्जन में सस्ता?

इन पत्रों में से पहले – क्या आपका एलएलएम आपको अधिक शुल्क ले रहा है? टोकनीकरण, पारदर्शिता और प्रोत्साहन शीर्षक से – मैक्स प्लैंक सॉफ्टवेयर सिस्टम्स इंस्टीट्यूट के चार शोधकर्ताओं द्वारा – लेखकों का तर्क है कि टोकन-आधारित बिलिंग के जोखिम पारदर्शिता से परे हैं और प्रदाताओं के लिए टोकन गणना को बढ़ाने के लिए एक निर्मित प्रोत्साहन की ओर इशारा करते हैं:

‘समस्या का मूल यह तथ्य में निहित है कि एक स्ट्रिंग का टोकनीकरण अद्वितीय नहीं है। उदाहरण के लिए, मान लें कि उपयोगकर्ता प्रदाता को प्रॉम्प्ट “न्यूरिप्स का अगला संस्करण कहां होगा?” जमा करता है, प्रदाता इसे एलएलएम में डालता है, और मॉडल “|सैन| डिएगो|” का आउटपुट उत्पन्न करता है जो दो टोकन से बना है।

‘चूंकि उपयोगकर्ता उत्पादन प्रक्रिया से अनजान है, एक स्वार्थी प्रदाता के पास उपयोगकर्ता को बिना भी बदले आउटपुट के टोकनीकरण की गलत रिपोर्ट करने की क्षमता है। उदाहरण के लिए, प्रदाता साझा कर सकता है टोकनीकरण “|एस| ए| एन| | डी| आई| ई| जी| ओ|” और दो के बजाय नौ टोकन के लिए उपयोगकर्ता से अधिक शुल्क ले सकता है!’

लेख में एक सूचक प्रस्तुत किया गया है जो इस तरह की कपटपूर्ण गणना करने में सक्षम है बिना दृश्य आउटपुट को बदले और बिना सामान्य डिकोडिंग सेटिंग्स के तहत विश्वसनीयता का उल्लंघन किए। एलएलएमा, मिस्ट्रल और जेमा श्रृंखला के मॉडल पर वास्तविक प्रॉम्प्ट का उपयोग करके परीक्षण किया गया, यह विधि असामान्य दिखाए बिना मापनीय अधिक शुल्क प्राप्त करती है:

टोकन मुद्रास्फीति का उपयोग ‘विश्वसनीय गलत रिपोर्टिंग’। प्रत्येक पैनल 400 एलएमएसवाई प्रॉम्प्ट के आउटपुट से परिणामी टोकन की संख्या में वृद्धि का प्रतिशत दिखाता है, विभिन्न नमूनाकरण पैरामीटर (म और पी) के तहत। सभी आउटपुट 1.3 तापमान पर पांच पुनरावृत्तियों के साथ उत्पन्न किए गए थे, 90% आत्मविश्वास अंतराल की गणना के लिए। स्रोत: https://arxiv.org/pdf/2505.21627

समस्या को हल करने के लिए, शोधकर्ता टोकन के बजाय अक्षर गणना पर आधारित बिलिंग का आह्वान करते हैं, तर्क देते हुए कि यह एकमात्र दृष्टिकोण है जो प्रदाताओं को उपयोग की ईमानदारी से रिपोर्ट करने का कारण देता है, और यह दावा करते हुए कि यदि लक्ष्य न्यायसंगत मूल्य निर्धारण है तो दृश्य अक्षरों से जुड़ी लागत, छिपी हुई प्रक्रियाओं के बजाय, एकमात्र विकल्प है जो जांच को सहन करता है। पात्र-आधारित मूल्य निर्धारण, वे तर्क देते हैं, मिस्रिपोर्टिंग के लिए प्रोत्साहन को दूर करेगा और साथ ही साथ छोटे, अधिक कुशल आउटपुट को पुरस्कृत करेगा।

यहां कई अतिरिक्त विचार हैं, हालांकि (ज्यादातर मामलों में लेखकों द्वारा स्वीकार किए जाते हैं)। सबसे पहले, प्रस्तावित योजना में अतिरिक्त व्यवसाय तर्क शामिल हैं जो विक्रेता को उपभोक्ता पर पसंद कर सकते हैं:

‘[एक] प्रदाता जो कभी भी मिस्रिपोर्ट नहीं करता है, उसे आउटपुट टोकन अनुक्रम को यथासंभव छोटा बनाने का एक स्पष्ट प्रोत्साहन है, और वर्तमान टोकनीकरण एल्गोरिदम जैसे बीपीई में सुधार करने के लिए, ताकि वे आउटपुट टोकन अनुक्रम को यथासंभव संकुचित करें।’

यहाँ का आशावादी स्वर यह है कि विक्रेता संक्षिप्त और अधिक अर्थपूर्ण और मूल्यवान आउटपुट का उत्पादन करने के लिए प्रोत्साहित किया जाएगा। व्यवहार में, स्पष्ट रूप से कम गुणवत्ता वाले तरीके हैं जिनसे एक प्रदाता पाठ-गणना को कम कर सकता है।

दूसरा, यह माना जा सकता है कि लेखकों का कहना है, कंपनियां संभवतः टोकन प्रणाली से एक स्पष्ट, पाठ-आधारित बिलिंग विधि में संक्रमण करने के लिए कानूनी कार्रवाई की आवश्यकता होगी। आगे चलकर, एक विद्रोही स्टार्टअप अपने उत्पाद को इस तरह के मूल्य निर्धारण मॉडल के साथ लॉन्च करके भेदभाव कर सकता है; लेकिन जो कोई भी वास्तव में प्रतिस्पर्धी उत्पाद (और ईईई श्रेणी की तुलना में कम पैमाने पर संचालित होता है) के साथ काम कर रहा है, उसे ऐसा करने के लिए प्रोत्साहित नहीं किया जाता है।

अंत में, जैसा कि लेखकों का तर्क है, कपटपूर्ण एल्गोरिदम जैसे कि वे प्रस्तावित करते हैं उनके साथ अपना स्वयं का गणनात्मक लागत आएगी; यदि ‘अपचार’ की गणना करने का खर्च संभावित लाभ से अधिक है, तो योजना स्पष्ट रूप से कोई मेरिट नहीं होगी। हालांकि, शोधकर्ता जोर देते हैं कि उनका प्रस्तावित एल्गोरिदम प्रभावी और आर्थिक है।

लेखक अपने सिद्धांतों के लिए कोड गिटहब पर प्रदान करते हैं।

स्विच

दूसरा पेपर – अदृश्य टोकन, दृश्य बिल: ओपेक लीएलएम सेवाओं में छिपी हुई संचालन की तत्काल आवश्यकता की ऑडिट शीर्षक से – मैरीलैंड विश्वविद्यालय और बर्कले के शोधकर्ताओं से – तर्क देता है कि व्यावसायिक भाषा मॉडल एपीआई में मिसालीन प्रोत्साहन टोकन विभाजन तक सीमित नहीं हैं, बल्कि छिपी हुई संचालन के पूरे वर्गों तक विस्तारित हैं।

इनमें आंतरिक मॉडल कॉल, अनुमानित तर्क, टूल उपयोग और मल्टी-एजेंट इंटरैक्शन शामिल हैं – सभी जो उपयोगकर्ता को दिखाए बिना या पुनरावृत्ति के बिना बिल किए जा सकते हैं।

प्रमुख प्रदाताओं में तर्क एलएलएम एपीआई की कीमत और पारदर्शिता। सभी सूचीबद्ध सेवाएं छिपे हुए आंतरिक तर्क टोकन के लिए उपयोगकर्ताओं से शुल्क लेती हैं, और कोई भी रनटाइम पर इन टोकन को दिखाता है। लागत में काफी अंतर है, ओपनएआई के ओ 1- प्रो मॉडल के साथ क्लॉड ओपस 4 या जेमिनी 2.5 प्रो की तुलना में दस गुना अधिक प्रति मिलियन टोकन, समान रूप से अस्पष्टता के बावजूद। स्रोत: https://www.arxiv.org/pdf/2505.18471

पारंपरिक बिलिंग के विपरीत, जहां सेवाओं की मात्रा और गुणवत्ता सत्यापित की जा सकती है, लेखकों का तर्क है कि आज के एलएलएम प्लेटफॉर्म संरचनात्मक अस्पष्टता के तहत संचालित होते हैं: उपयोगकर्ताओं को टोकन और एपीआई उपयोग के आधार पर शुल्क लिया जाता है, लेकिन इन मेट्रिक्स की पुष्टि करने के लिए कोई साधन नहीं है कि वे वास्तविक या आवश्यक काम को दर्शाते हैं।

लेख में दो प्रकार के हेरफेर की पहचान की गई है: मात्रा मुद्रास्फीति, जहां टोकन या कॉल की संख्या उपयोगकर्ता को लाभ पहुंचाए बिना बढ़ा दी जाती है; और गुणवत्ता डाउनग्रेड, जहां कम प्रदर्शन वाले मॉडल या टूल का उपयोग प्रीमियम घटकों के बजाय चुपचाप किया जाता है:

‘तर्क एलएलएम एपीआई में, प्रदाता अक्सर एक ही मॉडल परिवार के कई संस्करण बनाए रखते हैं, जो क्षमता, प्रशिक्षण डेटा या अनुकूलन रणनीति (जैसे कि चैटजीपीटी ओ 1, ओ 3) में भिन्न होते हैं। मॉडल डाउनग्रेड कम लागत वाले मॉडल की चुपचाप प्रतिस्थापन को संदर्भित करता है, जो अपेक्षित और वास्तविक सेवा गुणवत्ता के बीच विसंगति पैदा कर सकता है।

‘उदाहरण के लिए, एक प्रॉम्प्ट को एक छोटे आकार के मॉडल द्वारा संसाधित किया जा सकता है, जबकि बिलिंग अपरिवर्तित रहती है। यह अभ्यास उपयोगकर्ताओं के लिए इसका पता लगाना मुश्किल बनाता है, क्योंकि अंतिम उत्तर अभी भी कई कार्यों के लिए यथार्थवादी दिखाई दे सकता है।’

लेख में उन मामलों का दस्तावेजीकरण किया गया है जहां बिल किए गए टोकन का 90% से अधिक उपयोगकर्ताओं को कभी नहीं दिखाया गया था, आंतरिक तर्क ने टोकन उपयोग को बीस गुना से अधिक के कारक द्वारा बढ़ा दिया था। उचित या नहीं, इन चरणों की अस्पष्टता उपयोगकर्ताओं को उनकी प्रासंगिकता या वैधता का मूल्यांकन करने के लिए कोई आधार नहीं देती है।

एजेंटिक सिस्टम में, अस्पष्टता बढ़ जाती है, क्योंकि एआई एजेंटों के बीच आंतरिक आदान-प्रदान प्रत्येक शुल्क को आकर्षित कर सकते हैं जो अंतिम आउटपुट को प्रभावित किए बिना होता है:

‘आंतरिक तर्क से परे, एजेंट प्रॉम्प्ट, सारांश और योजना निर्देशों का आदान-प्रदान करके संवाद करते हैं। प्रत्येक एजेंट दूसरों से इनपुट व्याख्या करता है और कार्यप्रवाह को निर्देशित करने के लिए आउटपुट उत्पन्न करता है। इन इंटर-एजेंट संदेशों में महत्वपूर्ण टोकन की खपत हो सकती है, जो अक्सर अंतिम उपयोगकर्ता को दिखाई नहीं देते हैं।

‘एजेंट समन्वय के दौरान खपत होने वाले सभी टोकन, जिनमें उत्पन्न प्रॉम्प्ट, प्रतिक्रियाएं और टूल-संबंधित निर्देश शामिल हैं, आमतौर पर उपयोगकर्ता को दिखाए नहीं जाते हैं। जब एजेंट स्वयं तर्क मॉडल का उपयोग करते हैं, तो बिलिंग और भी अस्पष्ट हो जाती है’

इन मुद्दों से निपटने के लिए, लेखक एक परतदार ऑडिट फ्रेमवर्क का प्रस्ताव करते हैं जिसमें आंतरिक गतिविधि के क्रिप्टोग्राफिक प्रमाण, मॉडल या टूल पहचान के वेरिफायबल मार्कर और स्वतंत्र पर्यवेक्षण शामिल हैं। अंतर्निहित चिंता हालांकि, संरचनात्मक है: वर्तमान एलएलएम बिलिंग योजनाएं एक स्थायी जानकारी की असममितता पर निर्भर करती हैं, जिससे उपयोगकर्ता उन लागतों के सामने आते हैं जिन्हें वे सत्यापित या तोड़ नहीं सकते हैं।

अदृश्य गिनती

मैरीलैंड विश्वविद्यालय के शोधकर्ताओं द्वारा अंतिम पत्र बिलिंग समस्या को मिसयूज या मिस्रिपोर्टिंग के रूप में नहीं, बल्कि संरचना के रूप में फिर से तैयार करता है। पेपर – सीओआईएन: व्यावसायिक ओपेक एलएलएम एपीआई में अदृश्य तर्क टोकन की गणना शीर्षक से – यह देखता है कि अधिकांश व्यावसायिक एलएलएम सेवाएं अब मध्यवर्ती तर्क को छिपाती हैं जो मॉडल के अंतिम उत्तर में योगदान करता है, फिर भी उन टोकन के लिए शुल्क लेता है।

लेख यह तर्क देता है कि यह एक अदृश्य बिलिंग सतह बनाता है जहां पूरी क्रम बिना पता लगाए बनाई, इंजेक्ट या बढ़ाई जा सकती है:

‘[यह] अदृश्यता प्रदाताओं को टोकन गणना की गलत रिपोर्ट करने या टोकन गणना को कृत्रिम रूप से बढ़ाने के लिए कम लागत वाले काल्पनिक तर्क टोकन को इंजेक्ट करने की अनुमति देती है। हम इस अभ्यास को टोकन गणना मुद्रास्फीति के रूप में संदर्भित करते हैं।

‘उदाहरण के लिए, ओपनएआई के ओ 3 मॉडल द्वारा संचालित एक उच्च दक्षता वाला आर्क-एजीआई रन 111 मिलियन टोकन की खपत कर सकता है, जिसकी लागत 66,772.3 डॉलर है। इस पैमाने पर, यहां तक कि छोटे हेरफेर भी महत्वपूर्ण वित्तीय प्रभाव पैदा कर सकते हैं।

‘इस जानकारी की असममितता एआई कंपनियों को उपयोगकर्ताओं को काफी अधिक शुल्क लेने की अनुमति देती है, जिससे उनके हितों को कमजोर किया जा सकता है।’

इस असममितता का मुकाबला करने के लिए, लेखक सीओआईएन नामक एक तीसरे पक्ष की ऑडिट प्रणाली का प्रस्ताव करते हैं, जो छिपे हुए टोकन की सत्यापन के लिए डिज़ाइन की गई है बिना उनकी सामग्री का खुलासा किए, और जो हैश्ड फिंगरप्रिंट और सेमेंटिक चेक का उपयोग करके टोकन मुद्रास्फीति के संकेतों का पता लगाने के लिए करती है।

ओपेक व्यावसायिक एलएलएम के लिए सीओआईएन ऑडिट प्रणाली का अवलोकन। पैनल ए दिखाता है कि कैसे तर्क टोकन एम्बेडिंग को टोकन गणना सत्यापन के लिए एक मेर्कल पेड़ में हैश किया जाता है बिना टोकन सामग्री का खुलासा किए। पैनल बी सेमेंटिक मान्यकरण दिखाता है, जहां हल्के तंत्रिका नेटवर्क तर्क ब्लॉक की तुलना अंतिम उत्तर से करते हैं। इन घटकों के संयोजन से तीसरे पक्ष के ऑडिटरों को टोकन मुद्रास्फीति का पता लगाने की अनुमति मिलती है जबकि प्रोप्राइटरी मॉडल व्यवहार की गोपनीयता को बनाए रखते हुए। स्रोत: https://arxiv.org/pdf/2505.13778

एक घटक टोकन गणना को क्रिप्टोग्राफिक रूप से एक मेर्कल पेड़ का उपयोग करके सत्यापित करता है; दूसरा छिपी हुई सामग्री की प्रासंगिकता का मूल्यांकन करता है जो इसे अंतिम उत्तर के एम्बेडिंग से तुलना करता है। यह ऑडिटरों को पैडिंग या अप्रासंगिकता का पता लगाने की अनुमति देता है – टोकन को केवल बिल को बढ़ाने के लिए डाले जाने के संकेत।

जब परीक्षण में तैनात किया गया, तो सीओआईएन ने कुछ रूपों के लिए टोकन मुद्रास्फीति का पता लगाने में लगभग 95% की सफलता दर हासिल की, जिसमें अंतर्निहित डेटा के न्यूनतम प्रदर्शन के साथ। हालांकि प्रणाली अभी भी प्रदाताओं से स्वैच्छिक सहयोग पर निर्भर करती है, और किनारे के मामलों में सीमित संकल्प है, इसका व्यापक बिंदु अकाट्य है: वर्तमान एलएलएम बिलिंग की वास्तुकला एक ईमानदारी को मानकर चलती है जिसे सत्यापित नहीं किया जा सकता है।

निष्कर्ष

एक स्क्रिप-आधारित मुद्रा (जैसे सिविटाई में ‘बज़’ प्रणाली) के अलावा उपयोगकर्ताओं से पूर्व-भुगतान प्राप्त करने का लाभ, उपयोगकर्ताओं को वास्तव में मुद्रा के मूल्य या वस्तु के बारे जो वे खरीद रहे हैं से दूर ले जाने में मदद करता है। इसी तरह, एक विक्रेता को अपने मापन की इकाइयों को परिभाषित करने की अनुमति देना उपभोक्ता को वास्तविक पैसे के संदर्भ में वे क्या खर्च कर रहे हैं, इसके बारे में अज्ञानी छोड़ देता है।

लास वेगास में घड़ियों या घड़ियों की अनुपस्थिति की तरह, ऐसे उपाय अक्सर उपभोक्ता को लापरवाह या लागत के प्रति उदासीन बनाने के लिए डिज़ाइन किए जाते हैं।

अदृश्य टोकन, जो इतने सारे तरीकों से खपत और परिभाषित किया जा सकता है, शायद एलएलएम खपत के लिए एक उपयुक्त मापन इकाई नहीं है – कम से कम इसलिए कि यह गैर-अंग्रेजी भाषा में एक कम एलएलएम परिणाम की गणना के लिए अंग्रेजी आधारित सत्र की तुलना में कई गुना अधिक टोकन की लागत आ सकती है।

हालांकि, मैक्स प्लैंक शोधकर्ताओं द्वारा सुझाए गए अक्षर-आधारित आउटपुट, संभवतः अधिक संक्षिप्त भाषाओं को प्राथमिकता देगा और स्वाभाविक रूप से वाक्पूर्ण भाषाओं को दंडित करेगा। चूंकि दृश्य संकेत जैसे एक अवमूल्यन टोकन काउंटर शायद हमें अपने एलएलएम सत्रों में थोड़ा अधिक खर्चीला बना देगा, ऐसा लगता है कि ऐसे उपयोगी जीयूआई जोड़ आने वाले समय में असंभव हैं – कम से कम विधायी कार्रवाई के बिना।
 

* लेखकों का जोर। मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलना।

पहली बार गुरुवार, 29 मई, 2025 को प्रकाशित