अशिष्ट प्रश्न एंटरप्राइज चैटजीपीटी लागत को बढ़ा सकते हैं

चैटजीपीटी के उत्तर अशिष्टता के कारण अधिक टोकन का उपयोग करते हैं, जिससे आपके एंटरप्राइज बिल बढ़ जाते हैं; लेकिन ‘कृपया’ कहने से आपकी लागत कम हो सकती है।

यह कहा जाता है कि शिष्टता की कोई लागत नहीं है; लेकिन अशिष्टता की क्या लागत है? चैटजीपीटी के लिए भुगतान करने के संदर्भ में, बहुत अधिक, संयुक्त राज्य अमेरिका से एक नए अध्ययन के अनुसार। आयोवा विश्वविद्यालय से नए शोध पत्र में पाया गया कि चैटजीपीटी के साथ अशिष्ट व्यवहार करने से प्रतिक्रिया की लागत बढ़ जाती है – भले ही अशिष्ट और शिष्ट प्रश्नों के लिए प्रतिक्रियाएं समान हों।

लेखकों का कहना है:

‘[आउटपुट टोकन की कीमत] जीपीटी4 के लिए 1 मिलियन आउटपुट टोकन प्रति $12 है। हमने पाया कि अशिष्ट प्रॉम्प्ट्स 14 से अधिक अतिरिक्त टोकन का परिणाम देते हैं, जो औसतन प्रति प्रॉम्प्ट $0.000168 अतिरिक्त लागत के बराबर है। ओपनएआई के एपीआई को भेजे जाने वाले औसत दैनिक प्रश्न 2.2 बिलियन से अधिक हैं।

‘शिष्ट प्रॉम्प्ट्स की तुलना में अशिष्ट प्रॉम्प्ट्स का उपयोग करने पर यह प्रतिदिन $369K अतिरिक्त राजस्व उत्पन्न करता है, केवल इसलिए कि अशिष्ट प्रॉम्प्ट्स परिणाम में अधिक टोकन उत्पन्न करते हैं। ‘

हालांकि परिणाम स्वयं में रोचक है, लेखकों का कहना है कि यह असामान्य व्यवहार मानव/एआई कॉन्फ़िगरेशन में अज्ञात विचित्रताओं की एक श्रृंखला का संकेत हो सकता है, जिनमें से कुछ या सभी के वित्तीय परिणाम हो सकते हैं। अशिष्टता के कारण ग्राहकों को अतिरिक्त टोकन क्यों मिलते हैं, इसका कारण लेखकों ने अनुमान नहीं लगाया है।

इस सिंड्रोम की वास्तविकता को स्थापित करने के लिए, उन्होंने वास्तविक चैटजीपीटी प्रॉम्प्ट्स को पुनः लिखा, जबकि अर्थ को बनाए रखा, अशिष्टता मूल्यों को बारी-बारी से बदल दिया। दोनों संस्करणों को फिर गप्त-4-टर्बो मॉडल में अलग-अलग एपीआई कॉल के माध्यम से जमा किया गया, और प्रतिक्रियाओं में उपयोग किए गए आउटपुट टोकन की संख्या में अंतर को टोन के प्रभाव के रूप में मापा गया।

इस वर्ष की शुरुआत में सुर्खियों में आया यह निष्कर्ष, जहां सैम अल्टमैन ने शिकायत की थी कि शिष्टता ओपनएआई को संभावित रूप से ‘करोड़ों डॉलर’ की लागत से आ रही थी, प्रसंस्करण शिष्टता से संबंधित टोकन (जैसे ‘कृपया’) के संदर्भ में। उसी अवधि में प्रकाशित अनुसंधान में यह भी संकेत दिया गया था कि शिष्टता बेहतर उत्तर प्राप्त करने के लिए कोई मूल्य नहीं थी (हालांकि यह महंगे उत्तरों के बारे में टिप्पणी नहीं करता था)।

यदि नए शोध पत्र के निष्कर्ष सही हैं, तो किसी भी एंटरप्राइज चैटजीपीटी उपयोगकर्ता जिन्होंने उस लाइन के बारे में सोचा होगा, 2025 में चैटजीपीटी अनुमान में अधिक खर्च किया होगा जो न्यूनतम नागरिकता प्रदान करते हैं।

लेखकों का सुझाव है कि एक संभावित उपाय यह हो सकता है कि प्रतिक्रियाओं पर टोकन की सीमा निर्धारित की जाए, हालांकि यह एलएलएम प्रणालियों के लिए आसानी से लागू करने योग्य दृष्टिकोण नहीं है। वे यह देखते हैं कि प्रॉम्प्टिंग लागत नियंत्रण के लिए एक कमजोर उपकरण है, क्योंकि एलएलएम्स विशेष लंबाई निर्देशों का पालन करने में संघर्ष करते हैं। अधिकांश मामलों में, यह ‘सीमित’ निर्देश नहीं माना जाएगा; इसके अतिरिक्त, प्रतिक्रिया ट्रंकेट हो सकती है, क्योंकि इस प्रकार के एलएलएम मूल रूप से वाक्य/अनुच्छेद में अगले संभावित शब्द का अनुमान लगा रहे हैं, और, इस प्रकार, प्रसंस्करण पूरा होने तक कहानी कैसे समाप्त होती है – या कहानी कहां समाप्त होती है – इसके बारे में जानते नहीं हैं। इसलिए, वे अनुरोध पर किसी भी प्रगति को ‘विंड अप’ करने की सीमित क्षमता रखते हैं।

एक सटीक समाधान की कमी के बावजूद – हालांकि इस तरह के मामलों में अधिक पारदर्शी मूल्य निर्धारण दृष्टिकोण लागू किए जाने का सुझाव देते हुए – लेखकों का निष्कर्ष है:

‘पारंपरिक ज्ञान सुझाव देता है कि एलएलएम के साथ बातचीत करते समय प्रॉम्प्ट शिष्टता अनावश्यक है। ‘

‘इसके विपरीत, हमारा काम यह दर्शाता है कि अशिष्ट प्रॉम्प्ट्स आउटपुट टोकन को बढ़ाते हैं, एंटरप्राइज एआई अपनाने वालों के लिए अतिरिक्त लागत उत्पन्न करते हैं। ‘

नई रिसर्च पेपर का शीर्षक एंटरप्राइज एआई अपनाने की लागत पारदर्शिता है, और यह आयोवा विश्वविद्यालय के तीन शोधकर्ताओं से है।

विधि

प्रणाली के लिए डेटा वाइल्डचैट डेटासेट से लिया गया था, जिसमें 1 मिलियन उपयोगकर्ता-चैटजीपीटी बातचीत का संग्रह शामिल था, और 2.5 मिलियन से अधिक इंटरैक्शन टर्न थे:

वाइल्डचैट परियोजना के लिए एक सहायक साइट से, चैटजीपीटी इंटरैक्शन के खोज योग्य उदाहरण। स्रोत

लेखकों का उल्लेख है कि वाइल्डचैट में कुछ अधिक सावधानी से तैयार किए गए सेटों की तुलना में अधिक प्राकृतिक इंटरैक्शन हैं।

उन्होंने संग्रह के जीपीटी -4 एक्सचेंज से 20,000 अंग्रेजी प्रॉम्प्ट्स चुने, प्रत्येक मामले में आउटपुट (क्योंकि इरादा उन्हें फिर से नए उत्तरों के लिए प्रस्तुत करना था) को त्याग दिया। यहां तक कि लंबी बातचीत से भी, केवल पहली बातचीत का चयन किया गया था,

परिणामी सेट को शिष्ट या अशिष्ट श्रेणियों में फ़िल्टर किया गया था, सभी प्रॉम्प्ट्स जीपीटी -4-टर्बो द्वारा वर्गीकृत किए गए थे। शोधकर्ताओं ने प्रॉम्प्ट की शिष्टता का फैसला करने के लिए मॉडल का ही उपयोग किया क्योंकि प्रयोग में मॉडल की अपनी शिष्टता की धारणा केंद्रीय थी।

जिन प्रॉम्प्ट्स को शिष्ट के रूप में लेबल किया गया था, उनमें स्पष्ट संकेत जैसे ‘कृपया’ शामिल हो सकते थे, या वे अधिक अप्रत्यक्ष तरीके से शिष्ट हो सकते थे। जो कुछ भी शिष्ट के रूप में मान्यता प्राप्त नहीं था उसे अशिष्ट के रूप में वर्गीकृत किया गया था, भले ही शब्दों का अर्थ तटस्थ हो या विरोधी न हो।

शिष्टता में निहित होने के कारण, मॉडल की प्रतिक्रिया का अध्ययन करने के लिए मानक विधियों (जो पाठ को मापने योग्य विशेषताओं के सेट के रूप में मानती हैं) का उपयोग नहीं किया जा सकता था:

इसके बजाय, प्रत्येक प्रॉम्प्ट को उसके स्वर को उलटने के लिए पुनः लिखा गया, जबकि अन्य सभी तत्वों को यथासंभव समान रखा गया, जिससे शिष्टता में अंतर के अलावा केवल जोड़े की तुलना करने की अनुमति मिली:

शिष्ट और अशिष्ट प्रॉम्प्ट्स को उनके विरोधी संस्करणों में परिवर्तित करने के तरीके के उदाहरण, जबकि सेमांटिक अर्थ को संरक्षित किया गया था। स्रोत

परीक्षण

प्रत्येक मूल प्रॉम्प्ट को एक पुनः लिखित संस्करण के साथ जोड़ा गया था जो केवल अपने शिष्टता स्तर में भिन्न था, और दोनों संस्करणों को एक ही जीपीटी -4-टर्बो मॉडल के माध्यम से अलग-अलग एपीआई कॉल के माध्यम से प्रस्तुत किया गया था, और प्रतिक्रिया में उपयोग किए गए टोकन की संख्या को रिकॉर्ड किया गया था, और उनके बीच का अंतर टोन के प्रभाव के रूप में मापा गया था।

तापमान को स्थिर रखा गया था ताकि यादृच्छिक भिन्नता को रोका जा सके, और प्रॉम्प्ट जोड़े को केवल तभी बनाए रखा गया जब पुनर्लेखन ने इनपुट को पांच टोकन से अधिक नहीं बदला था। इससे यह सुनिश्चित हुआ कि अध्ययन किए जा रहे प्रभाव वास्तव में स्वर से उत्पन्न हो रहे थे, न कि व्यापक रूप से भिन्न भिन्न प्रस्तुति में:

सारांश आंकड़े जो दर्शाते हैं कि शिष्ट प्रॉम्प्ट्स ने औसतन अशिष्ट प्रॉम्प्ट्स की तुलना में कम आउटपुट टोकन का उत्पादन किया, हालांकि उनके पास थोड़े अधिक इनपुट टोकन थे।

पहले दौर के परीक्षणों के मुख्य परिणाम यह दर्शाते हैं कि एक शिष्ट प्रॉम्प्ट का उपयोग करने से टोकन आउटपुट लंबाई 14.426 टोकन कम हो जाती है:

शिष्ट प्रॉम्प्ट प्रारूपण के प्रभाव को रेखांकित करते अनुमान परिणाम आउटपुट लंबाई (टोकन) पर।

विश्वसनीयता का परीक्षण करने के लिए, विश्लेषण को तीन प्रॉम्प्ट उपसेट में दोहराया गया था: स्पष्ट मार्कर जैसे ‘कृपया’ या ‘धन्यवाद’ का उपयोग करने वाले प्रॉम्प्ट्स; केवल ‘कृपया’ का उपयोग करने वाले; और अंतर्निहित शिष्टता वाले, जैसे ‘क्या आप’ या ‘क्या आप कर सकते हैं’:

शिष्टता के प्रकार पर आधारित अनुमान परिणाम।

मुख्य निष्कर्षों की विश्वसनीयता को मान्य करने के लिए, प्रॉम्प्ट शिष्टता का एक द्वितीयक वर्गीकरण एलआईडब्ल्यूसी फ्रेमवर्क का उपयोग करके किया गया था, जो भाषाई विशेषताओं के लिए एक निर्धारित और पुनरावृत्ति स्कोर प्रदान करता है।

जीपीटी के संभावित वर्गीकरण के विपरीत, एलआईडब्ल्यूसी प्रत्येक प्रॉम्प्ट को एक स्थिर शिष्टता स्कोर सौंप सकता है, जिससे विभिन्न विधियों में स्थिरता का मूल्यांकन किया जा सकता है। इस परीक्षण के हिस्से में, प्रॉम्प्ट्स को तब तक शिष्ट के रूप में लेबल किया गया जब तक उनका एलआईडब्ल्यूसी शिष्टता स्कोर शून्य से अधिक नहीं था, और अशिष्ट अन्यथा:

जब जीपीटी और एलआईडब्ल्यूसी वर्गीकरण के बीच संरेखण का माप किया गया, तो 81% मेल दर देखी गई। जबकि यह सटीकता का एक उपाय नहीं है, यह समझौता प्रणालियों के बीच स्थिरता के लिए समर्थन प्रदान किया:

जब केवल उन प्रॉम्प्ट्स का विश्लेषण किया गया जिनमें जीपीटी और एलआईडब्ल्यूसी शिष्टता लेबल मेल खाते थे, तो शिष्ट प्रॉम्प्ट्स ने अभी भी 14 कम आउटपुट टोकन का उत्पादन किया; और जब शिष्टता को एक स्लाइडिंग स्केल पर मापा गया, तो प्रत्येक शिष्टता में वृद्धि ने औसतन पांच टोकन द्वारा आउटपुट को कम किया:

शिष्टता से टोकन की बचत एलआईडब्ल्यूसी के साथ पुनः वर्गीकृत होने पर बनी रही, दोनों एक द्विआधारी लेबल और एक निरंतर स्कोर के रूप में।

लचीलापन

यह आकलन करने के लिए कि क्या शिष्टता का प्रभाव विभिन्न प्रकार के प्रॉम्प्ट्स में भिन्न होता है, प्रत्येक प्रॉम्प्ट को कई पूर्व-निर्धारित कार्य श्रेणियों में से एक में सौंपा गया था: जानकारी खोज; पाठ जेनरेशन; संपादन और पुनर्लेखन; वर्गीकरण; सारांश; और तकनीकी कार्य.

प्रत्येक प्रॉम्प्ट को उसकी एम्बेडिंग की तुलना पूर्व-निर्धारित कार्य विवरणों के साथ करके एक कार्य लेबल सौंपा गया था, अल-मिनीलएम-एल6-वी2 वाक्य ट्रांसफॉर्मर मॉडल का उपयोग करके:

कोसाइन समानता स्कोर प्रत्येक प्रॉम्प्ट और कार्य परिभाषाओं के सेट के बीच गणना किए गए थे, और सबसे अधिक समानता वाले लेबल को सौंपा गया था।

कार्य प्रकारों को तब नियंत्रण переменाओं के रूप में पुनर्निर्देशित किया गया था, ताकि यह जांचा जा सके कि क्या शिष्टता का प्रभाव प्रॉम्प्ट श्रेणी द्वारा भिन्न होता है, और कार्य और उपचार के बीच परस्पर क्रिया शर्तों को भी पेश किया गया था, ताकि यह जांचा जा सके कि क्या अलग-अलग प्रभाव हैं:

दोनों मामलों में, शिष्ट प्रॉम्प्ट्स ने लगातार कम आउटपुट का उत्पादन किया, और कार्य प्रकारों में कोई महत्वपूर्ण भिन्नता नहीं मिली:

प्रतिगमन परिणाम जो दिखाते हैं कि शिष्ट प्रॉम्प्ट्स ने सभी कार्य प्रकारों में आउटपुट लंबाई को कम किया, कोई महत्वपूर्ण परस्पर क्रिया प्रभाव नहीं मिला।