विचार नेता

सही एआई मॉडल चुनना: लागत और प्रदर्शन के बीच संतुलन

David Balaban
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Hand selecting a glowing AI model cube from multiple options in a modern tech office, symbolizing strategic AI model selection.
मुख्य बिंदुफ्रंटियर मॉडल की प्रति टोकन लागत GPT-4o mini या Claude Haiku जैसे हल्के विकल्पों से 10…
और देखें
  • फ्रंटियर मॉडल की प्रति टोकन लागत GPT-4o mini या Claude Haiku जैसे हल्के विकल्पों से 10 से 30 गुना अधिक होती है।
  • एक छोटे मॉडल पर अच्छी तरह से तैयार किया गया प्रॉम्प्ट, GPT-4o जैसे फ्रंटियर मॉडल पर दिए गए आलसी प्रॉम्प्ट से अक्सर बेहतर प्रदर्शन करता है।
  • फाइन-ट्यून किया गया Llama 3.1 8B, स्वास्थ्य सेवा या कानूनी तकनीक जैसे विशिष्ट डोमेन कार्यों में GPT-4o को पीछे छोड़ सकता है।

सबसे शक्तिशाली मॉडल का चयन करने में एक निश्चित सुख है। जब आप एक एआई-संचालित उत्पाद बना रहे हों, तो उपलब्ध सबसे शक्तिशाली मॉडल चुनना जिम्मेदार, लगभग तर्कसंगत निर्णय लगता है। जीपीटी-4ओ, क्लॉड ओपस, जेमिनी अल्ट्रा। ये प्रभावशाली तकनीक के टुकड़े हैं, और किसी को भी सबसे चतुर उपकरण चुनने के कारण कभी नौकरी से नहीं निकाला गया है।

लेकिन इसमें एक बात ध्यान देने योग्य है। परियोजनाएं फूल जाती हैं। लागत बढ़ जाती है। देरी आ जाती है। और लगभग तीन महीने के आसपास, टीम असहज प्रश्न पूछना शुरू कर देती है कि क्यों एक सरल ऑटोकम्प्लीट सुविधा एपीआई क्रेडिट के माध्यम से जल रही है जैसे कि एक स्टार्टअप जिसमें वेंचर फंडिंग और कोई जवाबदेही नहीं है।

यह बात है: “सबसे कैपेबल” और “सबसे उपयुक्त” दो अलग-अलग मानक हैं। एआई ऐप विकास सेवाओं के प्रदाता मॉडल का चयन मूल्यांकन द्वारा करते हैं, प्रदर्शन तालिकाओं में स्थान द्वारा नहीं।

बड़ा हमेशा बेहतर नहीं होता

एक फ्रंटियर मॉडल आदर्श परिस्थितियों में असाधारण रूप से अच्छा प्रदर्शन करता है, लेकिन संचालित करने के लिए बहुत महंगा है, अपूर्ण इनपुट को खराब तरीके से संभालता है, और सरल कार्यों की जरूरत से कहीं अधिक क्षमताएँ रखता है।

जीपीटी-4ओ कविता लिख सकता है, कानूनी अनुबंधों के माध्यम से तर्क कर सकता है, कोड डीबग कर सकता है, और एक दस साल के बच्चे को क्वांटम एंटैंगलमेंट की व्याख्या कर सकता है, कभी-कभी एक ही प्रतिक्रिया में। यह वास्तव में उल्लेखनीय है। लेकिन अगर आपका ऐप ग्राहक सहायता टिकटों का सारांश बना रहा है या इनवॉइस से संरचित डेटा निकाल रहा है, तो आप अप्रयुक्त क्षमताओं के लिए भुगतान कर रहे हैं।

छोटे, विशेष मॉडल ध्यान केंद्रित कार्यों के साथ आश्चर्यजनक सटीकता से निपटते हैं:

  • जीपीटी-4ओ मिनी लगभग 15 गुना कम लागत पर अधिकांश भाषा कार्यों को कवर करता है
  • क्लॉड हाइकु उच्च-मात्रा वाले संरचित कार्यभार पर गति और दक्षता के लिए निर्मित है
  • मिस्ट्रल 7बी और लामा 3.1 8बी खुले स्रोत विकल्प हैं जो तेजी से चलते हैं और फाइन-ट्यूनिंग के लिए उपयुक्त हैं

इन और फ्रंटियर मॉडल के बीच की खाई कार्य संकीर्ण होने और प्रोम्प्ट अच्छी तरह से इंजीनियर होने पर काफी कम हो जाती है।

लागत का वह गणित जिसकी योजना बैठकों में कोई चर्चा नहीं करता

फ्रंटियर मॉडल के लिए एपीआई मूल्य निर्धारण उनके हल्के समकक्षों की तुलना में प्रति टोकन 10 से 30 गुना अधिक हो सकता है। यह अंतर अमूर्त लगता है जब तक आप इसे बड़े पैमाने पर मॉडल नहीं करते।

मान लें कि आपका ऐप प्रति माह 500,000 एपीआई कॉल करता है:

मॉडल अनुमानित मासिक लागत
जीपीटी-4ओ $1,500 – $3,000
जीपीटी-4ओ मिनी $150 – $300
क्लॉड हाइकु $125 – $250

एक ही सुविधा। बहुत अलग लाभ मार्जिन।

कुछ टीमें हाइब्रिड आर्किटेक्चर चलाती हैं, सरल वर्गीकरण कार्यों को हल्के मॉडलों की ओर भेजती हैं जबकि भारी मॉडलों को जटिल सामग्री-निर्माण या तर्क चरणों के लिए आरक्षित करती हैं। Martian और RouteLLM जैसी कंपनियों ने इस तरह के मॉडल रूटिंग के लिए विशेष रूप से टूलिंग बनाई है। यह ग्लैमरस इंजीनियरिंग नहीं है, लेकिन यह वह चीज है जो सीएफओ को ध्यान देने योग्य रूप से अधिक आरामदायक बनाती है।

देरी एक उपयोगकर्ता अनुभव समस्या है

एक कारण है कि फास्ट फूड अस्तित्व में है। लोग हमेशा पांच-कोर्स भोजन नहीं चाहते हैं। कभी-कभी वे अपना उत्तर अब चाहते हैं।

फ्रंटियर मॉडल धीमे हैं। हमेशा बहुत नहीं, लेकिन इतना जरूर कि वास्तविक समय के अनुप्रयोगों में फर्क पड़े। यदि आपके उपयोगकर्ता एक संवादात्मक यूआई, एक चैट इंटरफ़ेस या एक लाइव कोडिंग सहायक में एआई प्रतिक्रियाओं की प्रतीक्षा कर रहे हैं, तो प्रतिक्रिया देरी उत्पाद के प्रति उपयोगकर्ता की धारणा पर सीधे असर डालती है। 4-6 सेकंड में प्रतिक्रिया देने वाला मॉडल अविश्वसनीय लगने लगता है, भले ही आउटपुट तकनीकी रूप से श्रेष्ठ हो।

व्यावहारिक नियम: यदि उपयोगकर्ता एक लोडिंग स्पिनर देखता है, तो प्रत्येक अतिरिक्त सेकंड विश्वास को कम करता है।

हाइकु, मिस्ट्रल और लामा 3.1 8बी मिलती-जुलती लोड स्थितियों के तहत काफी तेजी से चलते हैं (कभी-कभी 3 से 5 गुना तेज)। उपयोगकर्ता-सामना करने वाली सुविधाओं के लिए जहां महसूस होने वाली गति का महत्व है, यह एक छोटी सी बात नहीं है। यह एक उत्पाद निर्णय है।

प्रॉम्प्ट इंजीनियरिंग का कारक (जो सब कुछ बदल देता है)

यहाँ कुछ ऐसा है जो मॉडल तुलना थ्रेड्स में छूट जाता है: एक छोटे मॉडल पर एक अच्छी तरह से तैयार प्रॉम्प्ट अक्सर एक फ्रंटियर मॉडल पर एक आलसी प्रॉम्प्ट को हरा देता है।

आउटपुट गुणवत्ता मॉडल क्षमता और प्रॉम्प्ट गुणवत्ता का उत्पाद है। जब टीमें प्रॉम्प्ट इंजीनियरिंग (स्पष्ट निर्देश, संरचित आउटपुट प्रारूप, कुछ प्रदर्शनकारी उदाहरण, अच्छी तरह से परिभाषित प्रतिबंध) में निवेश करती हैं, तो छोटे मॉडल अपनी दिखाई देने वाली क्षमता-सीमा से काफी ऊपर प्रदर्शन करते हैं।

यहाँ कुछ उपकरण हैं जो जानने योग्य हैं:

  • LangChain और DSPy प्रॉम्प्ट पाइपलाइनों की रचना और अनुकूलन के लिए
  • निर्धारित सीमाओं के भीतर सामग्री-निर्माण और संरचित आउटपुट के लिए Guidance
  • अलग-अलग मॉडलों में व्यवस्थित प्रॉम्प्ट मूल्यांकन के लिए PromptFoo

उत्पादन में आज की कुछ सबसे प्रभावशाली एआई सुविधाएँ ऐसे मॉडलों पर चल रही हैं जो किसी भी क्षमता लीडरबोर्ड पर शीर्ष पाँच में नहीं आ पाएँगे। वे बस बहुत अच्छे प्रॉम्प्ट इस्तेमाल करती हैं।

फाइन-ट्यूनिंग समीकरण को बदलता है

एक सामान्य उपयोग वाले फ्रंटियर मॉडल और एक छोटे खुले स्रोत मॉडल के बीच तुलना फाइन-ट्यूनिंग जुड़ जाने पर बहुत अलग दिखती है। आपके विशिष्ट डोमेन डेटा (आपकी शब्दावली, आपके सीमांत मामले, आपके पसंदीदा आउटपुट प्रारूप) पर फाइन-ट्यून किया गया लामा 3.1 8बी मॉडल आपके विशिष्ट कार्य पर जीपीटी-4ओ को पीछे छोड़ सकता है।

यह एक कल्पना नहीं है। स्वास्थ्य सेवा, कानूनी प्रौद्योगिकी और ई-कॉमर्स में कंपनियों ने बार-बार इसका प्रदर्शन किया है।

फाइन-ट्यूनिंग की शुरुआत कहाँ से करें:

  • खुले स्रोत मॉडल होस्टिंग, डेटासेट और प्रशिक्षण बुनियादी ढांचे के लिए हगिंग फेस
  • लोकप्रिय खुले मॉडल पर तेजी से और सस्ते फाइन-ट्यूनिंग रन के लिए टुगेदर एआई
  • कस्टम मॉडल को तैनात करने के लिए रेप्लिकेट, अपने स्वयं के जीपीयू बुनियादी ढांचे का प्रबंधन किए बिना

फाइन-ट्यूनिंग के लिए शुरुआती निवेश की आवश्यकता होती है: डेटा क्यूरेशन, कंप्यूट समय, और मूल्यांकन कार्य। लेकिन उच्च-मात्रा वाले डोमेन-विशिष्ट कार्यों के लिए, आर्थिक गणना अक्सर इसके पक्ष में काफी बेहतर साबित होती है।

सुरक्षा और डेटा के भंडारण-स्थान पर बाद में विचार नहीं किया जा सकता

कुछ अनुप्रयोगों को तीसरे पक्ष के एपीआई में डेटा भेजने की अनुमति नहीं है। विचार करें:

  • HIPAA के तहत संचालित स्वास्थ्य सेवा प्लेटफ़ॉर्म
  • पीआईआई या विनियमित लेनदेन डेटा को संभालने वाले वित्तीय उपकरण
  • सख्त डेटा निवास आवश्यकताओं वाले उद्यम सॉफ़्टवेयर [1]

इन वातावरण में ऐसे प्रतिबंध हैं जिन्हें कोई भी फ्रंटियर मॉडल एपीआई पार नहीं कर सकता, क्षमता की परवाह किए बिना। स्व-होस्ट किए गए मॉडल, चाहे ऑन-प्रिमाइसेस हों या एक निजी क्लाउड में, आगे बढ़ने का एकमात्र मार्ग है। इसका अर्थ है लामा 3, मिस्ट्रल या फाई-3 जैसे खुले स्रोत मॉडल अपने स्वयं के बुनियादी ढांचे पर चल रहे हैं। एक फ्रंटियर मॉडल जिसका आप उत्पादन में कानूनी रूप से उपयोग नहीं कर सकते हैं, वह सही विकल्प नहीं है, बस।

मूल्यांकन चरण जिसे टीमें छोड़ देती हैं

अधिकांश टीमें मॉडल का चयन करती हैं जो सबसे महंगा है यह मानकर कि यह सबसे अच्छा है बिना इसका परीक्षण किए। इसके बजाय उन्हें अपने वास्तविक उपयोग के प्रतिनिधि नमूनों पर संरचित मूल्यांकन करना चाहिए।

यहाँ एक प्रक्रिया है जो काम करती है:

  1. अपेक्षित आउटपुट सहित 100 से 200 प्रतिनिधि इनपुट का मूल्यांकन सेट बनाएँ
  2. उन्हें दो या तीन उम्मीदवार मॉडलों के माध्यम से वास्तविक स्थितियों में चलाएं
  3. स्कोर अपने वास्तविक मानदंडों के खिलाफ: सटीकता, प्रारूप अनुरूपता, स्वर, देरी, प्रति कॉल लागत
  4. डेटा पर निर्णय लें, अंतर्ज्ञान या लीडरबोर्ड रैंकिंग पर नहीं

ब्रेनट्रस्ट, प्रॉम्प्टफू और वेट्स एंड बायसेस प्रॉम्प्ट्स जैसे टूल्स इस तरह के व्यवस्थित मूल्यांकन को अनुसंधान पृष्ठभूमि के बिना सुलभ बनाते हैं। यह सेट अप करने में कुछ घंटे लगते हैं। इसका लाभ है कि आप छह महीने तक गलत मॉडल इस्तेमाल करने से बचते हैं।

जब फ्रंटियर मॉडल वास्तव में सही विकल्प होता है

न्यायसंगत होने के लिए: ऐसे कार्य हैं जहां फ्रंटियर मॉडल वास्तव में अपनी कीमत का सही न्याय करते हैं।

एक फ्रंटियर मॉडल का उपयोग करें जब:

  • कार्य में जटिल बहु-चरण तर्क की आवश्यकता होती है जिसमें कोई स्पष्ट टेम्पलेट नहीं होता है
  • आउटपुट गुणवत्ता विचलन महंगा है और आयतन अपेक्षाकृत कम है
  • आपको व्यापक विश्व ज्ञान या सूक्ष्म निर्णय लेने की आवश्यकता है जिसकी कमी केवल प्रॉम्प्ट बदलकर पूरी नहीं की जा सकती
  • आप प्रोटोटाइप कर रहे हैं और अभी तक कार्य सीमाओं को परिभाषित नहीं किया है

हल्के मॉडल का उपयोग जारी रखें जब:

  • कार्य स्पष्ट रूप से परिभाषित है और बार-बार दोहराया जाता है
  • गति और लागत मायने रखती है जिस आयतन पर आप चल रहे हैं
  • आप प्रॉम्प्ट इंजीनियरिंग या फाइन-ट्यूनिंग में निवेश कर सकते हैं
  • डेटा निवास या अनुपालन नियम तीसरे पक्ष के एपीआई को खारिज करते हैं

मकसद शक्तिशाली मॉडलों से बचना नहीं है। मकसद साक्ष्य के आधार पर सोच-समझकर चुनना है, न कि सिर्फ सुरक्षित लगने के कारण लीडरबोर्ड का सबसे बड़ा नाम अपने-आप चुन लेना।

सारांश

एक एआई मॉडल का चयन आपके ऐप के लिए एक प्रतिष्ठा प्रतियोगिता की तरह महसूस नहीं करना चाहिए। कागज़ पर सबसे कैपेबल मॉडल हमेशा आपकी समस्या के लिए सही मॉडल नहीं होता; बल्कि आम तौर पर भी वह सही विकल्प नहीं होता।

कार्य के अनुरूप मॉडल चुनें। वास्तविक डेटा पर मूल्यांकन चलाएं। देरी, लागत, सुरक्षा आवश्यकताओं और आपकी टीम की प्रॉम्प्ट इंजीनियरिंग या फाइन-ट्यूनिंग की क्षमता को कारक में शामिल करें। सबसे अच्छे एआई उत्पाद निर्णय उन विशिष्टों में निहित हैं, न कि इसमें कि किस कंपनी ने पिछली तिमाही में सबसे चमकदार संख्या प्रकाशित की है।

टीमें जो महान एआई उत्पादों को शिप कर रही हैं उन्हें आवश्यक रूप से सबसे शक्तिशाली मॉडल नहीं चलाना है। वे सबसे उपयुक्त मॉडल इस्तेमाल कर रही हैं।

David Balaban

डेविड बालाबान एक कंप्यूटर सुरक्षा शोधकर्ता हैं जिनके पास मैलवेयर विश्लेषण और एंटीवायरस सॉफ्टवेयर मूल्यांकन में 17 वर्ष से अधिक का अनुभव है। डेविड MacSecurity.net और Privacy-PC.com परियोजनाओं का संचालन करते हैं जो सामाजिक इंजीनियरिंग, मैलवेयर, प्रवेश परीक्षण, खतरा खुफिया, ऑनलाइन गोपनीयता और एथिकल हैकिंग सहित समकालीन सूचना सुरक्षा मामलों पर विशेषज्ञ राय प्रस्तुत करते हैं। डेविड के पास मैलवेयर समस्या निवारण की मजबूत पृष्ठभूमि है, जिसमें हाल ही में रैनसमवेयर के विरुद्ध उपायों पर ध्यान केंद्रित किया गया है।