साइटेशन: क्या एंथ्रोपिक की नई सुविधा एआई की विश्वसनीयता समस्या का समाधान कर सकती है?

एआई सत्यापन एक गंभीर समस्या रही है। जबकि बड़े भाषा मॉडल (एलएलएम) ने अविश्वसनीय गति से प्रगति की है, उनकी सटीकता को साबित करने की चुनौती बनी हुई है।

एंथ्रोपिक इस समस्या का समाधान करने की कोशिश कर रहा है, और मुझे लगता है कि वे इसे हल करने का सबसे अच्छा मौका है।

कंपनी ने साइटेशन नामक एक नई एपीआई सुविधा जारी की है, जो अपने क्लाउड मॉडल के लिए एआई प्रणालियों की प्रतिक्रिया को सत्यापित करने के तरीके को बदलती है। यह तकनीक स्वचालित रूप से स्रोत दस्तावेजों को पचाने योग्य टुकड़ों में तोड़ देती है और हर एआई-उत्पन्न बयान को उसके मूल स्रोत से जोड़ती है – जैसे कि अकादमिक पत्र अपने संदर्भों का हवाला देते हैं।

साइटेशन एआई की सबसे बड़ी चुनौतियों में से एक का समाधान करने की कोशिश कर रहा है: यह साबित करना कि उत्पन्न सामग्री सटीक और विश्वसनीय है। जटिल प्रॉम्प्ट इंजीनियरिंग या मैनुअल सत्यापन की आवश्यकता के बिना, प्रणाली स्वचालित रूप से दस्तावेजों को संसाधित करती है और प्रत्येक दावे के लिए वाक्य-स्तरीय स्रोत सत्यापन प्रदान करती है।

डेटा आशाजनक परिणाम दिखाता है: पारंपरिक तरीकों की तुलना में 15% की साइटेशन सटीकता में सुधार हुआ है।

यह अब क्यों मायने रखता है

एआई विश्वास अब उद्यम अपनाने (साथ ही व्यक्तिगत अपनाने) के लिए एक महत्वपूर्ण बाधा बन गया है। जैसे ही संगठन प्रयोगात्मक एआई उपयोग से मुख्य परिचालन में आगे बढ़ते हैं, एआई आउटपुट को कुशलता से सत्यापित करने में असमर्थता ने एक महत्वपूर्ण बोतलनेक बना दिया है।

वर्तमान सत्यापन प्रणालियों में एक स्पष्ट समस्या का खुलासा होता है: संगठनों को गति और सटीकता के बीच चुनना पड़ता है। मैनुअल सत्यापन प्रक्रियाएं स्केल नहीं करती हैं, जबकि असत्यापित एआई आउटपुट जोखिम से भरा होता है। यह चुनौती विशेष रूप से नियंत्रित उद्योगों में तीव्र है जहां सटीकता केवल पसंदीदा नहीं है – यह आवश्यक है।

साइटेशन का समय एआई विकास में एक महत्वपूर्ण क्षण पर आता है। जैसे ही भाषा मॉडल अधिक परिष्कृत होते जाते हैं, निर्मित-सत्यापन की आवश्यकता समानुपातिक रूप से बढ़ी है। हमें ऐसी प्रणालियों का निर्माण करने की आवश्यकता है जिन्हें पेशेवर वातावरण में आत्मविश्वास से तैनात किया जा सकता है जहां सटीकता गैर-विचारशील है।

तकनीकी वास्तुकला का विश्लेषण

साइटेशन का जादू इसके दस्तावेज़ प्रसंस्करण दृष्टिकोण में निहित है। साइटेशन अन्य पारंपरिक एआई प्रणालियों की तरह नहीं है। ये अक्सर दस्तावेजों को सरल पाठ ब्लॉक के रूप में मानते हैं। साइटेशन के साथ, उपकरण स्रोत सामग्री को उन चंक्स में तोड़ देता है जिन्हें एंथ्रोपिक “चंक्स” कहता है। ये व्यक्तिगत वाक्य या उपयोगकर्ता-परिभाषित अनुभाग हो सकते हैं, जो सत्यापन के लिए एक विस्तृत आधार बनाते हैं।

यहाँ तकनीकी विवरण है:

दस्तावेज़ प्रसंस्करण और हैंडलिंग

साइटेशन दस्तावेजों को उनके प्रारूप के आधार पर अलग तरह से संसाधित करता है। पाठ फ़ाइलों के लिए, मानक 200,000 टोकन कैप के अलावा कोई सीमा नहीं है। इसमें आपका संदर्भ, प्रॉम्प्ट और स्वयं दस्तावेज़ शामिल हैं।

पीडीएफ हैंडलिंग अधिक जटिल है। प्रणाली पीडीएफ को दृश्य रूप से संसाधित करती है, न कि केवल पाठ के रूप में, जो कुछ प्रमुख प्रतिबंधों की ओर ले जाती है:

• 32MB फ़ाइल आकार सीमा
• प्रति दस्तावेज़ अधिकतम 100 पृष्ठ
• प्रत्येक पृष्ठ 1,500-3,000 टोकन की खपत करता है

टोकन प्रबंधन

अब इन सीमाओं के व्यावहारिक पक्ष पर जाते हैं। जब आप साइटेशन के साथ काम कर रहे हों, तो आपको अपने टोकन बजट का ध्यानपूर्वक ध्यान रखने की आवश्यकता है। यहाँ यह कैसे टूट जाता है:

मानक पाठ के लिए:

• पूर्ण अनुरोध सीमा: 200,000 टोकन
• इसमें शामिल हैं: संदर्भ + प्रॉम्प्ट + दस्तावेज़
• साइटेशन आउटपुट के लिए अलग से शुल्क नहीं

पीडीएफ के लिए:

• प्रति पृष्ठ अधिक टोकन खपत
• दृश्य प्रसंस्करण ओवरहेड
• अधिक जटिल टोकन गणना की आवश्यकता

साइटेशन बनाम आरएजी: मुख्य अंतर

साइटेशन रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) प्रणाली नहीं है – और यह अंतर मायने रखता है। जबकि आरएजी प्रणालियां ज्ञान आधार से प्रासंगिक जानकारी खोजने पर ध्यान केंद्रित करती हैं, साइटेशन पहले से चयनित जानकारी पर काम करती है।

इसे इस तरह सोचें: आरएजी यह तय करता है कि कौन सी जानकारी का उपयोग किया जाए, जबकि साइटेशन यह सुनिश्चित करता है कि जानकारी का उपयोग सटीक रूप से किया जाए। इसका मतलब है:

• आरएजी: जानकारी पुनर्प्राप्ति को संभालता है
• साइटेशन: जानकारी सत्यापन को संभालता है
• संयुक्त संभावना: दोनों प्रणालियां एक साथ काम कर सकती हैं

यह वास्तुकला चुनाव का अर्थ है कि साइटेशन प्रदान किए गए संदर्भों के भीतर सटीकता में उत्कृष्टता प्राप्त करता है, जबकि पुनर्प्राप्ति रणनीतियों को पूरक प्रणालियों के लिए छोड़ देता है।

एकीकरण मार्ग और प्रदर्शन

सेटअप सीधा है: साइटेशन एंथ्रोपिक के मानक एपीआई के माध्यम से चलता है, जिसका अर्थ है कि यदि आप पहले से ही क्लाउड का उपयोग कर रहे हैं, तो आप आधे रास्ते पर हैं। प्रणाली संदेश एपीआई के साथ सीधे एकीकृत होती है, जो अलग फ़ाइल भंडारण या जटिल बुनियादी ढांचे में बदलाव की आवश्यकता को समाप्त करती है।

मूल्य निर्धारण संरचना एंथ्रोपिक के टोकन-आधारित मॉडल का अनुसरण करती है, जिसमें एक महत्वपूर्ण लाभ है: जबकि आप स्रोत दस्तावेजों से इनपुट टोकन के लिए भुगतान करते हैं, साइटेशन आउटपुट के लिए कोई अतिरिक्त शुल्क नहीं है। यह एक भविष्यवाणी योग्य लागत संरचना बनाता है जो उपयोग के साथ स्केल करती है।

प्रदर्शन मेट्रिक्स एक प्रभावशाली कहानी सुनाते हैं:

• 15% की समग्र साइटेशन सटीकता में सुधार
• स्रोत हॉल्यूसिनेशन (10% घटना से शून्य) का पूर्ण उन्मूलन
• प्रत्येक दावे के लिए वाक्य-स्तरीय सत्यापन

अससत्यापित एआई प्रणालियों का उपयोग करने वाले संगठन (और व्यक्ति) खुद को एक नुकसान में पा रहे हैं, विशेष रूप से नियंत्रित उद्योगों या उच्च जोखिम वाले वातावरण में जहां सटीकता महत्वपूर्ण है।

आगे देखते हुए, हमें संभवतः देखने को मिलेगा:

• साइटेशन जैसी सुविधाओं का मानकीकरण
• पाठ के अलावा अन्य मीडिया में सत्यापन प्रणालियों का विकास
• उद्योग-विशिष्ट सत्यापन मानकों का विकास

पूरे उद्योग को वास्तव में एआई विश्वसनीयता और सत्यापन पर पुनः विचार करने की आवश्यकता है। उपयोगकर्ताओं को उस बिंदु पर पहुंचने की आवश्यकता है जहां वे हर दावे की सत्यापन आसानी से कर सकें।