विचार नेता
विश्वसनीय RAG कैसे बनाएं: सात विफलता बिंदुओं और मूल्यांकन ढांचों की गहन पड़ताल
मुख्य बिंदुडीपइवैल सीआई/सीडी पाइपलाइनों में एकीकृत होकर प्रोडक्शन डिप्लॉयमेंट से पहले रैग रिग्रेशन…
और देखें
- डीपइवैल सीआई/सीडी पाइपलाइनों में एकीकृत होकर प्रोडक्शन डिप्लॉयमेंट से पहले रैग रिग्रेशन को पकड़ता है।
- रागास मानव डेटा के बिना रिट्रीवल बनाम जेनरेशन विफलताओं का निदान करने के लिए सिंथेटिक टेस्ट सेट उत्पन्न करता है।
- अराइज़ फीनिक्स वेक्टर डेटाबेस के ज्ञान कवरेज में अंतराल को प्रकट करने के लिए एम्बेडिंग क्लस्टरों का विज़ुअलाइज़ेशन करता है।
पुनर्प्राप्ति-संवर्धित जनरेशन (RAG) आधुनिक AI वास्तुकला के लिए महत्वपूर्ण है, जो संदर्भ-जागरूक एजेंटों के निर्माण के लिए एक आवश्यक ढांचे के रूप में कार्य करता है।
लेकिन एक बुनियादी प्रोटोटाइप से एक उत्पादन-तैयार प्रणाली में जाने में डेटा पुनर्प्राप्ति, संदर्भ समेकन और प्रतिक्रिया संश्लेषण में महत्वपूर्ण बाधाओं का सामना करना पड़ता है।
यह लेख सात आम RAG विफलता बिंदुओं और व्यावहारिक कोडिंग उदाहरणों के साथ मूल्यांकन मेट्रिक्स में गहराई से जांच प्रदान करता है।
RAG की विफलता की संरचना – 7 विफलता बिंदु (FPs)
शोधकर्ता बार्नेट और सहकर्मियों के अनुसार, पुनर्प्राप्ति-संवर्धित जनरेशन (RAG) प्रणालियां पाइपलाइन में सात विशिष्ट विफलता बिंदु (FPs) का सामना करती हैं।
नीचे दिए गए चित्र में इन चरणों का चित्रण किया गया है:

चित्र A. RAG प्रणाली बनाने के लिए आवश्यक अनुक्रमण और क्वेरी प्रक्रियाएं। अनुक्रमण विकास के दौरान और क्वेरी निष्पादन के समय होती है। अध्ययन में पहचाने गए विफलता बिंदु लाल बक्सों में दिखाए गए हैं (स्रोत)
आइए चित्र A में ऊपर बाईं ओर से नीचे दाईं ओर बढ़ते हुए प्रत्येक FP को क्रम से समझें:
FP1. सामग्री की कमी
सामग्री की कमी तब होती है जब प्रणाली को एक प्रश्न पूछा जाता है जिसका उत्तर देना संभव नहीं है क्योंकि संबंधित जानकारी शुरू से ही उपलब्ध वेक्टर स्टोर में नहीं है।
विफलता तब होती है जब LLM यह कहने के बजाय कि उसे नहीं पता, एक विश्वसनीय लगने वाला लेकिन गलत उत्तर देता है।
FP2. सही दस्तावेज़ ऊपरी रैंक में नहीं आया
यह एक ऐसी स्थिति है जहां एक सही दस्तावेज़ वेक्टर स्टोर में मौजूद है, लेकिन पुनर्प्राप्तिकर्ता इसे शीर्ष-k दस्तावेज़ों में शामिल करने के लिए पर्याप्त रूप से रैंक नहीं देता है जो एक LLM को संदर्भ के रूप में दिया जाता है।
परिणामस्वरूप, सही जानकारी LLM तक कभी नहीं पहुंचती है।
FP3. संदर्भ में नहीं (समेकन रणनीति सीमाएं)
यह एक ऐसी स्थिति है जहां एक सही दस्तावेज़ मौजूद है और वेक्टर स्टोर से पुनर्प्राप्त किया जाता है, लेकिन समेकन प्रक्रिया के दौरान बाहर रखा जाता है।
यह तब होता है जब बहुत सारे दस्तावेज़ वापस आ जाते हैं और प्रणाली को उन्हें LLM की संदर्भ विंडो के भीतर फिट होने के लिए फिल्टर करना होता है, टोकन सीमाओं या दर सीमाओं के कारण।
FP4. निकाला नहीं गया
यह एक ऐसी स्थिति है जहां एक LLM संदर्भ में सही जानकारी की पहचान करने में विफल रहता है, भले ही सही जानकारी वेक्टर स्टोर में मौजूद थी और सफलतापूर्वक पुनर्प्राप्त/समेकित की गई थी।
यह तब होता है जब संदर्भ बहुत शोरदार होता है या विरोधाभासी जानकारी होती है जो LLM को भ्रमित करती है।
FP5. गलत प्रारूप
यह एक ऐसी स्थिति है जहां भंडारण, पुनर्प्राप्ति, समेकन और LLM व्याख्या सभी सफलतापूर्वक संभाले जाते हैं, लेकिन LLM प्रॉम्प्ट में दिए गए विशिष्ट प्रारूप निर्देशों का पालन करने में विफल रहता है, जैसे कि एक तालिका, एक बुलेटेड सूची या एक JSON स्कीमा।
FP6. विवरण का अनुचित स्तर
एक LLM का आउटपुट तकनीकी रूप से मौजूद है, लेकिन या तो बहुत सामान्य या उपयोगकर्ता की आवश्यकताओं की तुलना में बहुत जटिल है।
उदाहरण के लिए, एक LLM एक जटिल पेशेवर लक्ष्य वाले उपयोगकर्ता प्रश्न के लिए सरल उत्तर उत्पन्न करता है।
FP7. अधूरे उत्तर
यह एक ऐसी स्थिति है जहां एक LLM एक आउटपुट उत्पन्न करता है जो जरूरी नहीं कि गलत हो, लेकिन उसमें संदर्भ में उपलब्ध महत्वपूर्ण जानकारी छूट जाती है।
उदाहरण के लिए, जब एक उपयोगकर्ता एक जटिल प्रश्न पूछता है जैसे “दस्तावेज़ A, B, और C में मुख्य बिंदु क्या हैं?”, LLM केवल एक या दो स्रोतों को संबोधित करता है।
FPs, RAG पाइपलाइन के प्रदर्शन को कैसे प्रभावित करते हैं
प्रत्येक FP RAG पाइपलाइन के प्रदर्शन को प्रभावित करता है:
डेटा अखंडता और विश्वास विफलता
जब गलत या अनुपस्थित जानकारी मौजूद होती है, तो प्रणाली जानकारी का एक विश्वसनीय स्रोत नहीं है। प्राथमिक FPs में शामिल हैं:
- FP1 (सामग्री की कमी): उत्तर शुरू से ही दस्तावेज़ में नहीं है।
- FP4 (निकाला नहीं गया): LLM दस्तावेज़ में सही उत्तर को नजरअंदाज करने का फैसला करता है।
- FP7 (अधूरा): LLM आधे सच्चे उत्तर देता है, महत्वपूर्ण टुकड़े गायब हैं।
पुनर्प्राप्ति और दक्षता की बाधाएं
RAG पाइपलाइन पुनर्प्राप्ति और समेकन चरणों में महत्वपूर्ण जानकारी छूट जाने पर अक्षम हो सकती है। प्राथमिक FPs में शामिल हैं:
- FP2 (सही दस्तावेज़ ऊपरी रैंक में नहीं आया): एम्बेडिंग मॉडल शीर्ष-k एम्बेडिंग का चयन करने में विफल रहता है।
- FP3 (समेकन रणनीति): दस्तावेज़ों को LLM की सीमाओं के भीतर समेटने वाली स्क्रिप्ट सबसे महत्वपूर्ण हिस्से हटा देती है।
उपयोगकर्ता अनुभव और प्रारूप त्रुटियां
हालांकि सही है, एक खराब पठनीयता या गलत प्रारूप वाला आउटपुट उपयोगकर्ता अनुभव बिगाड़ सकता है। प्राथमिक FPs में शामिल हैं:
- FP5 (गलत प्रारूप): LLM विशिष्ट आउटपुट प्रारूप का पालन करने में विफल रहता है, जैसे कि JSON।
- FP6 (विवरण का अनुचित स्तर): LLM एक सरल हां/ना प्रश्न के लिए एक विस्तृत आउटपुट या एक जटिल प्रश्न के लिए एक बहुत ही संक्षिप्त उत्तर उत्पन्न करता है।
मूल्यांकन स्टैक: FPs को कम करने के लिए ढांचे
मूल्यांकन मेट्रिक्स इन FPs को कम करने के लिए डिज़ाइन किए गए हैं।
इस अनुभाग में व्यावहारिक उदाहरणों के साथ प्रमुख RAG मूल्यांकन मेट्रिक्स की पड़ताल की गई है:
प्रमुख RAG मूल्यांकन मेट्रिक्स:
- DeepEval
- RAGAS
- TruLens
- Arize Phoenix
- Braintrust
DeepEval – तैनाती से पहले इकाई परीक्षण
DeepEval मानदंड के आधार पर एक भारित स्कोर की गणना करता है।
एक LLM-जज (जैसे कि GPT-4o) प्रत्येक मानदंड का मूल्यांकन LLM के आउटपुट के खिलाफ करता है:

DeepEval G-eval का लाभ उठाता है, एक चेन-ऑफ-थॉट (CoT) ढांचा जो आउटपुट का मूल्यांकन करने के लिए एक बहु-चरण दृष्टिकोण लेता है:
- मानदंड को परिभाषित करें जिसका मूल्यांकन किया जाना है (जैसे कि “सुसंगतता”, “प्रवाह” या “प्रासंगिकता”)।
- मूल्यांकन के चरण उत्पन्न करें (मूल्यांकनकर्ता LLM का उपयोग करके)।
- मूल्यांकन चरण का पालन करें और इनपुट और LLM के आउटपुट का विश्लेषण करें।
- प्रत्येक मानदंड के स्कोर के अपेक्षित भारित योग की गणना करें।
व्यावहारिक उदाहरण
- स्थिति: जटिल सॉफ्टवेयर उत्पाद का तकनीकी दस्तावेज़ सहायक (बॉट) इंजीनियरिंग टीम के हर कोडबेस अपडेट के बाद काम करता हुआ लगता है।
- समस्या: कोई मात्रात्मक प्रमाण नहीं है कि बॉट अभी भी उपयोगकर्ता प्रश्न का उत्तर दे सकता है (आप सिर्फ “सोचते” हैं कि यह काम कर रहा है …)।
- समाधान: GitHub Actions में CI/CD रिग्रेशन परीक्षण सूट के रूप में एक PyTest फ़ंक्शन एकीकृत करें, जहां DeepEval
G-Evalऔर अन्य मेट्रिक्स को एक परीक्षण मामले पर चलाता है:
- अपेक्षित परिणाम: यदि किसी भी मेट्रिक्स का स्कोर थ्रेशोल्ड (0.85) से नीचे गिर जाता है, तो PyTest
AssertionErrorउठाता है – सीआई बिल्ड को तुरंत विफल कर देता है, बिना ध्यान में आए होने वाली गिरावट को उत्पादन तक पहुंचने से रोकता है।
फायदे
- पक्षपात और विषाक्तता की विशेष जांच सहित 50+ मेट्रिक्स उपलब्ध हैं।
- मौजूदा सीआई/सीडी पाइपलाइनों के साथ सहजता से एकीकृत होता है।
- किसी मानक उत्तर की आवश्यकता नहीं है। केवल प्रॉम्प्ट और प्रदान किए गए संदर्भ के आधार पर आउटपुट का मूल्यांकन करें।
सीमाएं
- मूल्यांकन की गुणवत्ता न्यायाधीश LLM की क्षमताओं पर बहुत अधिक निर्भर करती है।
- एक उच्च-अंत वाले न्यायाधीश LLM के साथ गणनात्मक रूप से महंगा है।
डेवलपर नोट – DeepEval के लिए परीक्षण मामला
LLMTestCaseऑब्जेक्ट का समूह उन परीक्षण मामलों को परिभाषित करता है जिन्हें DeepEval चलाता है।अभ्यास में, इस परीक्षण मामले में सबसे महत्वपूर्ण उपयोगकर्ता प्रश्न और लेबल वाले आउटपुट शामिल होने चाहिए जो पुनर्प्राप्त संदर्भ के साथ हैं।
वे एक JSON या CSV फ़ाइल से पुनर्प्राप्त किए जा सकते हैं।
RAGAS – भूसे के ढेर में सुई खोजने की प्रक्रिया का अनुकूलन
Retrieval Augmented Generation Assessment (Ragas) का लक्ष्य मनुष्यों द्वारा लेबल किए गए डेटासेट के बिना, सिंथेटिक परीक्षण सेट बनाकर RAG का मूल्यांकन करना है।
फिर, यह प्रमुख मेट्रिक्स की गणना करता है:

चित्र B. RAGAS मूल्यांकन त्रिकोण: सटीकता, रिकॉल, स्रोत-निष्ठा और प्रासंगिकता की मेट्रिक्स के जरिए प्रश्न, संदर्भ और उत्तर के संबंध (निर्माता: Kuriko IWAI)
प्रमुख मेट्रिक्स को तीन समूहों में वर्गीकृत किया जाता है:
- पुनर्प्राप्ति पाइपलाइन (काली निरंतर रेखा, चित्र B): संदर्भ सटीकता, संदर्भ रिकॉल।
- जनरेशन पाइपलाइन (काली बिंदीदार रेखा, चित्र B): स्रोत-निष्ठा, उत्तर प्रासंगिकता।
- संदर्भ मानक (लाल बॉक्स, चित्र B): उत्तर की अर्थगत समानता, उत्तर की शुद्धता।
व्यावहारिक उदाहरण
- स्थिति: कानूनी अनुबंधों की RAG प्रणाली महत्वपूर्ण धाराएं छोड़ रही है। आप अनिश्चित हैं कि क्या समस्या खोज (पुनर्प्राप्ति) या पढ़ने (जेनरेटर) में है।
- समस्या: कोई विचार नहीं है कि शीर्ष-k (पुनर्प्राप्त चंक्स) का अनुकूल मूल्य क्या है।
- समाधान: RAGAS का उपयोग करके 100 जोड़े प्रश्न और साक्ष्य के साथ एक सिंथेटिक परीक्षण सेट बनाएं। फिर, RAG पाइपलाइन को परीक्षण सेट पर चलाएं ताकि संदर्भ रिकॉल और संदर्भ सटीकता की गणना की जा सके:
- अपेक्षित परिणाम: मेट्रिक्स के परिणामों के आधार पर, कार्रवाई योजना निम्नलिखित हो सकती है:
| मेट्रिक | स्कोर | निदान | कार्रवाई योजना |
| संदर्भ रिकॉल | कम | पुनर्प्राप्तिकर्ता सही जानकारी खोजने से चूक जाता है। | – शीर्ष-k बढ़ाएं। – हाइब्रिड खोज (BM25 + वेक्टर) का प्रयास करें। |
| संदर्भ सटीकता | कम | शीर्ष-k अंशों में बहुत अधिक अनावश्यक सामग्री और शोर होता है, जिससे LLM भ्रमित होता है। | – शीर्ष-k घटाएं – एक रीरैंकर (जैसे कोहेरे) लागू करें। |
| स्रोत-निष्ठा | कम | जेनरेटर डेटा के बावजूद हॉलुसिनेटिंग कर रहा है। | – सिस्टम प्रॉम्प्ट को समायोजित करें। – संदर्भ विंडो सीमाओं की जांच करें। |
टेबल 1. RAGAS निदान कार्रवाई योजना – स्कोर को सिस्टम समायोजन में मैपिंग।
फायदे
- एक प्रारंभिक परियोजना के लिए उत्कृष्ट है जिसमें संदर्भ मानक डेटासेट नहीं है (जैसा कि हमने कोड स्निपेट में देखा, RAGAS एक सिंथेटिक परीक्षण सेट बना सकता है)।
सीमाएं
- सिंथेटिक परीक्षण सेट सूक्ष्म तथ्यात्मक त्रुटियां पकड़ने से चूक सकता है।
- उत्तरों को व्यक्तिगत दावों में तोड़ने के लिए एक सक्षम निष्कर्षण मॉडल की आवश्यकता होती है (मैंने उदाहरण में
gpt-4oका उपयोग किया था)।
TruLens – फीडबैक लूप विशेषज्ञ
TruLens RAG प्रक्रिया के आंतरिक तंत्र पर ध्यान केंद्रित करता है, न कि केवल अंतिम आउटपुट पर, फीडबैक फ़ंक्शन का उपयोग करके।
यह एक LLM-आधारित स्कोर का भी उपयोग करता है जो यह दर्शाता है कि प्रतिक्रिया प्रश्न के इरादे को कितनी अच्छी तरह से संतुष्ट करती है, 0-3 के 4-बिंदु लिकर्ट स्केल का उपयोग करके, जो विभिन्न खोज परिणामों की गुणवत्ता को रैंक करने के लिए उत्कृष्ट है।
व्यावहारिक उदाहरण
- स्थिति: एक चिकित्सा सलाहकार बॉट उपयोगकर्ता के प्रश्न का सही उत्तर देता है लेकिन एक प्रो-टिप जोड़ता है जो जांचे गए पीडीएफ बेस में नहीं है।
- समस्या: जोड़ी गई सलाह उपयोगी हो सकती है, लेकिन उसका आधार उपलब्ध स्रोतों में नहीं है।
- समाधान: TruLens का उपयोग करके स्रोतों में आधार की जांच करने वाला फीडबैक फ़ंक्शन
score > 0.8जैसे थ्रेशोल्ड के साथ लागू करें।
- अपेक्षित परिणाम: जब LLM एक प्रतिक्रिया उत्पन्न करता है जिसमें पुनर्प्राप्त चंक्स में मौजूद जानकारी नहीं है, TruLens आपके डैशबोर्ड में रिकॉर्ड को फ्लैग करता है।
फायदे
- तर्क-श्रृंखला दिखाकर सटीक रूप से पहचानने में मदद करता है कि एजेंट कहां भटक गया।
- वास्तविक समय में मनगढ़ंत जानकारी पकड़ने के लिए स्रोत-आधारित होने की जांच की अंतर्निहित सुविधा देता है।
सीमाएं
- कस्टम फीडबैक फ़ंक्शन को परिभाषित करने में सीखने की अवस्था है।
- साधारण स्क्रिप्ट के लिए डैशबोर्ड भारी महसूस हो सकता है।
Arize Phoenix – विफलताओं का मानचित्र
Arize Phoenix एक मुक्त स्रोत ऑब्ज़र्वेबिलिटी और मूल्यांकन उपकरण है जो LLM आउटपुट का मूल्यांकन करने के लिए है, जिसमें जटिल RAG प्रणालियां भी शामिल हैं।
Arize AI द्वारा OpenTelemetry पर निर्मित, यह ऑब्ज़र्वेबिलिटी पर ध्यान केंद्रित करता है, LLM मूल्यांकन को MLOps के एक उपसेट के रूप में मानता है।
RAG मूल्यांकन के संदर्भ में, फीनिक्स एम्बेडिंग विश्लेषण में उत्कृष्ट है, जो उच्च-आयामी वेक्टर एम्बेडिंग को 2D/3D स्पेस में Uniform Manifold Approximation and Projection (UMAP) का उपयोग करके कम करता है।
यह एम्बेडिंग विश्लेषण गणितीय रूप से यह प्रकट करता है कि क्या विफल प्रश्न अर्थ की दृष्टि से एक साथ समूहीकृत हैं, जो वेक्टर डेटाबेस में एक अंतराल का संकेत देता है।
व्यावहारिक उदाहरण
- स्थिति: एक ग्राहक सहायता बॉट रिफंड के लिए बहुत अच्छा काम करता है, लेकिन वारंटी दावों के लिए अर्थहीन उत्तर देता है।
- समस्या: वेक्टर डेटाबेस में डेटा की कमी है (जिसे लॉग में नहीं खोजा जा सकता)।
- समाधान: Arize Phoenix का उपयोग करके UMAP एम्बेडिंग विज़ुअलाइज़ेशन (UEV) बनाएं: वेक्टर डेटाबेस का ऐसा त्रिआयामी मानचित्र जिसमें उपयोगकर्ता के प्रश्न दस्तावेज़ अंशों के ऊपर दिखाए जाएं।
- अपेक्षित परिणाम: देखें कि उपयोगकर्ता प्रश्नों का एक समूह एक ऐसे क्षेत्र में उतरता है जहां कोई दस्तावेज़ मौजूद नहीं हैं, यह दर्शाता है कि कुछ दस्तावेज़ वेक्टर स्टोर में अपलोड करने में भूल हो गई हैं।
फायदे
- मौजूदा उद्यम निगरानी स्टैक के साथ एकीकृत होने के लिए OpenTelemetry-मूल है।
- वेक्टर स्टोर की अंधी जगहों को दृश्य बनाने के लिए सर्वोत्तम उपकरण है।
सीमाएं
- स्कोरिंग पर कम और ऑब्ज़र्वेबिलिटी पर अधिक केंद्रित।
- छोटे पैमाने पर अनुप्रयोगों या एकल-एजेंट टूल के लिए अत्यधिक हो सकता है।
Braintrust – प्रॉम्प्ट में गिरावट से बचाने वाला सुरक्षा जाल
Braintrust उच्च-आवृत्ति पुनरावृत्ति चक्रों के लिए डिज़ाइन किया गया है, क्रॉस-मॉडल तुलना का उपयोग करके।
व्यावहारिक उदाहरण
- स्थिति: एक इंजीनियर टीम प्रॉम्प्ट को “प्रश्न का उत्तर दें” (मामला ए) से एक अधिक जटिल 500-शब्द प्रणाली निर्देश (मामला बी) में अपग्रेड करती है।
- समस्या: मामले बी के लिए प्रॉम्प्ट में सुधार मामले ए को अनजाने में बिगाड़ सकता है।
- समाधान: Braintrust का उपयोग करके एक स्वर्ण डेटासेट बनाएं जिसमें N पूर्ण उदाहरण (जैसे
N = 50) शामिल हों। प्रॉम्प्ट में एक शब्द को अपडेट करते समय Braintrust से साइड-बाय-साइड (SxS) तुलना कराएं:
- अपेक्षित परिणाम: अंतर दिखाने वाली रिपोर्ट बताती है कि संदर्भ डेटासेट के सभी N = 50 मामलों में कौन-से बेहतर हुए और कौन-से बदतर।
फायदे
- तैनाती से पहले परीक्षण करने के लिए बेहद तेज़ है।
- गैर-तकनीकी हितधारकों के लिए आउटपुट की समीक्षा और ग्रेडिंग के लिए उपयोगी यूज़र इंटरफ़ेस है।
सीमाएं
- स्वामित्व वाला और SaaS पर केंद्रित (हालांकि कुछ घटक ओपन सोर्स हैं)।
- DeepEval या Ragas की तुलना में अंतर्निहित गहन तकनीकी मेट्रिक्स कम हैं।
निष्कर्ष
उचित मूल्यांकन ढांचों के साथ RAG, उपयोगकर्ता के प्रश्न के लिए सबसे प्रासंगिक संदर्भ LLM को देने वाला प्रतिस्पर्धी उपकरण बन सकता है।
कार्यान्वयन रणनीति: मेट्रिक्स को विफलता बिंदुओं में मैपिंग
हालांकि सभी स्थितियों के लिए एक ही समाधान नहीं है, टेबल 2 दिखाता है कि प्रत्येक FP के लिए कौन से मूल्यांकन मेट्रिक्स लागू किए जाने चाहिए जिन्हें इस लेख में शामिल किया गया है:
| विफलता बिंदु | मूल्यांकन मेट्रिक्स विचार | इस्तेमाल की जाने वाली सुविधा |
| FP1: सामग्री की कमी | RAGAS | स्रोत-निष्ठा / उत्तर की शुद्धता |
| FP2: सही दस्तावेज़ ऊपरी रैंक में नहीं आया | TruLens | संदर्भ रिकॉल / सटीकता |
| FP3: समेकन | Arize Phoenix | पुनर्प्राप्ति ट्रेसिंग और देरी विश्लेषण |
| FP4: निकाला नहीं गया | DeepEval | स्रोत-निष्ठा / संदर्भ रिकॉल |
| FP5: गलत प्रारूप | DeepEval | G-Eval (कस्टम मूल्यांकन मानदंड) |
| FP6: विवरण का स्तर | Braintrust | मैनुअल ग्रेडिंग और साइड-बाय-साइड मूल्यांकन |
| FP7: अधूरा | RAGAS | उत्तर प्रासंगिकता |
टेबल 2. विफलता बिंदु शमन मैट्रिक्स – कौन-सा उपकरण किस FP को संबोधित करता है?
DeepEval और RAGAS डेटा अखंडता विफलताओं (FP1, FP4, FP7) को मापने के लिए अपने स्रोत-निष्ठा मेट्रिक्स का लाभ उठा सकते हैं।
TruLens संदर्भ सटीकता / रिकॉल का उपयोग करके आउटपुट के लिए संदर्भ की प्रासंगिकता मापता है और इस तरह FP2 का मूल्यांकन करता है।
Arize Phoenix पुनर्प्राप्ति प्रक्रिया का एक दृश्य निशान प्रदान करता है, जिससे यह देखना आसान हो जाता है कि क्या पुनर्प्राप्त दस्तावेज़ (FP3) को समेकन के दौरान खो दिया गया था।
उपयोगकर्ता अनुभव विफलताओं के लिए, DeepEval उपयोगकर्ता अनुभव विफलताओं का मूल्यांकन करने के लिए कस्टम मेट्रिक्स बनाता है, जबकि Braintrust संदर्भ मानक डेटासेट तुलना में उत्कृष्ट है।












