विचार नेता

जब AI इंजन सहमत हों, तो यह प्रमाण नहीं: उत्पाद से जुड़े तथ्यों पर 300 सवाल क्या दिखाते हैं

Sebastian Dobrincu
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुमॉडलों के बीच सहमति यह मापती है कि कोई संस्करण कितनी व्यापक रूप से फैला है, न कि यह कि…
और देखें
  • मॉडलों के बीच सहमति यह मापती है कि कोई संस्करण कितनी व्यापक रूप से फैला है, न कि यह कि वह वर्तमान है या नहीं।
  • क्रॉस-चेकिंग एक-इंजन वाले अपवादों को पकड़ लेती है, लेकिन ऐसे उत्तर का पता नहीं लगा सकती जो सभी मॉडल साझा करते हैं।
  • किसी उत्तर में हर आधिकारिक नोट हो सकता है, फिर भी वे नोट गलत श्रेणियों में रखे गए हों।

यह लेख Scento के अक्टूबर 2026 के उस अध्ययन के निष्कर्षों पर आधारित है, जिसमें देखा गया कि ChatGPT, Gemini और Perplexity इत्र के नोट्स के बारे में पूछे गए सवालों के जवाब कैसे देते हैं (पूरी पद्धति, आँकड़े और सीमाएँ)।

AI एजेंटों को डिज़ाइन करते समय अपनाया जाने वाला एक आम सुरक्षा उपाय यह है कि एक से अधिक मॉडल से, या एक ही मॉडल से कई बार पूछा जाए और उनके सहमत जवाब पर भरोसा किया जाए। इस विचार के ठोस आधार हैं। स्व-संगति में तर्क के कई रास्तों से जवाब तैयार किए जाते हैं और बहुमत के जवाब को चुना जाता है; इससे तर्क-क्षमता की बेंचमार्क जाँचों में सटीकता बेहतर होती है। एक मॉडल से दूसरे मॉडल को अंक दिलाने की पद्धति—जिसका अध्ययन LLM को निर्णायक के रूप में परखना में किया गया है—मानव मूल्यांकनकर्ताओं के साथ काफी हद तक सहमति दिखाती है, हालाँकि लेखकों ने स्थान, जवाब की लंबाई और आत्म-प्रशंसा से जुड़े पूर्वाग्रहों का भी दस्तावेज़ीकरण किया है।

उत्पाद से जुड़े तथ्य यह परखने के लिए अच्छा विषय हैं कि सहमति का मतलब सटीकता है या नहीं, क्योंकि सही जवाब आम तौर पर उत्पाद बनाने वाली कंपनी ने लिखित रूप में प्रकाशित किया होता है। हमने इत्र के मामले में इसकी जाँच की, और नतीजा था: केवल कुछ हद तक।

जाँच कैसे की गई

प्रॉम्प्ट में एक वाक्य था, जिसमें किसी सुगंध के शीर्ष, हृदय और आधार नोट्स पूछे गए थे। हमने 20 अक्टूबर 2026 को 45 ब्रांडों के 100 इत्रों में से हर एक के लिए यह सवाल ChatGPT, Gemini और Perplexity से पूछा। हर सवाल केवल एक बार, अंग्रेज़ी में और अमेरिका में एक स्थान से भेजा गया: कुल 300 सवाल। Gemini ने 99 जवाब दिए, क्योंकि एक बार सेवा संबंधी त्रुटि के कारण जवाब नहीं मिला।

91 इत्रों के लिए संदर्भ वह नोट-सूची थी जिसे संबंधित ब्रांड अपनी वेबसाइट पर प्रकाशित करता है। बाकी 9 के लिए, संदर्भ वह सूची थी जिस पर दो अधिकृत खुदरा विक्रेता सहमत थे। मूल्यांकन ऐसी स्क्रिप्ट से किया गया जिसमें किसी भी भाषा मॉडल का इस्तेमाल नहीं हुआ। स्क्रिप्ट ने हर जवाब के सभी नोट्स को 411 नोट्स की शब्दावली से मिलाया और फिर नतीजे की तुलना संदर्भ सूची से की। जब हमने 20 मूल्यांकनों की हाथ से जाँच की, तो 17 बिल्कुल मेल खाते थे और 19 में एक नोट तक का अंतर था। यह जाँच निष्पक्ष नहीं थी, क्योंकि समीक्षक स्क्रिप्ट का नतीजा देख सकता था।

हमने चार चीज़ें मापीं: रिकॉल (जवाब में मौजूद आधिकारिक नोट्स की संख्या), परिशुद्धता (जवाब में बताए गए नोट्स में से आधिकारिक नोट्स की संख्या), सटीक मिलान (सभी आधिकारिक नोट्स और कोई अतिरिक्त नोट नहीं) और स्थान-निर्धारण (क्या हर नोट शीर्ष, हृदय या आधार के सही स्तर पर है)।

निष्कर्ष 1: इंजन इस बात पर सहमत हैं कि कौन-से नोट मौजूद हैं

रिकॉल के मामले में तीनों इंजन लगभग एक जैसे दिखते हैं। हर इंजन का मध्यिका रिकॉल 1.00 था। ChatGPT ने 82% जवाबों में हर आधिकारिक नोट दिया, Perplexity ने 78% में और Gemini ने 69% में।

हालाँकि, पूरे जवाब पर सहमति बहुत कम देखने को मिली। जिन 99 इत्रों के जवाब तीनों इंजनों ने दिए, उनमें से 59 के लिए तीनों ने हर आधिकारिक नोट बताया। केवल 39 के लिए तीनों ने आधिकारिक सूची से बिल्कुल मेल खाता जवाब दिया। 79 इत्रों के लिए कम-से-कम एक इंजन का जवाब बिल्कुल सही था, जबकि 20 के लिए किसी भी इंजन का जवाब सही नहीं था।

लगभग हर पाँच में से एक मामले में (99 इत्रों में से 20 के लिए), तीनों इंजनों ने हर आधिकारिक नोट बताया, फिर भी उनमें से कम-से-कम एक ने ऐसे नोट भी जोड़ दिए जो सूची में नहीं थे। रिकॉल की जाँच में तीनों जवाब सही माने जाते।

निष्कर्ष 2: साझा जवाब सर्वसम्मति की हर जाँच में खरे उतरते हैं

सबसे शिक्षाप्रद नतीजे वे थे जिन पर इंजन एकमत थे।

Jean Paul Gaultier Le Male Elixir के लिए, सहमत दोनों खुदरा विक्रेता तीन नोट बताते हैं: शीर्ष पर लैवेंडर, हृदय में टोंका बीन और आधार में बेंज़ोइन। ChatGPT, Gemini और Perplexity—तीनों ने एक जैसी सात-नोट वाली संरचना दी। हर जवाब में संदर्भ के तीनों नोट शामिल थे, लेकिन टोंका बीन और बेंज़ोइन को एक-दूसरे के स्तर पर रख दिया गया था और चार अतिरिक्त नोट भी जोड़ दिए गए थे। तीन अलग-अलग इंजन, एक जैसा जवाब—और उस जवाब में संदर्भ से वही गड़बड़ियाँ थीं।

Viktor&Rolf Flowerbomb के लिए, ब्रांड की सूची में चार नोट हैं। Gemini और Perplexity, दोनों ने एक जैसी 11-नोट वाली संरचना दी; एक आधिकारिक नोट छूट गया और आठ अतिरिक्त नोट जुड़ गए। इसके बाद Perplexity के जवाब में यह भी कहा गया कि ब्रांड के मौजूदा विवरण में चारों आधिकारिक नोटों पर ज़ोर दिया गया है। इस तरह उसने दोनों संस्करण दिए, लेकिन शुरुआत पुराने संस्करण से की।

हमारे आँकड़े यह नहीं बता सकते कि जवाब एक जैसे क्यों हैं। लेकिन व्यावहारिक रूप से बात वजह पर निर्भर नहीं करती। जब सिस्टम वेब पर मौजूद एक ही तरह की सामग्री से जानकारी लेते हैं, तो बहुमत का मत यह बताता है कि कोई संस्करण कितना फैल चुका है, न कि यह कि वह मौजूदा है या नहीं। उनके बीच सहमति इस बात का कमज़ोर प्रमाण है कि जवाब उस जानकारी से मेल खाता है जिसे ब्रांड आज खुद प्रकाशित करता है।

निष्कर्ष 3: एक इंजन के अलग जवाब पकड़ना आसान है

कुछ अतिरिक्त नोट केवल किसी एक इंजन के जवाब में थे, और तुलना करने से ऐसी ही गड़बड़ियाँ सामने आती हैं। Gemini ने अपने 32% जवाबों में कम-से-कम एक ऐसा नोट जोड़ा जिसका उल्लेख बाकी दोनों इंजनों में से किसी ने नहीं किया; ChatGPT के लिए यह आँकड़ा 10% और Perplexity के लिए 11% था।

Prada Infusion de Vétiver के लिए, ब्रांड की सूची में चार नोट हैं। ChatGPT और Perplexity ने केवल वही चार नोट दिए और सभी को सही जगह पर रखा। Gemini ने 12 नोट दिए, जिनमें से आठ किसी दूसरे इंजन ने नहीं बताए थे; उसकी परिशुद्धता 0.33 थी। Rochas Eau de Rochas के लिए, Perplexity ने दस नोटों की सूची से बिल्कुल मेल खाता जवाब दिया, जबकि Gemini ने 18 नोट बताए, जिनमें से दस का उल्लेख किसी दूसरे इंजन ने नहीं किया था।

यहाँ जवाबों का मिलान करना कारगर है: दो सहमत जवाबों के सामने अलग जवाब तुरंत दिख जाता है। इस असमानता को निर्माताओं को ध्यान में रखना चाहिए। असहमति एक उपयोगी चेतावनी है। सहमति कोई प्रमाणपत्र नहीं।

निष्कर्ष 4: सही तथ्य, गलत संरचना

कुछ जवाबों में सही नोट्स तो थे, लेकिन वे गलत जगहों पर थे। Montblanc Explorer के मामले में ChatGPT ने नौ आधिकारिक नोट्स में से छह की सही पहचान की, लेकिन उन छह में से केवल दो सही श्रेणी में थे—यानी नोट्स को सही जगह रखने की सटीकता 33% थी। अगर जाँच में सिर्फ़ यह देखा जाए कि कोई नोट जवाब में कहीं मौजूद है या नहीं, तो यह पता नहीं चलेगा कि छह में से चार नोट गलत श्रेणी में हैं।

उत्पाद से जुड़े तथ्यों के आधार पर निर्णय लेने वाले किसी भी एजेंट के लिए उनकी संरचना भी मायने रखती है। अन्य श्रेणियों में आकार, अनुकूलता, खुराक या सामग्री के मामले में भी यही बात लागू होती है। अगर किसी मूल्यांकन में सिर्फ़ यह जाँचा जाए कि तथ्य जवाब में कहीं मौजूद हैं या नहीं, तो इस तरह की गलती पकड़ में नहीं आएगी।

उत्पाद के प्रकार के अनुसार दिखता एक पैटर्न

तीनों इंजनों में डिज़ाइनर परफ़्यूम से जुड़े जवाबों में विशिष्ट परफ़्यूम की तुलना में आधिकारिक सूची से बाहर के नोट्स ज़्यादा बार शामिल थे। दोनों के बीच यह अंतर 22 से 32 प्रतिशत अंक का था। ChatGPT में यह अंतर सबसे बड़ा दिखा: उसके डिज़ाइनर परफ़्यूम से जुड़े दस में से चार जवाबों में कम-से-कम एक ऐसा नोट था जो आधिकारिक सूची में नहीं था, जबकि विशिष्ट परफ़्यूम से जुड़े उसके दस में से एक से भी कम जवाबों में ऐसा नोट था।

आधिकारिक सूची छोटी हो, तो इंजन के पास उसमें अतिरिक्त नोट्स जोड़ने की ज़्यादा गुंजाइश होती है। इसलिए हमने तीनों इंजनों के जवाबों को एक साथ लेकर सूची की लंबाई के आधार पर तीन समूहों में बाँटा। हर समूह में डिज़ाइनर परफ़्यूम से जुड़े जवाबों में अतिरिक्त नोट्स ज़्यादा बार थे: पाँच या उससे कम नोट्स वाली सूचियों में 70%, जबकि विशिष्ट परफ़्यूम से जुड़ी सूचियों में 31% (क्रमशः 27 और 29 जवाब); छह से आठ नोट्स वाली सूचियों में 61% और 21% (क्रमशः 51 और 42 जवाब); और नौ या उससे ज़्यादा नोट्स वाली सूचियों में 26% और 13% (क्रमशः 72 और 77 जवाब)। नमूने छोटे हैं और हर समूह में अलग-अलग परफ़्यूम हाउस तथा स्रोत पृष्ठ शामिल थे, इसलिए हम इसका कारण अलग से निर्धारित नहीं कर सकते। हालाँकि, यह पैटर्न बताता है कि उत्पाद के अलग-अलग वर्गों में सटीकता बदलती है और पूरी सूची के लिए दिया गया एक ही आँकड़ा इस अंतर को छिपा सकता है।

खरीदारी एजेंट बनाने वाली टीमों के लिए इसका क्या मतलब है

सहमति का उपयोग असहमति पहचानने के लिए करें, सच्चाई की पुष्टि के लिए नहीं। अलग-अलग मॉडल के जवाबों की तुलना करके एक बार सामने आई अतिरिक्त जानकारी को आसानी से चिह्नित किया जा सकता है। लेकिन इससे उस जवाब का पता नहीं चल सकता जिस पर सभी मॉडल सहमत हों, इसलिए इसे आख़िरी जाँच नहीं मानना चाहिए।

अपने तथ्यों की पुष्टि अपने ही स्रोत से करें। जहाँ किसी तथ्य का आधिकारिक स्रोत हो—जैसे निर्माता की विनिर्देश सूची—वहाँ सबसे भरोसेमंद तरीका है कि उस स्रोत पृष्ठ का संदर्भ देने वाले संरचित रिकॉर्ड से तथ्य प्राप्त किए जाएँ। खुले मानकों से यह काम व्यावहारिक हो जाता है: पृष्ठ पर schema.org Product मार्कअप और एजेंटों को किसी डेटा स्रोत से सीधे जानकारी माँगने देने के लिए Model Context Protocol। Google की AI सुविधाओं पर मार्गदर्शिका के अनुसार, संरचित डेटा पृष्ठ पर दिखने वाले पाठ से मेल खाना चाहिए और उन सुविधाओं में शामिल होने के लिए किसी विशेष schema.org मार्कअप की ज़रूरत नहीं है।

सिर्फ़ रिकॉल नहीं, बल्कि सटीकता, पूर्ण मिलान और संरचना को भी आँकें। ऐसा जवाब जिसमें हर तथ्य के साथ तीन मनगढ़ंत बातें भी हों, रिकॉल की जाँच में सफल हो सकता है, फिर भी उपयोगकर्ता को गुमराह करेगा।

जहाँ संदर्भ डेटा उपलब्ध हो, वहाँ तय नियमों के आधार पर मूल्यांकन करें। संरचित डेटा से तुलना करने वाला नियम-आधारित मूल्यांकन बार-बार एक जैसा परिणाम देता है और उसकी जाँच की जा सकती है; साथ ही, उसमें मॉडल की तरह जानकारी न देख पाने की सीमाएँ नहीं होतीं।

एक से ज़्यादा बार चलाएँ। हर बार चलाने पर जवाब बदल सकते हैं। Andrew Lissimore ने इसी साइट पर AI खरीदारी सुझावों को मापने के बारे में यह बात कही थी। हमारे अध्ययन में हर परफ़्यूम के लिए हर इंजन से सिर्फ़ एक बार जवाब लिया गया, इसलिए अलग-अलग बार के जवाबों में कितना अंतर होता है, यह अज्ञात है।

अध्ययन की सीमाएँ

हर इंजन से हर परफ़्यूम के बारे में एक ही दिन, एक ही देश से और अंग्रेज़ी में सिर्फ़ एक बार पूछा गया। Claude और वे इंजन नहीं परखे गए जिनमें वेब खोज की सुविधा नहीं थी। आधिकारिक सूची में किसी नोट का न होना अपने-आप में यह साबित नहीं करता कि वह गलत है, क्योंकि परफ़्यूम हाउस कभी-कभी सिर्फ़ मुख्य नोट्स प्रकाशित करते हैं। इसलिए सटीकता का आँकड़ा सही होने की निचली सीमा बताता है। मूल्यांकनकर्ता को उन्हीं 100 परफ़्यूम के आधार पर समायोजित किया गया था, और नमूने में मुख्यतः पश्चिमी डिज़ाइनर और विशिष्ट परफ़्यूम हाउस शामिल थे, जिनकी सूचियों की पुष्टि की जा सकती थी।

इन सीमाओं के बावजूद, पैटर्न लगातार एक जैसा रहा। तीन इंजनों की सहमति से पता चलता है कि तथ्यों का कोई एक रूप व्यापक रूप से दोहराया जा रहा है। लेकिन जानकारी अभी भी सही है या नहीं, यह सिर्फ़ स्रोत ही बता सकता है। इसलिए, अगर आपका एजेंट किसी दूसरे मॉडल से अपने जवाब की जाँच करता है, तो सवाल यह है: जब दो मॉडल एक ही गलत जवाब दें, तब आपका एजेंट क्या करता है?

Sebastian Dobrincu, Scento के संस्थापक और CEO हैं। पेरिस मुख्यालय वाली यह ऑनलाइन परफ्यूम कंपनी यूरोप में हर साल 30 लाख से अधिक परफ्यूम डिकैंट बेचती है। Scento ने एआई के जवाबों की सटीकता पर यह अध्ययन तैयार किया और इसे संचालित किया। कंपनी डेवलपरों और एआई एजेंटों के लिए परफ्यूम के नोट्स से जुड़ा अपना डेटा निःशुल्क प्रकाशित करती है।