قادة الفكر
عندما تتفق محركات الذكاء الاصطناعي، فهذا ليس دليلاً: ما تكشفه 300 استعلام عن حقائق المنتجات

النقاط الرئيسيةيقيس التوافق بين النماذج مدى انتشار نسخة ما وليس ما إذا كانت حديثة.
عرض المزيد
- يقيس التوافق بين النماذج مدى انتشار نسخة ما وليس ما إذا كانت حديثة.
- يكشف التحقق المتقاطع القيم الشاذة لمحرك واحد لكنه لا يستطيع اكتشاف إجابة تشترك فيها جميع النماذج.
- يمكن أن تحتوي الإجابة على كل الملاحظات الرسمية مع وضع تلك الملاحظات في الفئات الخاطئة.
تستند هذه المقالة إلى نتائج دراسة أجرتها Scento في أكتوبر 2026 حول كيفية إجابة ChatGPT وGemini وPerplexity عن الأسئلة المتعلقة بنوتات العطور (المنهجية والبيانات والقيود كاملةً).
من التدابير الوقائية الشائعة في تصميم وكلاء الذكاء الاصطناعي سؤال أكثر من نموذج، أو سؤال النموذج نفسه أكثر من مرة، ثم الوثوق بالإجابة التي تتفق عليها النماذج. ولهذه الفكرة أساس متين. إذ يحسّن الاتساق الذاتي، الذي يأخذ عينات من مسارات استدلال متعددة ويعتمد الإجابة التي تحظى بالأغلبية، الدقة في اختبارات قياس قدرات الاستدلال. كما أن استخدام نموذج لتقييم نموذج آخر، وهو موضوع دراسة تقييم نموذج لغوي كبير بوصفه حَكَماً، يحقق مستوى عالياً من الاتفاق مع المقيّمين البشر، وإن كان الباحثون يوثقون أيضاً انحيازات تتعلق بالموضع والإسهاب وتعزيز النموذج لذاته.
حقائق المنتجات مجال مناسب لاختبار ما إذا كان الاتفاق يعني الدقة، لأن الإجابة الصحيحة تكون عادةً موثقة لدى الشركة المصنّعة للمنتج. اختبرنا ذلك على العطور، وكانت النتيجة: جزئياً فقط.
كيف أُجري الاختبار
كان الطلب جملة واحدة تسأل عن النوتات العليا والقلب والقاعدة في العطر. أرسلنا الطلب لكل عطر من بين 100 عطر اختيرت من 45 داراً، إلى ChatGPT وGemini وPerplexity في 20 أكتوبر 2026. أجرينا كل استدعاء مرة واحدة، باللغة الإنجليزية ومن موقع في الولايات المتحدة: 300 استدعاء إجمالاً. وأعاد Gemini 99 إجابة، إذ انتهى أحد الاستدعاءات بخطأ في الخدمة.
بالنسبة إلى 91 عطراً، كانت القائمة المرجعية هي قائمة النوتات التي تنشرها دار العطر على موقعها الإلكتروني. أما العطور التسعة المتبقية، فكانت قائمتها المرجعية قائمةً يتفق عليها بائعان معتمدان. أُجري التقييم باستخدام برنامج نصي لم يستخدم أي نموذج لغوي. وطابق البرنامج كل نوتة في كل إجابة مع مسرد يضم 411 نوتة، ثم قارن النتيجة بالقائمة المرجعية. وعندما تحققنا يدوياً من 20 تقييماً، تطابق 17 منها تماماً، بينما اختلف 19 منها بما لا يتجاوز نوتة واحدة. ولم يكن هذا التحقق معمى، لأن المراجع كان بإمكانه رؤية نتيجة البرنامج.
قسنا أربعة أمور: الاستدعاء (عدد النوتات الرسمية التي تتضمنها الإجابة)، والدقة (عدد النوتات الرسمية من بين النوتات التي تذكرها الإجابة)، والتطابق التام (جميع النوتات الرسمية من دون أي نوتات إضافية)، والموضع (ما إذا كانت كل نوتة في طبقتها الصحيحة: العليا أو القلب أو القاعدة).
النتيجة الأولى: تتفق المحركات على النوتات الموجودة
تبدو المحركات الثلاثة متقاربة جداً في مقياس الاستدعاء. فقد بلغ وسيط الاستدعاء 1.00 لكل منها. وأورد ChatGPT جميع النوتات الرسمية في 82% من الإجابات، وPerplexity في 78%، وGemini في 69%.
أما الاتفاق على الإجابة كاملةً فكان أندر بكثير. فمن بين العطور الـ99 التي أجابت عنها المحركات الثلاثة، أوردت المحركات جميع النوتات الرسمية في 59 عطراً. ولم تطابق المحركات الثلاثة القائمة الرسمية تماماً إلا في 39 عطراً. وقدّم محرك واحد على الأقل إجابة مطابقة تماماً في 79 عطراً، بينما لم يقدّم أي محرك إجابة مطابقة في 20 عطراً.
في نحو حالة واحدة من كل خمس حالات (20 عطراً من أصل 99)، أوردت المحركات الثلاثة جميع النوتات الرسمية، لكن واحداً منها على الأقل أضاف أيضاً نوتات غير واردة في القائمة. وكان فحص الاستدعاء سيقبل الإجابات الثلاث كلها.
النتيجة الثانية: الإجابات المشتركة تجتاز كل اختبارات الإجماع
كانت النتائج الأكثر دلالة هي تلك التي اتفقت عليها المحركات.
بالنسبة إلى Jean Paul Gaultier Le Male Elixir، تذكر القائمتان المتفقتان عليهما لدى بائعي التجزئة ثلاث نوتات: اللافندر في النوتات العليا، وحبوب التونكا في القلب، والبنزوين في القاعدة. وقدّم كل من ChatGPT وGemini وPerplexity هرماً متطابقاً من سبع نوتات. تضمّن كل منها النوتات المرجعية الثلاث، لكنه وضع حبوب التونكا والبنزوين كلٌّ في طبقة الأخرى، وأضاف أربع نوتات أخرى. ثلاثة محركات مستقلة، وإجابة واحدة متطابقة، لكنها تخالف القائمة المرجعية في المواضع نفسها.
بالنسبة إلى Viktor&Rolf Flowerbomb، تذكر الدار أربع نوتات. وأعاد كل من Gemini وPerplexity الهرم نفسه المؤلف من 11 نوتة، وأسقطا نوتة رسمية واحدة وأضافا ثماني نوتات. ثم أشارت إجابة Perplexity إلى أن الوصف الحالي للعلامة التجارية يبرز النوتات الرسمية الأربع، فأوردت النسختين وقدّمت الأقدم أولاً.
لا تكشف بياناتنا سبب تطابق الإجابات، لكن المغزى العملي لا يتوقف على معرفة السبب. فعندما تعتمد الأنظمة على المجموعة نفسها من النصوص المنشورة على الويب، يقيس تصويت الأغلبية مدى انتشار صيغة معينة، لا مدى حداثتها. والاتفاق بينها دليل ضعيف على أن الإجابة تطابق ما تنشره العلامة التجارية بنفسها اليوم.
النتيجة الثالثة: يسهل اكتشاف الإجابات الشاذة الصادرة عن محرك واحد
كانت بعض النوتات الإضافية الأخرى خاصة بمحرك واحد، وهي تحديداً ما يكشفه إجراء المقارنة. ففي 32% من إجاباته، أضاف Gemini نوتة واحدة على الأقل لم يذكرها أي من المحركين الآخرين، مقابل 10% لدى ChatGPT و11% لدى Perplexity.
بالنسبة إلى Prada Infusion de Vétiver، تذكر الدار أربع نوتات. وأعاد ChatGPT وPerplexity هذه النوتات الأربع نفسها، وفي مواضعها الصحيحة تماماً. أما Gemini فأعاد 12 نوتة، منها ثمانٍ لم يذكرها أي محرك آخر، وبلغت دقته 0.33. وبالنسبة إلى Rochas Eau de Rochas، طابقت إجابة Perplexity القائمة المؤلفة من عشر نوتات تماماً، بينما أعاد Gemini 18 نوتة، لم يذكر أي محرك آخر عشر نوتات منها.
ينجح التحقق المتقاطع هنا: فالإجابة الشاذة تبرز عند مقارنتها بإجابتين متفقتين. وهذا هو التفاوت الذي ينبغي للمطورين أخذه في الحسبان. فالاختلاف إنذار مفيد، أما الاتفاق فليس شهادة صحة.
النتيجة الرابعة: حقائق صحيحة، وبنية خاطئة
تضمنت بعض الإجابات الملاحظات الصحيحة، لكن في مواضع خاطئة. ففي حالة Montblanc Explorer، طابقت ChatGPT ستًا من الملاحظات الرسمية التسع، لكن اثنتين فقط من هذه الست وردتا ضمن الفئة الصحيحة، أي إن دقة التصنيف بلغت 33%. ولن يكشف فحص يقتصر على التحقق مما إذا كانت الملاحظة تظهر في موضع ما من الإجابة أن أربعًا من الملاحظات الست وُضعت في فئة خاطئة.
تحمل البنية معنى مهمًا لأي وكيل يحوّل معلومات المنتجات إلى قرارات. وينطبق الأمر نفسه على المقاسات والتوافق والجرعات والمكونات في فئات أخرى. أما التقييم الذي يكتفي بالتحقق من ظهور المعلومات في موضع ما من الإجابة، فسيفوته هذا النوع من الأخطاء.
نمط يختلف باختلاف نوع المنتج
تضمنت الإجابات عن العطور الفاخرة ملاحظات غير واردة في القوائم الرسمية بوتيرة أعلى من الإجابات عن العطور المتخصصة، وذلك في المحركات الثلاثة كلها، بفوارق تراوحت بين 22 و32 نقطة مئوية. وسجل ChatGPT أكبر تفاوت: إذ تضمنت أربع من كل عشر إجابات له عن العطور الفاخرة ملاحظة واحدة على الأقل غير واردة في القائمة، مقابل أقل من إجابة واحدة من كل عشر عن العطور المتخصصة.
تمنح القائمة الرسمية القصيرة المحرك مجالًا أوسع لإضافة ملاحظات، لذا ضبطنا أثر طول القائمة بدمج إجابات المحركات الثلاثة وفرزها إلى ثلاث فئات. ومع ذلك، احتوت إجابات العطور الفاخرة على إضافات بوتيرة أعلى في كل فئة: 70% مقابل 31% للقوائم التي تضم خمس ملاحظات أو أقل (27 و29 إجابة)، و61% مقابل 21% للقوائم التي تضم من ست إلى ثماني ملاحظات (51 و42 إجابة)، و26% مقابل 13% للقوائم التي تضم تسع ملاحظات أو أكثر (72 و77 إجابة). العينات صغيرة، وبما أن كل مجموعة استندت إلى مجموعة خاصة بها من دور العطور وصفحات المصادر، فلا يمكننا تحديد السبب بمعزل عن العوامل الأخرى. لكن هذا النمط يشير إلى أن الدقة تختلف باختلاف شريحة المنتجات، وأن رقمًا واحدًا لمجموعة منتجات كاملة قد يخفي هذا التفاوت.
ما الذي يعنيه ذلك للفرق التي تطوّر وكلاء التسوق؟
استخدموا التوافق بين النماذج لكشف الاختلاف، لا لإثبات صحة المعلومات. تُعد مقارنة النماذج وسيلة قليلة التكلفة لرصد الإضافات التي تظهر في إجابة واحدة فقط. لكنها لا تكشف الإجابة الخاطئة التي تتفق عليها النماذج، لذا ينبغي ألا تكون الفحص الأخير.
استندوا في الحقائق المملوكة إلى مصدر تملكونه. عندما يكون لمعلومة ما مصدر مسؤول عنها، مثل مواصفات الشركة المصنّعة، فإن المسار الأوثق هو استرجاعها من سجل منظم يتضمن صفحة المصدر. وتجعل المعايير المفتوحة ذلك عمليًا: يمكن استخدام ترميز المنتج في schema.org على الصفحة، وبروتوكول Model Context Protocol لتمكين الوكلاء من الاستعلام مباشرةً عن مصدر البيانات. وتنص إرشادات Google بشأن ميزات الذكاء الاصطناعي على أن البيانات المنظمة ينبغي أن تطابق النص الظاهر على الصفحة، وأن الظهور في تلك الميزات لا يتطلب ترميزًا خاصًا وفق schema.org.
قيّموا الدقة والمطابقة التامة والبنية، لا الاسترجاع وحده. فالإجابة التي تتضمن كل الحقائق، إلى جانب ثلاث معلومات مختلقة، تجتاز اختبار الاسترجاع لكنها تظل مضللة للمستخدم.
قيّموا النتائج بأسلوب حتمي عندما تتوفر بيانات مرجعية. فالتقييم القائم على القواعد والمقارنة بالبيانات المنظمة قابل للتكرار والتدقيق، ولا يعاني النقاط العمياء نفسها التي يعانيها النموذج.
أجروا الاختبار أكثر من مرة. تختلف الإجابات من تشغيل إلى آخر، وهي نقطة أشار إليها Andrew Lissimore في هذا الموقع عند تناوله قياس توصيات التسوق المدعومة بالذكاء الاصطناعي. أجرى بحثنا استعلامًا واحدًا لكل عطر في كل محرك، لذلك لا نعرف مدى اختلاف النتائج بين مرات التشغيل.
حدود الدراسة
طُرح السؤال عن كل عطر مرة واحدة على كل محرك، في يوم واحد، باللغة الإنجليزية، ومن بلد واحد. ولم نختبر Claude ولا المحركات التي لا تستخدم البحث على الويب. ولا يعني غياب ملاحظة عن قائمة رسمية أنها خاطئة بالضرورة، إذ تنشر دور العطور أحيانًا الملاحظات الأساسية فقط؛ لذا فإن الدقة تمثل حدًا أدنى للصحة. وضُبطت أداة التقييم بالاعتماد على العطور المئة نفسها، وتتألف العينة في معظمها من دور عطور غربية فاخرة ومتخصصة أمكن التحقق من قوائمها.
ظل النمط متسقًا ضمن هذه الحدود. إن اتفاق ثلاثة محركات يخبرك بأن صيغة ما من الحقائق متداولة على نطاق واسع، لكن المصدر وحده يبيّن ما إذا كانت محدّثة. لذا إليك السؤال الموجّه إلى كل من يجعل وكيله يتحقق من إجاباته بمقارنتها بنموذج ثانٍ: ماذا يفعل وكيلك عندما يعطي نموذجان الإجابة الخاطئة نفسها؟












