كثيرًا ما يستشهد الذكاء الاصطناعي بصفحات ويب لم يقرأها قط

تظهر أحيانًا في خضم ما يُنشر من أبحاث يومية ورقة تثير حماستي بشدة؛ لا لأنها غير دقيقة أو مسيئة، بل لأنها ترصد أمرًا تدرسه، وكان يزعجني منذ زمن طويل في هامش وعيي، على نحو مبهم وغير محدد (ربما لأنني كنت مشغولًا جدًا فلم أفعل سوى تجاهله).

صدرت اليوم ورقة من هذا النوع، أعدّها ثلاثة باحثين في قسم الحوسبة بكلية إمبريال كوليدج لندن. ويتناول هذا البحث الجديد، المعنون استُرجعت ولم تُقرأ: فهم أسباب إخفاق النماذج اللغوية الكبيرة المعززة بالبحث في استخدام الأدلة المتاحة، أسباب إغراق النماذج اللغوية الكبيرة (النماذج اللغوية الكبيرة) المستخدمين بعناوين URL داعمة، مثل الاستشهادات بأوراق بحثية غير ذات صلة والروابط إلى مقالات ويب زائفة، من دون حتى قراءتها.

ويقول الباحثون:

«وجدنا أن النماذج كثيرًا ما تجيب اعتمادًا على مقتطفات نتائج البحث من دون فتح صفحات المصادر، وهو ما يرتبط بارتفاع معدلات الإجابات المتقادمة والاستشهادات غير الأمينة. وتكشف تجاربنا المضبوطة وتحليلاتنا على مستوى الطبقات عن فجوة بين توافر الأدلة واستخدامها الفعلي.»

«حتى عندما تؤثر الأدلة المسترجعة في التنبؤات الداخلية، قد تظل النماذج تفضّل المعلومات المتقادمة في إجاباتها النهائية.»

اختبر الباحثون نموذجًا لغويًا كبيرًا مملوكًا لشركة OpenAI، هو GPT-5.6 Luna، وستة إعدادات لنماذج مفتوحة الأوزان، بالاستناد إلى مئات الحقائق التي تغيّرت منذ مواعيد توقف تدريب النماذج.

ثم درسوا مدى اعتماد الأنظمة على مقتطفات نتائج البحث بدلًا من فتح صفحات المصادر، وكيف أثّر ذلك في دقة إجاباتها واستشهاداتها، ولماذا غلبت المعلومات المتقادمة أحيانًا حتى عند تزويدها مباشرة بأدلة أحدث.

وأظهرت الاختبارات أن النماذج كثيرًا ما أجابت عن أسئلة من دون فتح أي من الصفحات التي أعادتها عمليات البحث على الويب، وأن هذا السلوك ارتبط بارتفاع ملحوظ في معدلات الإجابات المتقادمة والاستشهادات المضللة:

نتائج اختبارات تكشف مدى تكرار استشهاد نماذج الذكاء الاصطناعي بمصادر الويب من دون قراءتها فعليًا. قاس الباحثون، عبر ثمانية إعدادات، دقة الإجابات، ومدى الاعتماد على مقتطفات نتائج البحث من دون فتح صفحات المصادر، والاستشهادات التي تناقض ادعاءات النماذج. وفي بعض الحالات، انتهى أكثر من نصف عمليات البحث من دون فتح صفحة واحدة. جميع الأرقام نسب مئوية؛ ويستخدم الصف الأول بحثًا مباشرًا على الويب، بينما تستخدم الصفوف الأخرى نتائج بحث موحدة. المصدر

ووجد الباحثون أيضًا أن تقديم الأدلة الصحيحة مباشرة قد يقلل هذه الإخفاقات بدرجة كبيرة، مع أن بعض النماذج واصلت تفضيل المعلومات المتقادمة حتى عندما عُرضت عليها الحقائق الأحدث مباشرة.

دوافع خفية؟

أوضح سببين يدفعان النماذج اللغوية الكبيرة إلى إغراقنا بمستندات داعمة «تبدو صحيحة» لكنها غير ملائمة هما: أ) توفير المال، إذ يتطلب تنزيل المواد الأصلية وقراءتها، أو حتى قراءة ملخص عنها، وقتًا ونطاقًا تردديًا، وقد لا تكون هذه المواد متاحة أصلًا؛ وب) تقليل زمن الاستجابة، وكأن تقديم إجابة خاطئة أو شبه خاطئة بسرعة أفضل من تأخير الإجابة الأفضل قليلًا.

لكن مؤلفي البحث الجديد يهتمون أكثر بتحديد الآليات الأساسية وراء هذا القصور في الجودة، لا بكيفية تصميمه أو تصوره المسبق في البداية.

ومن غير المستغرب أن خبرتي حتى الآن في مناقشة اقتصاديات الحجم في النماذج اللغوية الكبيرة مع النماذج الرائدة قد قادت إلى ما لا يسعني إلا أن أفترض أنه استجابة دفاعية مقررة سلفًا.

تبدو اقتصاديات التلاعب بسلوك استشهاد النماذج اللغوية الكبيرة بهذه الطريقة منطقية، على الأقل بالنسبة إليّ؛ لكن التقنيات الفعلية ما زالت غير مفهومة بما يكفي، وتشهد تغيرًا مستمرًا، كما أنها عرضة لنتائج غير مألوفة، لذا يصعب إثبات وجود مثل هذه الدوافع في الوقت الراهن.

المنهجية

لاختبار مدى استخدام النماذج للأدلة على الويب فعليًا، جمع الباحثون 225 حقيقة تغيّرت منذ 16 فبراير 2026، وهو أحدث موعد توقف تدريب معلَن بين النماذج التي اختبروها.

استُقيت الحقائق من معلومات الأدوية لدى إدارة الغذاء والدواء الأمريكية (62 حقيقة)؛ والقطاع المالي (52)؛ والرياضة (47)؛ والأشخاص (43)؛ وإيداعات هيئة الأوراق المالية والبورصات الأمريكية (13)؛ والتصنيفات الكيميائية (8). واستُبعدت التغييرات التي دخلت حيز التنفيذ بحلول موعد التوقف، أو أُعلن عنها قبل 1 فبراير، وكذلك الادعاءات الطبية التي يمكن الإجابة عنها بالمعرفة العامة. واستخدم الباحثون أيضًا حقائق لم تتغير بوصفها عناصر ضابطة، ما أتاح لهم التمييز بين الإخفاقات المتعلقة بالمعلومات الجديدة والأخطاء الأعم.

لوضع خط أساس، اختُبر GPT-5.6 Luna من دون إمكانية الوصول إلى البحث على الويب، ولم يُجب إجابة صحيحة إلا عن 23.3% من أصل 103 أسئلة حول الحقائق التي طرأ عليها تغيير.

استُخدم نموذج ذكاء اصطناعي غير محدد لإعادة صياغة بنود ملصقات إدارة الغذاء والدواء الأمريكية (FDA) الواردة في مجموعة البيانات المذكورة آنفًا، وتحويلها إلى عبارات واقعية يمكن اختبار كل منها على حدة؛ ثم راجعت كل عبارة يدويًا*.

شملت إعدادات النماذج ذات الأوزان المفتوحة التي خضعت للاختبار GLM-5.3-Flash من Z.ai؛ وgpt-oss-120b وgpt-oss-20b من OpenAI؛ وgemma-4-31b من Google DeepMind، واختُبر مع الاستدلال ومن دونه؛ وqwen3-8b من Qwen.

زُوِّدت النماذج ذات الأوزان المفتوحة وGPT-5.6 Luna بنتائج البحث نفسها على الويب، بما يتيح مقارنة إجاباتها على نحو منصف. واختُبر Luna أيضًا على نحو منفصل باستخدام ميزة البحث المدمجة فيه.

جُمعت مسبقًا عشر نتائج بحث عن 223 حقيقة من أصل 225 باستخدام Brave Search. وتلقى كل نموذج النتائج نفسها، وتمكن من فتح الصفحات أو البحث فيها باستخدام الأدوات ذاتها.

أُتيحت دائمًا الصفحة التي تتضمن الإجابة «الصحيحة»؛ فإذا ظهرت تلقائيًا ضمن النتائج العشر الأولى، تُرك ترتيبها كما هو، وإلا أُدرجت في موضع حُدِّد مسبقًا ضمن النتائج، ما أتاح للباحثين دراسة كيفية استخدام النماذج للأدلة المتاحة في ظروف قابلة للمقارنة.

لزيادة اتساق الاختبارات، ضُبطت درجة الحرارة على الصفر في النماذج التي تدعم هذا الإعداد، وشُغِّل كل نموذج عبر المزوّد نفسه طوال التجارب.

صياغة المطالبات

من بين المطالبتين المستخدمتين لاختبار الحقائق، طلبت الأولى إجابة عن سؤال مفتوح، مثل «لأي نادٍ يلعب برناردو سيلفا؟»، سواء أُرفق الطلب بمصدر أم لا؛ أما الثانية فطلبت من النموذج التحقق من عبارة تتضمن معلومات حالية أو قديمة، ما أتاح للباحثين مقارنة طريقة التعامل مع كل نسخة.

استُخدمت أربعة أنواع إضافية من المطالبات في النتائج المجمعة: أسئلة مفتوحة تتضمن تلميحات؛ وطلبات اقتباسات؛ وطلبات تقديم استشهاد يدعم ادعاءً معطًى؛ واختبارات صحائف الحقائق، حيث طُلب من النموذج تحديد عبارة واحدة قديمة ضمن مجموعة من العبارات الصحيحة.

أمثلة على المطالبات الفعلية المستخدمة لاختبار النماذج، استنادًا إلى أسئلة وادعاءات عن لاعب كرة القدم برناردو سيلفا. يوضح الجدول كيف عُرضت المسألة الواقعية نفسها من خلال طلبات مختلفة للإجابة والتحقق والاقتباس والاستشهاد بالمصادر. بدأت جميع المطالبات بتاريخ 8 أغسطس 2026، واشترط معظمها إجابة نهائية موحدة، حُدّدت في التعليمات المرقمة بالحروف أسفل الجدول.

حددت كل مطالبة تاريخًا، واشترط معظمها إجابات بتنسيق ثابت يسمح بالرد بـ«يتعذر التحقق»، ما أتاح تقييم النتائج من دون الحاجة إلى تحكيم بشري أو قائم على نماذج لغوية كبيرة.

شملت المقاييس المستخدمة عمق القراءة (ما إذا كانت صفحات المصادر قد فُتحت واستُشهد بها)؛ ودقة الإجابة (نسبة الإجابات الصحيحة، باستثناء حالات الامتناع عن الإجابة)؛ وأمانة الاستشهادات (ما إذا كانت الصفحات المستشهد بها تناقض ادعاءات النموذج).

أُتمت عملية التقييم آليًا حيثما أمكن، وسُمح لنموذج لغوي كبير غير محدد بالموافقة على الاستشهادات فقط عندما يدعمها مقطع مطابق تمامًا من الصفحة المؤرشفة؛ وأُسندت الأحكام السلبية التي تتطلب تفسيرًا إلى مراجعين بشريين؛ كما استُخدمت حقائق الضبط التي لم يطرأ عليها تغيير لتحديد معدل الخطأ الأساسي لكل نموذج في الاستشهاد بالمصادر.

النتائج

في الاختبارات الأولية (المعروضة في بداية هذه المقالة)، حسّن الوصول إلى البحث على الويب قدرة النماذج على الإجابة عن الأسئلة إجابة صحيحة. وعند التحقق من دقة العبارات الواقعية، ارتفعت درجاتها بمقدار 27–42 نقطة مئوية. أما عند الإجابة عن الأسئلة مباشرة، فقدمت إجابات صحيحة في 85.8–95.4% من الحالات.

لكن كثيرًا من الإجابات أُنتجت من دون أن تزور النماذج فعليًا المواقع الإلكترونية التي أظهرتها نتائج البحث. وبدلًا من ذلك، اعتمدت على مقتطفات النصوص القصيرة المعروضة إلى جانب نتائج البحث. وحتى عند تزويد النماذج بنتائج البحث نفسها، تراوحت نسبة عمليات البحث التي لم تُفتح فيها أي صفحة بين 2.6% و76%، بحسب النموذج.

وفي هذا السياق، قدّم GPT-5.6 Luna أداءً اتسم بجهد منخفض على نحو لافت:

«عند تزويد النماذج بنتائج البحث نفسها، تجيب في 2.6–76.0% من الحالات من دون فتح أي صفحة. أما عند استخدام البحث المدمج فيه، فيجيب Luna عن 53.6% من الحالات اعتمادًا على المقتطفات وحدها.»

نتائج اختبارات تقارن الإجابات القديمة والاستشهادات المضللة بحسب مدى تدقيق النماذج في نتائج البحث. تعني «مقتطف» أنه لم تُفتح أي صفحة ويب؛ وتعني «مفتوحة» أن صفحة فُتحت ولكن لم يُستشهد بها؛ وتعني «مدمجة». أن صفحة فُتحت واستُشهد بها. جميع الأرقام نسب مئوية مجمّعة عبر سبعة إعدادات للنماذج وجميع أنواع المطالبات. وكانت الأخطاء أكثر شيوعًا عمومًا عندما اعتمدت النماذج حصريًا على مقتطفات البحث.

في إعدادات النماذج السبعة، كانت 6.4% من الإجابات المستندة إلى المقتطفات وحدها قديمة، مقارنةً بـ1.3% عندما استُشهد بالصفحات التي فُتحت. وكانت الاستشهادات المضللة أيضًا أكثر شيوعًا، إذ بلغت 6.4% مقابل 2.3%، كما هو موضح أعلاه. وفي الأسئلة الرياضية، وصلت نسبة الإجابات القديمة بين النماذج ذات الأوزان المفتوحة إلى 20.2% مقابل 2.1%. وعندما كانت الإجابات قديمة، ناقض 81.8% من الاستشهادات الداعمة لتلك الادعاءات مضمونها، مقارنةً بـ0.9% فقط في الإجابات المحدّثة. وظهرت أنماط مشابهة في اختبارات أوراق الحقائق.

يعني هذا عمليًا أن نماذج الذكاء الاصطناعي التي خضعت للدراسة أرجح أن تقدم إجابات خاطئة عندما تعتمد على الأوصاف الموجزة الظاهرة في نتائج البحث بدلًا من قراءة صفحات الويب نفسها. والأسوأ أنها تحيل أحيانًا إلى صفحات تثبت خطأ إجاباتها.

إخفاق مشترك

ما لم تكن النماذج المختارة لهذه الاختبارات «حالات شاذة جماعية»، فمن المعقول افتراض أن نماذج أخرى، مغلقة المصدر أو مفتوحة المصدر، تعاني هذه الظاهرة أيضًا. وفي الواقع، ارتبطت سبعة من أصل تسعة أنواع من الإخفاقات التي لوحظت في عمليات البحث المباشرة على الويب التي أجراها GPT-5.6 Luna ارتباطًا ملحوظًا بإخفاقات ظهرت عند اختبار نماذج أخرى باستخدام نتائج البحث الثابتة نفسها، ما يشير إلى أن المشكلات لم تقتصر على Luna.

أدى تقديم صفحة ويكيبيديا الصحيحة مباشرةً إلى تقليل الإجابات القديمة، إذ انخفض عدد الإخفاقات من 14 إلى صفر في gemma-4-31b؛ ومن 11 إلى واحد في gpt-oss-20b؛ ومن 16 إلى ثمانية في qwen3-8b. كما أن تكرار السؤال الأصلي بعد فتح كل صفحة صحح 26.1% من عمليات التحقق الفاشلة سابقًا في أوراق الحقائق.

نتائج توضح مدى تكرار قبول gemma-4-31b وgpt-oss-20b وqwen3-8b لادعاءات قديمة في ظروف مختلفة. إما حُجبت الأدلة نفسها، أو قُدمت مباشرةً في المطالبة، أو أُتيحت عبر نتائج البحث، مع تخصيص اختبارات منفصلة لطلب مصادر داعمة. وكان تقديم الصفحة الصحيحة مباشرةً أكثر فاعلية بكثير من مطالبة النماذج بالعثور عليها بنفسها. وتعرض الأرقام حالات الإخفاق من إجمالي عدد الاختبارات.

قواعد الأندية

وأخيرًا، سعيًا إلى فهم أفضل لأسباب تجاهل الذكاء الاصطناعي للمعلومات الصحيحة أحيانًا، اختبر الباحثون ثلاثة نماذج ذات أوزان مفتوحة بشأن لاعبي كرة قدم غيّروا أنديتهم: gpt-oss-20b؛ وgemma-4-31b؛ وqwen3-8b.

أُعطي كل نموذج معلومات قديمة عن النادي الذي يلعب فيه أحد اللاعبين، وأُرفقت بها أحيانًا صفحة ويكيبيديا الصحيحة، ثم دُرست الإجابة التي رجّحها النموذج أثناء المعالجة.

أظهرت النتائج أن النماذج قد تتعرف على النادي الصحيح، لكنها تظل تقدم إجابة خاطئة:

نتائج اختبارات توضح كيفية موازنة qwen3-8b بين الناديين الصحيح والقديم أثناء تكوين الإجابة. يبيّن الرسم البياني الأيسر الإجابات الناجحة، حيث ظل النادي الصحيح متقدمًا؛ أما الرسم الأيمن فيبيّن الإخفاقات، حيث تجاوز النادي القديم النادي الصحيح في المراحل الأخيرة من المعالجة. وتشير المناطق المظللة إلى التباين بين الاختبارات.

في qwen3-8b، تقدم النادي الصحيح أحيانًا داخليًا قبل أن يتجاوزه النادي القديم بقليل من إصدار الإجابة (انظر أعلاه). وظهر نمط مشابه في gpt-oss-20b، بينما رجّح gemma-4-31b عمومًا النادي «القديم» طوال الوقت.

لذلك، يبدو أنه حتى عندما تكون الأدلة الصحيحة متاحة ويُتعرف عليها، فقد تطغى عليها المعلومات القديمة في الإجابة النهائية.

ختامًا، يرى المؤلفون أن على النماذج الاستفادة على نحو أفضل من صفحات الويب التي تسترجعها، بدلًا من الاعتماد على مقتطفات نتائج البحث. ويأملون أيضًا في معرفة سبب تمسّك النماذج أحيانًا بمعلومات قديمة رغم امتلاكها الإجابة الصحيحة، وما إذا كانت التغييرات في كيفية معالجة النماذج للمعلومات قد تساعد. لكنهم لا يقترحون حلًا قاطعًا.

الخاتمة

مع أن الورقة الجديدة تقدم بعض الأفكار القيّمة، فإنها لا تفسر استخفاف نماذج اللغة الكبيرة بالاستشهادات والمراجع. وبوصفي مستهلكًا ومحللًا معقولًا للأنماط من جانبي، ينتابني انطباع بأن نماذج اللغة الكبيرة التي أستخدمها توصي بأوراق بحثية أو عناوين URL لأنها موصى بها من مواقع أخرى… موصى بها بدورها…؟ فمن أين يأتي إذن هذا الشعور بالموثوقية؟

في الحقيقة، هذه ليست مشكلة تمكّنا من حلها حتى في عالم ما قبل الذكاء الاصطناعي، لذا فليس مستغربًا، ربما، أن يتبين أن نماذج اللغة الكبيرة لا توفر المال ولا تقلل زمن الاستجابة، بل تكتفي بترويج الشائعات الصينية نفسها التي نرضى بأن نعدّها «حقيقة».

* لا تذكر الورقة من أجرى هذه المراجعات.

نُشر لأول مرة يوم الجمعة، 16 أكتوبر 2026