ChatGPT-5 و Gemini 2.5 يخلقان هلوسات في 40% من استفسارات الغرف الإخبارية التي تم اختبارها

دراسة جديدة تظهر أن ChatGPT-5 و Google Gemini يخلقان هلوسات في 40% من استفسارات الغرف الإخبارية، وغالبًا ما يخترعان ادعاءات متأكدة غير مدعومة بالحقائق القابلة للتحقق. يُظهر NotebookLM من Google أداءً أفضل عند 13% – وهو معدل من شأنه أن يُقال إن أي صحفي في العالم قد فُصل. وجدت الدراسة أن النماذج غالبًا ما تشوه المصادر عن طريق تحويل الآراء إلى حقائق وازالة الإسناد، مما يجعلها أدوات рисيرة للصحافة. ويدعو المؤلفون إلى أدوات أفضل وأكثر تخصيصًا لهذه المهام.

شهدت نماذج اللغة الكبيرة انتشارًا سريعًا في الصحافة في الآونة الأخيرة، في بيئات عمل قامت بتقليص التكاليف والميزانيات والطاقم منذ أن انهارت الصحافة المحلية ثلاثة قرون من التقاليد في عملية لا يمكن إيقافها بدأت في أوائل عام 2000.

في الواقع، كان Terrain بالفعل خصبة، منذ أن اعتادت وسائل الإعلام على تقليص الوظائف من خلال “الابتكار” منذ ما لا يقل عن المدخل المتضطرب للتركيب الرقمي في الثمانينيات، بالإضافة إلى التحديات السابقة من ادخال الراديو و التلفزيون.

لم يكن مسار الذكاء الاصطناعي إلى غرف الأخبار ووسائل الإعلام خاليًا من العوائق، ومع ذلك؛ في سياق 55% من الشركات التي تندم على استبدال البشر بالذكاء الاصطناعي، وتتنبأ Gartner بأن المنظمات ست缩ّص خطة اعتماد الذكاء الاصطناعي بشكل كبير في غضون عامين، قامت بعض المنظمات الإخبارية بإعادة توظيف الصحفيين الذين تم استبدالهم بالذكاء الاصطناعي، حيث أصبحت عيوب واضحة وأحيانًا محرجة للبديل البديل.

الخطأ ليس بشريًا فقط

على الرغم من أن الهلوسات أثبتت أنها مشكلة كبيرة في المجالات التي يتطلب فيها الاقتباس الدقيق، مع الانتباه العام للفشل في الحالات العامة في القانون و البحث و الصحافة، تظهر دراسة أمريكية جديدة أن الذكاء الاصطناعي في الصحافة يواجه تحديات أوسع مما كان متوقعًا.

قيمت أبحاث المؤلفين ChatGPT و Google Gemini و NotebookLM المُركّز على الاقتباس على مهمة نمطية في التقرير: باستخدام مجموعة وثائقية تضم 300 وثيقة تركز على القضايا القانونية والسياسات المتعلقة بتيك توك في الولايات المتحدة.

غير الباحثون تحديدًا وعرض الوثائق المقدمة، ثم قاموا بتحليل النتائج باستخدام تصنيف مصمم ل 捕获 نوع ومدى الهلوسات.

على مدار جميع الإخراجات، احتوت 30% على هلوسة至少 واحدة، في حين أظهر كل من ChatGPT و Gemini معدل هلوسة بنسبة 40% – وهو ما يزيد قليلاً عن ثلاثة أضعاف معدل الخطأ البالغ 13% ل NotebookLM.

بدلاً من اختراع الحقائق أو الكيانات، يشير الباحثون إلى أن النماذج غالبًا ما أظهرت ثقة تفسيرية زائدة، بإضافة تصنيفات غير مدعومة للمصادر وتحويل الآراء المنسوبة إلى عبارات عامة:

‘نوعيًا، لم تتضمن معظم الأخطاء اختراع كيانات أو أرقام؛ بدلاً من ذلك، لاحظنا ثقة تفسيرية زائدة – النماذج أضافت تصنيفات غير مدعومة للمصادر وtransformed الآراء المنسوبة إلى عبارات عامة. ‘

‘تظهر هذه الأنماط اختلافًا أساسيًا في المismatch Epistemological: في حين أن الصحافة تتطلب مصدرًا صريحًا لكل ادعاء، فإن النماذج اللغوية تولد نصًا يبدو مسؤولاً بغض النظر عن الدعم الإدلوجي. ‘

‘نقترح تمديدات محددة للصحافة إلى تصنيفات الهلوسات الحالية ونحاجج إلى أن الأدوات الفعالة في غرف الأخبار تحتاج إلى هياكل تفرض الإسناد الدقيق بدلاً من تحسين السلاسة. ‘

الدراسة الجديدة ، وهي قراءة مثيرة للاهتمام ولكن قصيرة في خمس صفحات، بعنوان غير صحيح، ولكن ليس خطأ: تفاخر LLM في الاستفسارات القائمة على الوثائق، وهي تأتي من ثلاثة باحثين عبر جامعة نورث وسترن وجامعة مينيسوتا.

النظرية والطريقة

يُعتبر السبب الدقيق للهلوسات متنازعًا عليه في أوقات مختلفة؛ على الرغم من أن معظم النظريات توافق على أن جودة البيانات و/أو التوزيعات هي عامل مساهم في وقت التدريب، فقد تم اقتراح أنه قد يكون 100% من إخراج LLM هو في الأساس هلوسة (باستثناء بعض هذه الهلوسات التي ت совпадают مع الواقع).

يشير المؤلفون إلى ما يلي:^†

‘من وجهة النظر الفنية، تنشأ الهلوسات من قدرة LLMs على توليد نص يتبع الأنماط الشائعة دون امتلاك فهم لما هو صحيح. هذا يؤدي إلى استجابات تبدو معقولة ولا تعكس الواقع – على سبيل المثال، قانون LLM مخترع يظهر في الحجج . ‘

‘و بينما زادت قدرات LLM بشكل كبير خلال الخمس سنوات الماضية، لا تزال الهلوسات مشكلة، وفي بعض الحالات حتى زيادة مع زيادة قدرة النماذج . قادرة ‘

قسم البحث، كما يشير الورقة، قد استكشف عددًا من الطرق لتحسين أو فهم هلوسات LLM، والتي تميل إلى أن تقع في ثلاثة مجالات رئيسية: أولًا، في السياق، يمكن أن تكون النماذج مدعومة بمصادر خارجية مثل قواعد البيانات أو مجموعات الوثائق أو محتوى الويب لدعم ادعاءاتها.

هذا يعمل جيدًا عندما تكون المواد موثوقة و كاملة، ولكن الفجوات أو المعلومات القديمة أو رديئة الجودة لا تزال تسبب أخطاء؛ كما أن النماذج لديها عادة إصدار تصريحات واثقة تتجاوز ما تقوله المصادر فعليًا.

ثانيًا، التحفيز والفك يشير إلى استخدام تعليمات مدروسة لتقديم النماذج. هذا يمكن أن يشمل طلب من النماذج للتحقق من أدلتهم، أو كسر المهام إلى خطوات أصغر، أو اتباع صيغ أكثر صرامة. في بعض الأحيان، يتم توجيه النماذج لمراجعة عملها الخاص أو مقارنة استجابات متعددة.

يمكن أن تكتشف هذه التقنيات الأخطاء، ولكنها تزيد أيضًا من التكاليف، وأحيانًا تفشل في اكتشاف الأخطاء الدقيقة؛ لذلك، بدون التحقق الموثوق من الأدلة، لا يزال يقع عبء التحقق على المستخدم.

ثالثًا، النماذج والأدوات يشير إلى إعطاء LLMs وصولًا إلى الموارد التي يمكن أن تدعم التحقق، مثل محركات البحث أو الحاسبات – على الرغم من أن الدقة يمكن أن تتحسن أيضًا عند تدريب النماذج على بيانات موثوقة أو عند بناء ميزات الاقتباس.

ومع ذلك، هذه التدابير ليست كافية، ولا تزال تعتمد على جودة المصادر ووضوح الإرشادات والرقابة البشرية، لمنع انتشار المعلومات الكاذبة.

تيك توك

لتحديد Approaches التي قد تكون مفيدة فعلاً للصحفيين، أجرت الدراسة تقييمات مصممة لتعكس سير عمل غرف الأخبار ومعاييرها. تم اختبار نماذج الطليعة باستخدام استراتيجيات التحفيز الشائعة وإعدادات تثبيت الوثائق، بحيث يمكن قياس كل من تكرار وأداء أخطاء الهلوسات – جنبًا إلى جنب مع ما تعنيه هذه الأخطاء فعلاً لتكامل الذكاء الاصطناعي في غرف الأخبار.

ركز التحليل على نوع الاستفسار القائم على الوثائق النموذجي في الصحافة الاستقصائية والبحثية. سعى المؤلفون إلى تحضير مجموعة وثائقية تهدف إلى تعكس مشروع غرف الأخبار الصغيرة إلى المتوسطة، ولكنها لا تزال كبيرة بما يكفي ل 捕获 تعقيد Reporting الحقيقي؛ لهذا الغرض، اختاروا الجهد القانوني المستمر لحظر تيك توك في الولايات المتحدة.

تم جمع الوثائق من واشنطن بوست و نيويورك تايمز و بروكوست و ويستلو، مما أدى إلى مجموعة وثائقية تضم 300 وثيقة تتكون من خمسة أوراق أكاديمية و 150 مقالًا صحفيًا و 145 إيداع قانوني (مع توافر المجموعة الكاملة للباحثين الأكاديميين عند الطلب من خلال مستودع المشروع).

نظرًا لأن استجابات LLM تعتمد بشكل كبير على كيفية صياغة التحفيز، وكيفية تقديم السياق، صمم المؤلفون خمس استفسارات تتراوح من عامة جدًا إلى محددة جدًا – من أسئلة عامة حول حظر تيك توك إلى تحفيزات مفصلة تطلب شهادة من قضايا محددة.

تم تغيير عدد الوثائق المقدمة لكل نموذج عند 10 و 100 – أو جميع 300 من مجموعة الوثائق الكاملة، مع تضمين وثائق رئيسية في كل عينة، لضمان الاتساق. تم إنتاج 15 استجابة لكل نموذج، باستثناء ChatGPT، الذي كان محدودًا عند 10 استجابات.

المنافسون

تم اختبار ثلاثة أدوات، كل منها يعكس نهجًا مختلفًا للاستفسار القائم على الوثائق: تم تقييم ChatGPT-5 باستخدام ميزة المشاريع، التي قيدت التحميلات عند 100 وثيقة؛ تمكنت Google Gemini 2.5 Pro من معالجة مجموعة الوثائق الكاملة البالغ عددها 300 وثيقة في السياق (باستخدام نافذة السياق البالغ عددها مليون رمز لاستيعاب جميع 923,000 رمز مباشرة)؛ تم اختبار Google NotebookLM، الذي يقدم استرجاع الاقتباس المدمج، باستخدام دفاتر مخصصة لكل عينة.

في حين تختلف طرق معالجة الوثائق، تمثل جميعها أدوات حقيقية متاحة حاليًا للصحفيين؛ وفي أي حال، فإن الحالة الراهنة هي أكثر تجريبية من التجانس، مع اختلاف متساوٍ في الميزات والمدى بين العروض الحالية.

ل 捕获 مجموعة متنوعة من سلوكيات الهلوسات، تم استخدام تصنيف من عمل سابق في عام 2023، مع تصنيف الهلوسات بواسطة التوجيه (التشويه مقابل التطوير)؛ الفئة (نوع الخطأ)؛ و الدرجة (الخطورة المصنفة على أنها خفيفة، متوسطة، أو مقلقة).

تم تحديد جميع مخرجات النموذج بواسطة أحد المؤلفين البشر، الذي راجع كل جملة وطبق هذه التصنيفات. تم تحديد الأخطاء التي لا تغطيها التصنيفات على أنها متفرقة، وتم تحليلها لاحقًا لتطوير فئات محددة للصحافة.

البيانات والاختبارات

في الاختبار الأولي ل مدى انتشار الهلوسات، تم العثور على 12 من 40 استجابة للنموذج تحتوي على هلوسة至少 واحدة، مع تباين ملحوظ بين الأدوات. أنتج كل من ChatGPT و Gemini هلوسات في 40% من مخرجاتهم، في حين أنتج NotebookLM هلوسات في 13% فقط من الحالات:

من بين هذه النتائج، يشير المؤلفون إلى ما يلي:

‘هذا يشير إلى أن، في حين أن معظم الاستجابات عبر جميع الأدوات لا تحتوي على هلوسات، فإن اختيار الأداة يصنع فرقًا في مجموعة الوثائق و مجموعة الاستفسارات نفسها.’

نادرًا ما تحدث هلوسات في العزلة؛ أشارت Gemini إلى متوسط أربع هلوسات لكل استجابة معيبة، و NotebookLM ثلاث هلوسات، و ChatGPT 1.5 هلوسة. كانت معظمها معتدلة في الخطورة، ولكن 14% كانت مصنفة على أنها مقلقة. في حالة واحدة، اخترع ChatGPT دوافعًا انتقامية وراء حظر تيك توك لم يظهر في وثيقة المصدر:

‘[في] استفسار واحد، صوّر ChatGPT حظر تيك توك المحتمل على أنه إجراء تلافي من قبل المشرعين الأمريكيين استجابةً للسياسة الصينية، وهو ادعاء غائب تمامًا عن وثيقة المصدر.’

بشكل عام، أدخلت 64% من الاستجابات التي تسبب الهلوسات أخطاء фактиة أو زوايا، مما قد يثير تساؤلات حول ما إذا كان استخدام LLM ي節ع الوقت فعلاً في هذا النوع من سير العمل القائم على المعلومات، على الأقل في الحالة الراهنة.

في هذا الاختبار الأولي، لم تتطابق معظم الهلوسات مع فئات التصنيف الحالية، وغالبًا ما涉لت اقتباسات أو توسيعات غير صحيحة، مما يشير إلى أن الإطارات الحالية قد تكون ضيقة جدًا لケースات الصحافة.

يشير معدل الهلوسات الأقل ل NotebookLM إلى أن نظام RAG القائم على الاقتباس يوفر تثبيتًا أكثر موثوقية من ميزة المشاريع في ChatGPT أو معالجة السياق في Gemini، خاصة عند الإشارة إلى وثائق محددة.

فيما يتعلق بدراسة الخصائص النوعية للهلوسات الملاحظة في نتائج الاختبار، يشير الباحثون إلى أن الهلوسات نشأت ليس في الغالب من حقائق مخترعة، ولكن من التجاوز التفسيري:

‘أضافت النماذج تصنيفات واثقة حول أغراض الوثائق وجماهيرها ونوايا المتحدث التي تبدو مسؤولة ولكنها تفتقر إلى أي أساس في النص الفعلي. لقد حولوا البيانات التفسيرية أو المنسوبة إلى عبارات قاطعة.’

أخذت الثقة الزائدة شكلين: أولًا، أضافت النماذج ادعاءات غير مدعومة حول جمهور الوثيقة أو غرضها، مثل وضع علامة على مقال على أنه “مكتوب للجمهور” أو إيداع على أنه “موجه للمحامين”.

ثانيًا، حولت الآراء المنسوبة إلى عبارات تشبه الحقائق، مما يخفي المصدر الأصلي ويضعف تقييم المصدر.

ظهرت هذه السلوكيات عبر جميع الأدوات، ولم تكن مقصورة على هيكل معماري واحد – ومعظم الأخطاء لم تكن اختراعات، ولكن تفسيرات زائدة.

تم وضع علامة على معظم الهلوسات على أنها متفرقة، لأنها لم تتطابق مع الفئات الحالية؛ قضايا شائعة مثل نقص الإسناد ووصف المصدر الغامض تشير إلى أن التصنيفات الحالية تفوت الأخطاء التي تهم أكثر في الصحافة، حيث يكون الإسناد الواضح ضروريًا.

يشير المؤلفون إلى أن ‘النماذج تضيف تحليلًا واثقًا لا تدعمه الوثائق وتنزع الإسناد’

الاستنتاج

من المعروف أن كل من النماذج الثلاثة التي تمت دراستها في الورقة الجديدة لها نقاط ضعف و نقاط قوة. على الرغم من أن NotebookLM يؤدي بشكل أفضل في الاقتباس من ChatGPT أو Gemini، قد يُعتبر أنه تم بناؤه خصيصًا لهذه الوظيفة، ولا يزال يُنتج معدل خطأ من شأنه أن يُقال إن أي صحفي أو باحث أو محامي قد فُصل، مع تكرار الحوادث.

بالإضافة إلى ذلك، يفتقر NotebookLM، الذي يُقدم نفسه كإطار بحثي، إلى العديد من تحسينات UX التي تجعل منصات أخرى تجربة كتابة أكثر سهولة.

ومع ذلك، على الأقل يبدو أن NotebookLM يقرأ الوثائق المرفوعة فعلاً بدلاً من الانخراط في عادة ChatGPT المدمرة للافتراض ما قد تقوله وثيقة مرفوعة بناءً على ما يعرفه عن توزيع الوثائق المماثلة. يمكن أن يكون من الصعب الحصول على نسخة من ChatGPT لقراءة نص كامل للوثائق المرفوعة، بدلاً من الاعتماد على البيانات الوصفية أو افتراضاته / هلوساته.

للمجالات التي يتطلب فيها الأصل والاقتباس معايير صارمة، مثل القانون والصحافة والبحث العلمي، يبدو أن هناك صفرًا من المرافق المدرّبة بشكل أصلي في السوق الرائدة الحالية من LLMs التي يمكنها تحسين قدراتها المحدودة لاستخراج المعلومات وتحليلها بدقة.

كما هي الحال، وبالنسبة لوصولها إلى أنظمة مساعدة يمكنها تقديم واجهة أفضل إلى LLMs من مجرد تحفيز النظام أو إعداد MCP، لا يزال كل ما تنتجه هذه الأنظمة يحتاج إلى التحقق من قبل تلك الكائنات الغير ملائمة والمزعجة، وهي البشر.

† تحويلي للاستشهادات المضمنة للمؤلفين إلى روابط.

نُشر لأول مرة يوم الأربعاء، 1 أكتوبر 2025. تم تعديله يوم الخميس، 2 أكتوبر، لتصحيح خطأ في TL: DR وتصحيح خطأ أسلوبي في الفقرة الأولى.