أخطار استخدام الاقتباسات لتأكي德 محتوى NLG

رأي نماذج توليد اللغة الطبيعية مثل GPT-3 معرضة لخطر “الhallucination” للمواد التي تقدمها في سياق المعلومات الحقيقية. في عصر يعتبر نمو الأخبار الكاذبة القائمة على النص مشكلة كبيرة، تمثل هذه الرحلات الخيالية تحديًا وجوديًا لتطوير الأنظمة الآلية للكتابة والتلخيص، ومستقبل الصحافة القائمة على الذكاء الاصطناعي، من بين مجالات أخرى فرعية لمعالجة اللغة الطبيعية (NLP).

المشكلة الرئيسية هي أن نماذج اللغة مثل GPT تستمد الميزات والفئات الرئيسية من مجموعات كبيرة جدًا من النصوص المستخدمة في التدريب، وتتعلم استخدام هذه الميزات كوحدات بناء للغة ببراعة ودقة، بغض النظر عن دقة المحتوى المولد أو حتى مقبوله.

لذلك، تعتمد أنظمة NLG حاليًا على التحقق البشري من الحقائق باستخدام نهجين: إما أن يتم استخدام النماذج كمولدات نص أولية يتم تمريرها على الفور إلى المستخدمين البشر، للتحقق أو بعض أشكال التحرير أو التكيف؛ أو أن يتم استخدام البشر كمرشحات مكلفة لتحسين جودة مجموعات البيانات المزمع استخدامها لتعليم نماذج أقل تجريدًا وإبداعًا (التي لا تزال صعبة الثقة من حيث الدقة الحقيقية، وستتطلب طبقات إضافية من الرقابة البشرية).

أخبار قديمة وحقائق كاذبة

نماذج NLG قادرة على إنتاج مخرجات مقنعة ومقولة لأنها تعلمت الهندسة المعمارية الدلالية، بدلاً من امتصاص التاريخ أو العلوم أو الاقتصاد أو أي موضوع آخر بشكل مجرد، والتي يتم دمجها بشكل فعال كـ “ركاب” في بيانات المصدر.

دقة المعلومات التي تولدها نماذج NLG تفترض أن الإدخال الذي يتم تدريبها عليه موثوق به ومتى إلى تاريخه، مما يعرض عبئًا استثنائيًا من حيث المعالجة الأولية والتحقق البشري الإضافي – عائق مكلف يتعامل معه قطاع أبحاث NLP حاليًا من عدة جهات.

نماذج مثل GPT-3 تحتاج إلى وقت ومال كبيرين للتدريب، وبمجرد التدريب، من الصعب تحديثها على مستوى “النواة”. على الرغم من أن التعديلات المحلية والجلسات القائمة على المستخدم يمكن أن تزيد من فائدة ودقة النماذج المطبقة، فإن هذه الفوائد المفيدة صعبة أحيانًا، وأحيانًا من المستحيل نقلها إلى النموذج الأساسي دون الحاجة إلى إعادة التدريب الكامل أو الجزئي.

لهذا السبب، من الصعب إنشاء نماذج لغة مدربة يمكنها استخدام أحدث المعلومات.

تم تدريبها قبل ظهور كوفيد، يمكن لنموذج text-davinci-002 – الذي يعتبره مبتكره OpenAI “الأكثر قدرة” – معالجة 4000 رمز لكل طلب، لكنه لا يعرف أي شيء عن كوفيد-19 أو الغزو الأوكراني لعام 2022 (هذه التحفيزات والاستجابات من 5 أبريل 2022). من المثير للاهتمام أن “مجهول” هو في الواقع جواب مقبول في كلتا حالتي الفشل، ولكن التحفيزات الإضافية تثبت بسهولة أن GPT-3 لا يعرف أي شيء عن هذه الأحداث. مصدر: https://beta.openai.com/playground

نموذج مدرب يمكنه الوصول فقط إلى “الحقائق” التي تم استيعابها في وقت التدريب، ومن الصعب الحصول على اقتباس دقيق ومُلائم افتراضيًا، عند محاولة الحصول على النموذج لتأكيد ادعاءاته. الخطر الحقيقي لاستلام الاقتباسات من GPT-3 الافتراضي (على سبيل المثال) هو أنها أحيانًا تنتج اقتباسات صحيحة، مما يؤدي إلى ثقة خاطئة في هذا الجانب من قدراتها:

أعلى، ثلاث اقتباسات دقيقة تم الحصول عليها بواسطة GPT-3 davinci-instruct-text لعام 2021. منتصف، فشل GPT-3 في ذكر واحدة من اقتباسات أينشتاين الشهيرة (“الله لا يلعب النرد مع الكون”)، على الرغم من التحفيز غير الغامض. أسفل، يعين GPT-3 اقتباس فاضح وزائف إلى أينشتاين، على ما يبدو من تدفق من الأسئلة السابقة عن ونستون تشرشل في نفس الجلسة. مصدر: مقال المؤلف الخاص لعام 2021 على https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

للتغلب على هذا القصور العام في نماذج NLG، اقترح DeepMind من جوجل مؤخرًا GopherCite، نموذج بمعامل 280 مليار يمكنه ذكر أدلة دقيقة ومحددة لدعم استجاباته المولدة للتحفيزات.

ثلاثة أمثلة على GopherCite التي تدعم ادعاءاتها بالاقتباسات الحقيقية. مصدر: https://arxiv.org/pdf/2203.11147.pdf

يستخدم GopherCite التعلم بالتعزيز من التفضيلات البشرية (RLHP) لتدريب نماذج الاستعلامات التي يمكنها ذكر اقتباسات حقيقية كدليل داعم. يتم استخراج الاقتباسات مباشرة من مصادر وثائق متعددة تم الحصول عليها من محركات البحث، أو من وثيقة محددة قدمها المستخدم.

تم قياس أداء GopherCite من خلال التقييم البشري لاستجابات النموذج، والتي تم العثور عليها لتكون “جودة عالية” بنسبة 80٪ من الوقت على مجموعة بيانات NaturalQuestions من جوجل، و 67٪ من الوقت على مجموعة بيانات ELI5.

اقتباسات كاذبة

然而، عندما تم اختبار GopherCite ضد مجموعة اختبار TruthfulQA من جامعة أكسفورد، نادرًا ما تم تصنيف استجابات GopherCite على أنها صادقة، بالمقارنة مع الإجابات “صحيحة” التي تم تحريرها من قبل البشر.

يقترح المؤلفون أن هذا يرجع إلى أن مفهوم “الإجابات المدعومة” لا يحدد الحقيقة في حد ذاتها بأي شكل موضوعي، لأن فائدة اقتباسات المصدر قد تتأثر بعوامل أخرى، مثل احتمال أن يكون مؤلف الاقتباس نفسه “hallucinating” (أي يكتب عن عوالم خيالية، أو ينتج محتوى إعلاني، أو يخترع مواد غير حقيقية بطرق أخرى).

حالات GopherCite حيث لا تتوافق المقبولية دائمًا مع “الحقيقة”.

فعالية، من الضروري التمييز بين “مدعوم” و “صحيح” في هذه الحالات. الثقافة البشرية حاليًا متقدمة جدًا على التعلم الآلي فيما يتعلق bằng استخدام منهجيات وإطارات مصممة للحصول على تعريفات موضوعية للحقائق، وحتى هناك، يبدو أن الحالة الأصلية لل “حقائق المهمة” هي الخلاف والإنكار الهامشي.

المشكلة متكررة في هياكل NLG التي تسعى إلى اختراع آليات “تأكيدي” حاسمة: يتم الضغط على الإجماع البشري كمرجع للحقائق من خلال نماذج مثل Mechanical Turk، حيث يكون المقيّمون البشر (وأولئك البشر الآخرون الذين يسيطرون على النزاعات بينهم) متحيزين بأنفسهم.

على سبيل المثال، تستخدم تجارب GopherCite الأولية نموذج “super rater” لاختيار أفضل المقيّمين البشر لتقييم مخرجات النموذج، ويتطلب اختيار المقيّمين الذين حصلوا على نسبة 85٪ على الأقل بالمقارنة مع مجموعة ضمان الجودة. في النهاية، تم اختيار 113 من المقيّمين الفائقين لهذه المهمة.

لقطة شاشة لتطبيق المقارنة المستخدم لمساعدة تقييم مخرجات GopherCite.

يمكن القول إن هذا هو صورة مثالية لمطاردة متكررة غير قابلة للفوز: مجموعة ضمان الجودة المستخدمة لتقييم المقيّمين هي في حد ذاتها معيار آخر للحقائق “محدد من قبل البشر”، كما هو الحال مع مجموعة TruthfulQA من جامعة أكسفورد التي وجدت GopherCite ناقصة.

فيما يتعلق بالمحتوى المدعم والمؤكد، لا يمكن لنماذج NLG أن تنتج أكثر من التنوع والاختلاف البشري من بيانات التدريب، وهو في حد ذاته مشكلة غير محددة وغير محلولة. لدينا ميل فطري للاستشهاد بالمراجع التي تدعم وجهات نظرنا، والتحدث بثقة في الحالات التي قد تكون معلوماتنا غير دقيقة أو مضللة؛ ونزعة لنشر هذه الآراء مباشرة في البرية، بمقياس وفعالية غير مسبوقة في التاريخ البشري، مباشرة في طريق الإطارات التي تقتطف المعرفة التي تغذي إطارات NLG الجديدة.

لذلك، يبدو أن الخطر المرتبط بتطوير أنظمة NLG مدعومة بالاقتباسات مرتبط بطابع غير متوقع للمادة المصدر. أي آلية (مثل الاقتباس المباشر) التي تزيد من ثقة المستخدم في مخرجات NLG، في حالة فننا الحالي، تضيف خطرًا إلى صحة مخرجاتها، وليس دقتها.

من المحتمل أن تكون هذه التقنيات مفيدة عندما ينجح NLP في إعادة إنشاء “كاليديسكوب” لكتابة الخيال كما في رواية أورويل “1984”؛ لكنها تمثل مطاردة خطيرة لتحليل الوثائق الموضوعي، والصحافة القائمة على الذكاء الاصطناعي، وتطبيقات أخرى محتملة لملخصات الآلة والكتابة التلقائية أو الموجهة.

نشر لأول مرة في 5 أبريل 2022. تم تحديثه في الساعة 3:29 مساءً بتوقيت شرق أوروبا لتصحيح المصطلح.