منع “الوهم” في GPT-3 والطرازات اللغوية المعقدة الأخرى

السمة المميزة للـ “أخبار كاذبة” هي أنها تقدم في كثير من الأحيان معلومات كاذبة في سياق معلومات صحيحة، مع أن البيانات الكاذبة تكتسب سلطة متوقعة من خلال نوع من الأوسмос الأدبي – وهو تظهر مخيفة للقوة النصف حقيقية.

النماذج المتقدمة لمعالجة اللغة الطبيعية (NLP) مثل GPT-3也有 тенденция إلى “الوهم” هذا النوع من البيانات الخادعة. частично، هذا لأن النماذج اللغوية تتطلب القدرة على إعادة صياغة وتلخيص نصوص طويلة ومتشعبة، دون أي قيد معماري يمكن أن يحدد ويعزل الأحداث والحقائق بحيث تكون محمية من عملية إعادة البناء الدلالي.

لذلك، الحقائق ليست مقدسة للنموذج NLP؛ يمكن أن تكون معاملة بسهولة في سياق “اللبنات الدلالية”، خاصة عندما يكون النحو المعقد أو المواد المصدرية الغامضة تجعل من الصعب فصل الكيانات المنفصلة من هيكل اللغة.

ملاحظة حول كيفية أن المواد المصدرية المتشعبة يمكن أن تسبب ارتباكاً في النماذج اللغوية المعقدة مثل GPT-3. مصدر: Paraphrase Generation Using Deep Reinforcement Learning

هذا المشكل يمتد من معالجة اللغة الطبيعية إلى أبحاث الرؤية الحاسوبية، خاصة في القطاعات التي تستخدم التمييز الدلالي لتحديد أو وصف الأشياء.

الوهم والتفسير غير الدقيق ‘التجميلي’ يؤثر على أبحاث الرؤية الحاسوبية أيضا.

في حالة GPT-3، يمكن أن يصبح النموذج متعبًا مع الاستفسارات المتكررة حول موضوع قد تمت معالجته بالفعل على أفضل ما يمكن. في أفضل الحالات، سوف يعترف بالهزيمة:

تجربة حديثة مع محرك Davinci الأساسي في GPT-3. النموذج يحصل على الجواب الصحيح في المحاولة الأولى، لكنه يضجر من أن يتم سؤاله مرة أخرى. مصدر: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci وDaVinci Instruct (Beta) يفعلان بشكل أفضل في هذا الصدد من النماذج الأخرى المتاحة من GPT-3 عبر واجهة برمجة التطبيقات. هنا، نموذج Curie يعطي الجواب الخطأ، بينما نموذج Babbage يوسع بثقة على جواب خاطئ بنفس القدر:

الأشياء التي لم يقلها أينشتاين

عندما يُطلب من محرك GPT-3 DaVinci Instruct (الذي يبدو أنه الأكثر قدرة في الوقت الحالي) لتحديد اقتباس أينشتاين الشهير “الله لا يلعب النرد مع الكون”، فشل DaVinci Instruct في العثور على الاقتباس واخترع اقتباساً غير موجود، ثم وهم ثلاثة اقتباسات أخرى معقولة ومتوافرة تماماً (من أينشتاين أو أي شخص آخر) في الاستفسارات المماثلة:

GPT-3 ينتج أربعة اقتباسات من أينشتاين، لا توجد نتيجة لها على الإطلاق في بحث نصي كامل على الإنترنت، على الرغم من أن بعضها يثير اقتباسات أخرى (حقيقية) من أينشتاين حول موضوع “الخَيال”.

إذا كان GPT-3 دائمًا خاطئًا في الاقتباسات، سيكون من الأسهل تجاهل هذه الأوهام برمجياً. ومع ذلك، كلما كانت الاقتباس مشهورًا، زادت احتمالية أن يحصل GPT-3 على الاقتباس الصحيح:

يبدو أن GPT-3 يجد الاقتباسات الصحيحة عندما تكون ممثلة جيدًا في البيانات المساهمة.

مشكلة أخرى يمكن أن تظهر عندما يتداخل تاريخ جلسة GPT-3 مع سؤال جديد:

سيشعر أينشتاين بالفضول ليرى هذه العبارة مسندة إليه. يبدو أن الاقتباس هو وهم غير منطقي لاقتباس حقيقي من ونستون تشرشل. السؤال السابق في جلسة GPT-3 كان متعلقًا بتشرشل (وليس أينشتاين)، وبدا أن GPT-3 استخدم هذا الرمز الجلسة بشكل خاطئ لتحديد الجواب.

معالجة الوهم اقتصاديًا

الوهم هو عقبة ملحوظة لاعتماد النماذج اللغوية المتقدمة كأدوات بحث – خاصة لأن الإخراج من هذه المحركات يُستخلص على نطاق واسع من المواد المصدرية التي تشكله، بحيث يصبح من الصعب تحديد صحة الاقتباسات والحقائق.

لذلك، أحد التحديات البحثية العامة الحالية في معالجة اللغة الطبيعية هو إيجاد وسيلة لتحديد النصوص الوهمية دون الحاجة إلى تخيل نماذج معالجة اللغة الجديدة التي تدمج وتهيئ وتثبت الحقائق ككيانات منفصلة (هدف أوسع على المدى الطويل في عدد من قطاعات البحث الحاسوبية الأوسع).

تحديد وإنتاج المحتوى الوهمي

تعاون جديد بين جامعة كارنيغي ميلون و-facebook AI Research يقدم نهجًا جديدًا لمشكلة الوهم، من خلال صياغة طريقة لتحديد الإخراج الوهمي و sử dụng نصوص وهمية اصطناعية لإنشاء مجموعة بيانات يمكن استخدامها كقاعدة لمشاريع وميكانيزمات قد تصبح في النهاية جزءًا أساسيًا من هياكل معالجة اللغة الطبيعية.

مصدر: https://arxiv.org/pdf/2011.02593.pdf

في الصورة أعلاه، تم تقسيم المواد المصدرية على أساس كلمة واحدة، مع تعيين علامة “0” للكلمات الصحيحة و علامة “1” للكلمات الوهمية. في الأسفل، نرى مثالًا للإخراج الوهمي الذي يتعلق بالمعلومات المدخلة، ولكنه يضيف بيانات غير حقيقية.

النظام يستخدم محولًا تلقائيًا مسبق التدريب يمكنه خريطة سلسلة وهمية إلى النص الأصلي الذي تم إنتاج الإصدار التالف منه (مثل الأمثلة السابقة، حيث كشفت عمليات البحث على الإنترنت عن أصل الاقتباسات الكاذبة، ولكن بمنهجية دلالية برمجية وآلية). بشكل خاص، يستخدم نموذج BART التلقائي من facebook لإنتاج الجمل التالفة.

تعيين العلامات.

عملية خريطة الوهم إلى المصدر، والتي لا تتم في معظم نماذج معالجة اللغة الطبيعية، تسمح بخريطة “مسافة التحرير” وتسهل نهجًا خوارزميًا لتحديد المحتوى الوهمي.

وجد الباحثون أن النظام قادر على التعميم جيدًا عندما لا يتوفر لديه مواد مرجعية كانت متاحة خلال التدريب، مما يشير إلى أن النموذج المفاهيمي صحيح ويمكن تكراره على نطاق واسع.

معالجة التأثير المفرط

为了 تجنب التأثير المفرط ووضع هيكل يمكن توزيعه على نطاق واسع، قام الباحثون بإسقاط رموز بشكل عشوائي من العملية، واستخدموا أيضًا إعادة الصياغة والوظائف الضوضاء الأخرى.

الترجمة الآلية (MT) هي أيضًا جزء من عملية التعتيم هذه، حيث أن ترجمة النص عبر اللغات من المحتمل أن تحافظ على المعنى بشكل قوي وتنهي التأثير المفرط. لذلك، تم ترجمة الأوهام وتحديدها من قبل متحدثين ثنائيي اللغة في طبقة تعليم يدوية.

المنشأة حققت نتائج جديدة أفضل في عدد من الاختبارات القياسية للقطاع، وهي الأولى التي تحقق نتائج مقبولة باستخدام بيانات تتجاوز 10 ملايين رمز.

تم إصدار رمز المشروع، بعنوان كشف المحتوى الوهمي في توليد التسلسل العصبي الشرطي، على جيت هاب، وسمح للمستخدمين بإنشاء بياناتهم الاصطناعية الخاصة مع BART من أي مجموعة نصية. كما تم توفير إمكانية إنشاء نماذج كشف الأوهام اللاحقة.