كفاح منع الذكاء الاصطناعي من الغش في الاختبارات

تُقدم نتائج البحث الجديدة من جامعة صينية رؤية حول سبب تميل نماذج معالجة اللغة الطبيعية التوليدية مثل GPT-3 إلى “الغش” عند سؤالها سؤالاً صعباً، وإنتاج إجابات قد تكون صحيحة تقنياً، ولكن بدون فهم حقيقي لسبب صحة الإجابة؛ وأسباب قلة قدرتهم على تفسير المنطق وراء إجاباتهم “السهلة”. كما يقترح الباحثون بعض الأساليب الجديدة لجعل الأنظمة “تدرس بجد” خلال مرحلة التدريب.

المشكلة ثنائية الجانب: أولاً، نصمم أنظمة تحاول تحقيق النتائج بسرعة وبتحسين استخدام الموارد. حتى حيث، كما هو الحال مع GPT-3، قد تكون الموارد أكبر بكثير مما يمكن لمشروع بحثي عادي في معالجة اللغة الطبيعية أن يتحمله، فإن ثقافة التحسين الموجه إلى النتائج لا تزال تهيمن على المنهجية، لأنها أصبحت تهيمن على التقاليد الأكاديمية.

نتيجة لذلك، تعزز هياكل التدريب لدينا نماذج تتقارب بسرعة وتنتج استجابات واضحة للأسئلة، حتى لو كان نموذج معالجة اللغة الطبيعية فيما بعد غير قادر على تبرير استجابته أو إظهار كيفية وصوله إلى استنتاجاته.

ميل مبكر إلى الغش

يحدث هذا لأن النموذج يتعلم “استجابات الاختصار” في وقت مبكر من التدريب أكثر من تعلمه أنواع المعرفة الأكثر تعقيداً. منذ أن يتم مكافأة الدقة المزيدة بشكل غير تمييزي على مدار التدريب، يفضل النموذج أي نهج يسمح له بالإجابة على سؤال “بسرعة”، دون رؤية حقيقية.

منذ أن تمثل تعلم الاختصار بالضرورة أول النجاحات خلال التدريب، فإن الجلسة تميل بشكل طبيعي بعيداً عن المهمة الأكثر صعوبة في اكتساب منظور معرفي مفيد ومكمل، قد يحتوي على طبقات أعمق وأكثر رؤية من الارتباط والمنطق.

تغذية الذكاء الاصطناعي بالإجابات “السهلة”

المشكلة الثانية هي أن尽管 تم دراسة ميل الذكاء الاصطناعي إلى “الغش” بهذه الطريقة في مبادرات بحثية حديثة، وتحديد ظاهرة “الاختصارات”، إلا أنه لم يكن هناك حتى الآن أي جهد لتصنيف مواد تمكين “الاختصار” في مجموعة بيانات مساهمة، والتي ستكون الخطوة المنطقية الأولى في معالجة ما قد يثبت أنه عيب هيكلي أساسي في أنظمة فهم القراءة الآلية (MRC).

تجربة الورقة الجديدة، وهي تعاون بين معهد تكنولوجيا الكمبيوتر وانغشوان ومعهد المفتاح الوطني لمعالجة اللغات الحاسوبية في جامعة بكين، تختبر نماذج لغة مختلفة ضد مجموعة بيانات محددة حديثاً تحتوي على تصنيفات للإجابات “السهلة” و”الصعبة” لسؤال محتمل.

تستخدم المجموعة البيانات التحويل اللغوي كriterion للإجابات العميقة والأكثر تعقيداً، منذ أن يكون فهماً семانتيكياً ضرورياً لإعادة صياغة المعرفة المكتسبة. من ناحية أخرى، يمكن للإجابات “الاختصار” استخدام رموز مثل التواريخ، والكلمات الرئيسية المحتوية الأخرى، لإنتاج إجابة صحيحة من الناحية الفعلية، ولكن بدون سياق أو منطق.

يتضمن مكون الاختصار من التعليقات مطابقة كلمة السؤال (QWM) والمطابقة البسيطة (SpM). بالنسبة إلى QWM، يستخدم النموذج الكيانات المستخرجة من البيانات النصية المزودة ويتخلى عن السياق؛ بالنسبة إلى SpM، يتم تحديد التطابق بين جمل الإجابة والأسئلة، كلاهما يتم توفيره في بيانات التدريب.

بيانات الاختصار شبه “الفيروسية” في التأثير في مجموعة البيانات

يجادل الباحثون بأن مجموعات البيانات تميل إلى احتواء نسبة عالية من أسئلة الاختصار، مما يجعل النماذج المدرّبة تعتمد على حيل الاختصار.

كانت النماذج المستخدمة في التجارب هي BiDAF و BERT-Base من جوجل. يلاحظ الباحثون أن كلا النموذجين، حتى عند تدريبهما على تنوعات مجموعة البيانات مع نسبة أعلى من الأسئلة “الصعبة”، لا يزالان يؤدّيان بشكل أفضل على أسئلة الاختصار من الأسئلة المعبرة عنها أكثر صعوبة، على الرغم من عدد الأمثلة القليل في مجموعات البيانات.

هذا يعرض “بيانات الاختصار” تقريباً في سياق “فيروسي” – أنه لا يلزم وجود الكثير منها في مجموعة البيانات لكي يتم تبنيها وتحديدها في التدريب، تحت المعايير والممارسات التقليدية في معالجة اللغة الطبيعية.

إثبات الغش

تستخدم الدراسة طريقة لإثبات هشاشة إجابة الاختصار هي استبدال كلمة كيان “سهلة” بكلمة غير عادية. حيث تم استخدام طريقة الاختصار، لا يمكن تقديم منطق الاستجابة “المغشوشة”؛ ولكن حيث تم تقديم الإجابة من سياق أعمق وتقييم семанти للنص الواسع، من الممكن بالنسبة للنظام أن يفكك الخطأ ويعيد بناء إجابة صحيحة.

الاختصارات بسبب الحاجة الاقتصادية

بخصوص بعض الأسباب الهيكلية ل为什么 يتم تحديد الاختصارات في تدفقات عمل معالجة اللغة الطبيعية، يعلق المؤلفون قائلاً: “نماذج MRC قد تتعلم حيل الاختصار، مثل QWM، بموارد حسابية أقل من تحديات الفهم، مثل تحديد التحويل اللغوي”.

هذا، ثم، يمكن أن يكون نتيجة غير مقصودة للفلسفات التقليدية لتحسين الموارد وتوفيرها في نهج فهم القراءة الآلية، والضغط لتحقيق النتائج بموارد محدودة في أطر زمنية محددة.

كما يشير الباحثون إلى أن: “[منذ أن] يمكن استخدام حيلة الاختصار للإجابة على معظم أسئلة التدريب بشكل صحيح، فإن الأسئلة القليلة غير المحلولة المتبقية قد لا تحفز النماذج على استكشاف حلول متقدمة تتطلب مهارات تحديية”.

إذا تم تأكيد نتائج الورقة فيما بعد، فمن المحتمل أن يتعين على مجال معالجة البيانات المتزايد والمتوسع النظر في “المرافعات الخفية” في البيانات كمشكلة يجب معالجتها على المدى الطويل، أو إعادة تصميم هياكل معالجة اللغة الطبيعية لت优 tiên روتينات أكثر تحدياً لاستهلاك البيانات.