الحصول على معالجة اللغة الطبيعية للتحديات الأسئلة الخاطئة

بعض الأسئلة لا يمكن الإجابة عليها لأنها تحتوي على معلومات خاطئة – افتراضات يجب على الشخص الذي يسمع السؤال أن يفلترها وينكرها. هذا يفترض ، بالطبع ، أن المستمع لديه معلومات صحيحة كافية للتحدي السؤال ، بدلاً من استخدام السؤال نفسه كمصدر للمعلومات (الخاطئة).

إنه تحدٍ لمعالجة اللغة الطبيعية (NLP) مثل GPT-3 ، التي تمتلك ميلًا إلى “التخيل” للمعلومات من أجل الحفاظ على الحوار.

حاليًا ، إذا سألت GPT-3 “متى اخترعت ماري كوري اليورانيوم؟” ، فمن المحتمل أن تحصل على الإجابة “اخترعت ماري كوري اليورانيوم في عام 1898”.

المصدر: https://beta.openai.com/playground (Da Vinci instruct beta).

في الواقع ، تم اكتشاف اليورانيوم في 1789 من قبل الكيميائي الألماني مارتن هاينريش كلابروث ، بينما كانت إنجاز كوري في عام 1898 هو عزل الراديوم.

مشكلة أنظمة NLP التي تتجاهل الافتراضات الخاطئة قد أصبحت واضحة في عدد من الإعلانات هذا العام ، بما في ذلك الطريقة التي ستجاهل نتائج البحث المدعومة بالذكاء الاصطناعي لجوجل المعلومات الخاطئة في السؤال “متى وضع نيل أرمسترونج قدمه على المريخ؟” – خطأ لا يزال موجودًا في وقت كتابة هذه المقالة ، ويتطبق بشكل متساوٍ على Toy Story ‘s Buzz Lightyear ، الذي هبط على القمر في 21 يوليو 1969.

توم هانكس ، خريج Toy Story الآخر ، يُ归 إليه الفضل أيضًا من قبل جوجل بهبوط على القمر في عام 1970 ، على الرغم من أن شخصيته في Apollo 13 ، رائد الفضاء جيم لوفيل ، هو الأكثر شهرة ب عدم تحقيق ذلك.

معالجة مشاكل الافتراضات في تبادلات NLP

الآن ، تقوم أبحاث جوجل ، بالتعاون مع باحثين من جامعة جون هوبكينز وجامعة براون ، بدراسة أساليب تعلم الآلة الجديدة التي يمكن من خلالها أنظمة NLP في النهاية أن تتحدي الأسئلة التي تحتوي على معلومات خاطئة ، بنفس الطريقة التي يتعين على المعلمين البشر أن يفعلوا خلال المحادثات مع الطلاب.

الورقة الأخيرة الورقة من هو اللغوي الذي اخترع المصباح؟ التحقق من الافتراضات للأسئلة والإجابات تحدد جهدًا متعمدًا لتطوير نظام جديد لتحديد الافتراضات ومراجعة صحتها قبل الاستمرار في التبادل

الخوارزمية الجديدة تقوم بمعالجة مسبقة للأسئلة قبل العودة إلى المحادثة ، وتقسم “التحقق” من السؤال في عملية ثلاثية.

لا يحتسب! على اليسار ، “الحاجز” الذي يحدث حتى عندما كان نظام NLP متقدمًا قادرًا على تحديد أن السؤال لا يعني شيئًا. على اليمين ، تحليل خوارزمية مقترحة تحاول تصحيح الخطأ في المصدر. المصدر: https://arxiv.org/pdf/2101.00391.pdf

على الرغم من أن هذه الإجراء يبدو روتينًا بسيطًا للتحقق الذي يجب أن يكون قد تم بناؤه في الأنظمة المعرفية منذ البداية ، فإن معظم أنظمة NLP القائمة على التدريب تعلم المعلومات مع مستوى غير لائق من الثقة للمصدر ، بما في ذلك الخطاب (مثل الأخبار الكاذبة) التي قد تم نشرها على قنوات سابقة موثوقة.

لذلك ، فإن القضية الرئيسية هي تحديد مصدر موثوق به للحقائق في مناخ حيث يمنح انتشار المعلومات الخاطئة عبر وسائل التواصل الاجتماعي ، افتراضيًا ، السلطة بموجب منطق تعميم الآلة ، على الأقل حتى أصبحت ظاهرة الأخبار الكاذبة مجالًا حرجًا من الاهتمام في المجال في السنوات الأخيرة.

تحديد أفضل نهج للأسئلة التي لا يمكن الإجابة عليها

为了 تحديد نهج مناسب لتحديد سؤال يحتوي على معلومات خاطئة ، قام الباحثون بتشغيل 100 سؤال من هذا القبيل عبر أربعة نماذج Q&A مختلفة ، وطلبوا من المشاركين البشر اختيار أفضل حل أو أقل مشكلة التي أنتجتها النماذج.

كانت النتائج الأربعة المحتملة للاستجابة للسؤال “السيئ” هي: غير قابل للإجابة – حيث يغلق نظام Q&A مغلق الكتاب دون مزيد من التوضيح؛ تفسير فشل الافتراض – حيث يفشل النظام في التحقق من الافتراض الخاطئ ، بشكل فعال استجابة “غير قابل للإجابة” ، مع تفسير إضافي؛ تفسير استخراجي – حيث يسترد النظام اقتباسًا من ويكيبيديا ويركبه على الجملة التمهيدية “هذا السؤال غير قابل للإجابة لأن…”; و إعادة كتابة المجال المفتوح – حيث يبحث نظام تنافسي عن مصادر إضافية من ويكيبيديا.

تظهر هذه الأمثلة على أربعة أجوبة محتملة لسؤال “غير قابل للإجابة” على التعقيد في محاولة حلول المجال التنافسية للمشكلة.

على مدار الاختبارات ، تفضل المشاركون الخمسة (تم توظيفهم على منصة جوجل الداخلية للاستطلاعات) الإجابات القائمة على افتراضات ، مما أدى إلى تطوير إطار جديد لتحليل وتحقق الأسئلة.

في النظام الجديد ، يتم الحصول على محفزات لغوية من السؤال بواسطة مولد قائم على القواعد يفكك الجملة إلى عبارات واقعية محتملة. إذا تم اشتقاق افتراضات متعددة من السؤال ، يتم التحقيق في كل واحدة منها ، وستساهم في الاستجابة النهائية إذا كانت تتناول افتراضات خاطئة من السؤال الأصلي.

مجموعات البيانات

تم تعديل الافتراضات التي تم توليدها في المرحلة الأولية يدويًا لإنشاء مجموعة بيانات للتحقق مع افتراضات “ذهبية”. تم إزالة أي افتراضات ظهرت من التفرع الاستعلامي ، ولكنها لم تكن موجودة في الأسئلة الأصلية.

قام اثنان من مؤلفي الورقة بتعليم 462 افتراضًا يدويًا من حيث نعم / لا القابلية للتحقق ، بناءً على صفحة ويكيبيديا ذات الصلة مع كل سؤال. تم حل حالات عدم الاتفاق من خلال المناقشة بعد ذلك قبل الالتزام بمجموعة البيانات.

استخدم الباحثون zero-shot NLI ، وهو مهمة تصنيف الفرضية التي تتطلب تفكيك مقالات ويكيبيديا ذات الصلة بالأسئلة. منذ أن يؤدي هذا الإجراء إلى العديد من الأزواج أكثر من ما قد يحتويه السؤال أو يدعمه النموذج ، تم تجميع النتائج المفلترة وتسميتها.

النتائج وتشكيل الاستجابة

تم الحصول على النتائج الأكثر فعالية بواسطة الحل الأكثر صعوبة: خوارزمية هجينة محسنة من ALBERT QNLI مع جمل ويكيبيديا وافتراضات.

أداء نماذج التحقق ، حيث “جمل ويكيبيديا” تستخدم جملًا من مقالات ويكيبيديا ذات الصلة بالأسئلة ، و “افتراضات ويكيبيديا” هي افتراضات تم توليدها من تلك الجمل.

باستخدام هذه الصياغة ، طور الباحثون نظامًا قائمًا على القوالب حيث يتم إضافة حقيقة تنفيذية من ويكيبيديا إلى “هذا السؤال غير قابل للإجابة لأن…” وجمل مماثلة. على الرغم من أنه ليس حلاً مثاليًا ، يقترح المؤلفون أن الاستجابات القائمة على عدم التحقق من الصحة قد تقلل من حدوث نتائج خاطئة سلبية.

تم تنفيذ النظام في النهاية في بناء Transformer الممتد (ETC).

الآثار

اعتمادًا على أدائه النهائي في العالم الحقيقي ، يمكن القول أن هذا النهج بأكمله قد يؤدي إلى بديل “غير قابل للتحقق” عن “غير قابل للإجابة” ، في الحالات التي لا يمكن فيها نظام البحث الداعم تقييم تصحيح مفيد لافتراض السؤال الخاطئ. بشكل فعال ، يبدو أنه يضع البنية التحتية لأنظمة التحقق الأفضل في المستقبل.

يقر الباحثون بالفعل بأن تكلفة طلبات API القائمة على الرموز هي عامل محدود عند صياغة الإجابات الأطول التي سيتم توليدها بواسطة هذا النظام ، ويجب افتراض أن العبء الإضافي لبحث “حقيقي” في السؤال يضيف تأخيرًا حتى إلى الأنظمة الكبيرة مثل GPT-3 ، منذ أن اعتمدت استجابة هذه الأنظمة حتى الآن على دمج المعرفة المعممة في وقت التدريب ، بدلاً من إجراءات التحقق القائمة على الشبكة.

كما يشير الباحثون إلى أن النظام الحالي لديه قيود متعلقة بتحليل الجوانب الدلالية للنص:

على سبيل المثال ، من يعتقد أن بيب يعتقد أن إستيلا هي أمها يحتوي على ملكية متضمنة تحت فعل غير واقعي يعتقد ، لكن مولدنا سيولد على أي حال ‘ إستيلا لديها ‘ أم .

مع ذلك ، يتخيل الفريق أنظمة أسئلة وإجابة جديدة وأكثر مرونة ستتم تطويرها على أساس هذه الأبحاث:

في المستقبل ، نعتزم بناء هذه الأعمال من خلال اقتراح أنظمة أسئلة وإجابة أكثر متانة وتعاونية. على سبيل المثال ، يمكن معالجة أنواع مختلفة من فشل الافتراض بطرق إجابة أكثر سلاسة – على سبيل المثال ، قد يتم التعامل مع انتهاك افتراضات الفردية بشكل أفضل من خلال تقديم جميع الإجابات الممكنة ، بدلاً من القول إن افتراض الفردية قد تم انتهاكه.