نماذج ومنصات الذكاء الاصطناعي
توليد الجمل المترادفة باستخدام التعلم العميق بالتعزيز – قادة الفكر
أضف Unite.AI إلى مصادرك المفضلة على Google
عند الكتابة أو التحدث ، كلنا تساءلنا عما إذا كان هناك طريقة أفضل لتواصل الفكرة مع الآخرين. ما الكلمات التي يجب استخدامها؟ كيف يجب هيكلة الفكرة؟ كيف سيكون رد فعل المستمع؟ في Phrasee ، نقضي الكثير من الوقت في التفكير في اللغة – ما يعمل وما لا يعمل.
تخيل أنك تكتب سطر الموضوع لبريد إلكتروني سيتم إرساله إلى 10 ملايين شخص في قائمتك ، وسيتم ترويجه بنسبة خصم 20٪ على جهاز كمبيوتر محمول جديد وممتاز.
أي سطر ستختاره؟
- يمكنك الآن الحصول على خصم إضافي بنسبة 20٪ على طلبك التالي
- استعد – خصم إضافي بنسبة 20٪
على الرغم من أن كلاهما ينقلان نفس المعلومات ، إلا أن أحدهما حقق معدل فتح أعلى بنسبة 15٪ تقريباً من الآخر (وأنا أراهن أنك لا تستطيع أن تتفوق على نموذجنا في التنبؤ بأيهما ؟). على الرغم من أن اللغة يمكن اختبارها غالبًا من خلال اختبار A/B أو اللصوص المسلحين ، إلا أن توليد الجمل المترادفة تلقائيًا لا يزال مشكلة بحثية صعبة.
تعتبر الجملتان مترادفتين إذا كانتا تشتركان في نفس المعنى ويمكن استخدامهما بالتبادل. هناك شيء آخر مهم غالبًا ما يؤخذ للغرانة وهو ما إذا كانت الجملة التي تم إنشاؤها بواسطة الآلة متسقة.
على عكس التعلم الإشرافي ، يتعلم وكلاء التعلم بالتعزيز من خلال التفاعل مع بيئتهم ومراقبة المكافآت التي يحصلون عليها نتيجة لذلك. هذا الفرق الدقيق بعض الشيء له آثار هائلة على كيفية عمل الخوارزميات وكيف يتم تدريب النماذج. يستخدم التعلم العميق بالتعزيز الشبكات العصبية كدالة تقريبية تسمح للوكيل بالتعلم وكيفية التفوق على البشر في بيئات معقدة مثل جوجو ، أتاري ، و ستار كرافت 2.
على الرغم من هذا النجاح ، لم يتم تطبيق التعلم بالتعزيز على نطاق واسع على مشاكل العالم الحقيقي ، بما في ذلك معالجة اللغة الطبيعية.
كجزء من أطروحتي الماجستير في علوم البيانات ، أظهرنا كيف يمكن استخدام التعلم العميق بالتعزيز لتجاوز أساليب التعلم الإشرافي في توليد الجمل المترادفة تلقائيًا. يمكن اعتبار مشكلة توليد أفضل جملة مترادفة على أنها العثور على السلسلة من الكلمات التي تزيد من التشابه الدلالي بين الجمل مع الحفاظ على السلاسة في الإخراج. وكلاء التعلم بالتعزيز مناسبون للعثور على أفضل مجموعة من الإجراءات لتحقيق المكافأة المتوقعة القصوى في بيئات التحكم.
على عكس معظم مشاكل التعلم الآلي ، لا تكمن أكبر مشكلة في معظم تطبيقات توليد اللغة الطبيعية في النمذجة ، ولكن في التقييم. في حين أن التقييم البشري يعتبر حاليًا المعيار الذهبي في تقييم توليد اللغة ، إلا أنه يعاني من عيوب كبيرة بما في ذلك كونه مكلفًا ، ومستهلكًا للوقت ، وصعبًا في الضبط ، وينقصه التكرار عبر التجارب والبيانات (Han, 2016). ونتيجة لذلك ، لقد بحث الباحثون طويلاً عن مقاييس تلقائية بسيطة ويمكن تعميمها وتعكس الحكم البشري (Papineni et al., 2002).
المETHODات التقييم التلقائي الأكثر شيوعًا في تقييم تعليقات الصور التي تم إنشاؤها بواسطة الآلة هي ما يلي مع مزاياها وعيوبها:
توليد الجمل المترادفة باستخدام التعلم بالتعزيز
لقد طوّرنا نظامًا يسمى ParaPhrasee الذي يولد جملًا مترادفة عالية الجودة. يتكون النظام من عدة خطوات من أجل تطبيق التعلم بالتعزيز بطريقة فعالة من حيث الحوسبة. تلخص الإجراءات الرئيسية في الخطوط العريضة أدناه مع مزيد من التفاصيل في الأطروحة.
بيانات
توجد عدة مجموعات بيانات لجمل مترادفة متاحة تستخدم في البحث ، بما في ذلك: مجموعة بيانات Microsoft Paraphrase (MSFT ) ، و Quora Duplicate Questions ، و Twitter Shared Links. لقد اخترنا MS-COCO نظرًا لحجمه ونظافته واستخدامه كمرجع لورقتي بحث متعلقين بتوليد الجمل المترادفة. تحتوي MS-COCO على 120 ألف صورة لمشاهد عادية مع 5 تعليقات على الصورة لكل صورة مقدمة من 5 معلمين بشريين مختلفين.
على الرغم من أنه مصمم في الأساس لأبحاث الرؤية الحاسوبية ، إلا أن التعليقات تميل إلى أن تكون لها تشابه دلالي عالي وهي جمل مترادفة مثيرة للاهتمام. نظرًا لأن التعليقات على الصور يتم توفيرها بواسطة أشخاص مختلفين ، فإنها تميل إلى أن تكون لها اختلافات طفيفة في التفاصيل المقدمة في المشهد ، وبالتالي فإن الجمل التي تم إنشاؤها تميل إلى أن تحلم بالتفاصيل.
نموذج إشرافي
على الرغم من أن التعلم بالتعزيز قد تحسن بشكل كبير من حيث كفاءة العينة وأوقات التدريب وأفضل الممارسات العامة ، إلا أن تدريب نماذج التعلم بالتعزيز من الصفر لا يزال بطيئًا وغير مستقر نسبيًا (Arulkumaran et al., 2017). لذلك ، بدلاً من التدريب من الصفر ، نقوم أولاً بتدريب نموذج إشرافي ثم نضفنه باستخدام التعلم بالتعزيز.
نستخدم إطار عمل الترميز-الفك وتقييم أداء عدة نماذج إشرافية أساسية. عند ضبط النموذج باستخدام التعلم بالتعزيز ، نقوم بضبط شبكة فك الترميز فقط ونعتبر شبكة الترميز ثابتة. وبالتالي ، نعتبر إطاران رئيسيان:
- تدريب النموذج الإشرافي من الصفر باستخدام ترميز-فك قياسي مع GRUs
- استخدام نماذج التضمين الجملة المسبقة للتدريب للترميز بما في ذلك: التضمين الكلمة المجمعة (GloVe) ، InferSent ، و BERT
تتمتع النماذج الإشرافية بأداء جيد بشكل عام مع تحقيق BERT وترميز-فك الفانيليا أفضل أداء.
على الرغم من أن الأداء يعتبر معقولاً ، هناك ثلاثة مصادر شائعة للأخطاء: التكرار ، وتوليد شظايا الجمل ، والهلوسات. هذه هي المشاكل الرئيسية التي يهدف التعلم بالتعزيز إلى حلها.
نموذج التعلم بالتعزيز
تنفيذ خوارزميات التعلم بالتعزيز صعب بشكل خاص عندما لا تعرف ما إذا كان يمكن حل المشكلة. يمكن أن توجد مشاكل في تنفيذ بيئتك أو وكلائك أو معاملاتك أو دالة المكافأة أو مزيج من كل ذلك! وتتزايد هذه المشاكل عند استخدام التعلم العميق بالتعزيز حيث تحصل على متعة إضافية من تعقيد تصحيح الأخطاء في الشبكات العصبية.
كما هو الحال دائمًا في تصحيح الأخطاء ، من الضروري البدء ببساطة. لقد قمنا بتنفيذ تحورات من بيئتين لعب عديمة الجاذبية متعارف عليها (CartPole و FrozenLake) لاختبار خوارزميات التعلم بالتعزيز وإيجاد استراتيجية قابلة للتكرار لنقل المعرفة من النموذج الإشرافي.
وجدنا أن استخدام خوارزمية Actor-Critic كان أفضل من REINFORCE في هذه البيئات. فيما يتعلق بنقل المعرفة إلى نموذج Actor-Critic ، وجدنا أن 초기ّة أوزان الممثل مع النموذج الإشرافي المُدرّب وضبط الناقد تم تحقيقه بأفضل أداء. وجدنا أنه من الصعب تعميم نهج التقطير السياسي المتقدم إلى بيئات جديدة حيث يُقدم العديد من معاملات超 الإضافية التي تتطلب ضبطها للعمل.
مدعومًا بهذه الرؤى ، ثم ننتقل إلى تطوير نهج لتوليد الجمل المترادفة. أولاً ، نحتاج إلى إنشاء بيئة.
البيئة تسمح لنا باختبار تأثير استخدام مقاييس تقييم مختلفة كدالات مكافأة.
ثم نحدد الوكيل ، نظرًا لعدة مزاياه ، نستخدم هيكل Actor-Critic. يستخدم Actor لتحديد الكلمة التالية في التسلسل وتم 초기ّة أوزانه باستخدام النموذج الإشرافي. توفر Critic تقديرًا للمكافأة المتوقعة التي من المحتمل أن تتلقاها الحالة لمساعدة Actor على التعلم.
تصميم دالة المكافأة المناسبة
المكون الأكثر أهمية في تصميم نظام التعلم بالتعزيز هو دالة المكافأة لأن هذا ما يحاول وكيل التعلم بالتعزيز تحسينه. إذا كانت دالة المكافأة غير صحيحة ، فإن النتائج ستعاني حتى لو عمل كل جزء آخر من النظام!
مثال كلاسيكي على ذلك هو CoastRunners حيث حدد باحثو OpenAI دالة المكافأة كأعلى درجة يمكن تحقيقها بدلاً من الفوز في السباق. نتيجة لذلك ، اكتشف الوكيل حلقة يمكنه من خلالها الحصول على أعلى درجة دون إكمال السباق.
https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title
نظرًا لأن تقييم جودة الجمل المترادفة هو نفسه مشكلة غير محلولة ، فإن تصميم دالة مكافأة تلقائية تلتقط هذا الهدف بشكل تلقائي أكثر صعوبة. لا تتجزأ معظم جوانب اللغة بشكل جيد إلى مقاييس خطية وتعتمد على المهمة (Novikova et al., 2017).
غالبًا ما يكتشف وكيل التعلم بالتعزيز استراتيجية مثيرة للاهتمام لزيادة المكافآت التي تكتشف فيها نقاط الضعف في مقياس التقييم بدلاً من توليد نص عالي الجودة.
نحن نعتبر ثلاثة نهج رئيسية:
- مقياس перекрытия الكلمات
تعتبر مقاييس تقييم NLP الشائعة أن نسبة перекрытия الكلمات بين الجملة المترادفة المولدة وجملة التقييم. كلما زادت نسبة перекрытия ، زادت المكافأة. تحدي النهج القائم على الكلمات هو أن الوكيل يضمن الكلمات الموصلية مثل “أ” و “في” و “من” ولا يوجد مقياس للسلاسة. هذا يؤدي إلى جمل مترادفة ذات جودة منخفضة جداً.
- مقياس التشابه والسلاسة على مستوى الجملة
الخصائص الرئيسية للجملة المترادفة المولدة هي أنها يجب أن تكون سلاسة ودلاليًا مشابهة للجملة الإدخال. لذلك ، نحاول تقييم هذه بشكل منفصل ثم دمج المقاييس.对于 التشابه الدلالي ، نستخدم التشابه الزاوي بين التضمين الجملة المسبقة للتدريب من نماذج مسبقة مثل BERT.对于 السلاسة ، نستخدم درجة dựa على الارتباك من GPT-2. كلما زادت درجة التشابه الزاوي والسلاسة ، زادت المكافأة.
لقد جربنا العديد من التوليفات المختلفة من نماذج التضمين الجملة ونموذج السلاسة ، وبالرغم من أن الأداء كان معقولاً ، إلا أن الوكيل واجه مشكلة في موازنة التشابه الدلالي مع السلاسة.对于 معظم التكوينات ، أُعطي الأولوية للسلاسة ، مما أدى إلى إزالة التفاصيل والكائنات التي تم وضعها “في منتصف” شيء ما أو نقلها “على الطاولة” أو “جانب الطريق”.
التعلم بالتعزيز المتعدد الأهداف هو سؤال بحث مفتوح ويتعذر بشكل خاص في هذه الحالة.
- استخدام نموذج معادي كدالة مكافأة
نظرًا لأن البشر يعتبرون المعيار الذهبي في التقييم ، لقد دربنا نموذجًا منفصلًا يسمى المناقش على التنبؤ بمدى احتمال أن تكون جملتان مترادفتان (类似 إلى كيفية تقييم الإنسان). ثم يصبح هدف نموذج التعلم بالتعزيز هو إقناع هذا النموذج بأن الجملة المولدة هي جملة مترادفة للجملة الإدخال. يولد المناقش درجة لمدى احتمال أن تكون الجملتان مترادفتان ، والتي تستخدم كدالة مكافأة لتدريب الوكيل.
كل 5000 تخمين ، يُخبر المناقش بأي جملة مترادفة أتت من مجموعة البيانات وأي منها تم توليدها حتى يتمكن من تحسين تخمينه في المستقبل.
بعد عدة جولات من التدريب ، يولد الوكيل جمل مترادفة تفوق النماذج الإشرافية ودوال المكافأة الأخرى.
الختام والقيود
النهج المعادي (بما في ذلك اللعب الذاتي للألعاب) يوفر نهجًا واعدًا بشكل كبير لتدريب خوارزميات التعلم بالتعزيز على تجاوز أداء الإنسان على بعض المهام دون تعريف دالة مكافأة صريحة.
على الرغم من أن التعلم بالتعزيز كان قادرًا على تجاوز التعلم الإشرافي في هذه الحالة ، إلا أن مقدار الإضافات الإضافية من حيث الكود والحوسبة والتعقيد لا يستحق تحسين الأداء لمعظم التطبيقات. التعلم بالتعزيز هو الأفضل عندما لا يمكن تطبيق التعلم الإشرافي بسهولة ، ودالة المكافأة سهلة التعريف (مثل ألعاب Atari). النهج والخوارزميات أكثر نضجًا في التعلم الإشرافي ، وإشارة الخطأ أقوى ، مما يؤدي إلى تدريب أسرع وأكثر استقرارًا.
هناك اعتبار آخر هو ، كما هو الحال مع النهج العصبي الأخرى ، أن الوكيل يمكن أن يفشل بشكل كبير في الحالات التي تكون الإدخال مختلفًا عن الإدخالات التي تم رؤيتها مسبقًا ، مما يتطلب طبقة إضافية من فحص الصحة للتطبيقات الإنتاجية.
الانفجار في الاهتمام بالنهج التعلم بالتعزيز والتقدم في البنية التحتية الحاسوبية في السنوات القليلة الماضية سيفتح فرصًا هائلة لتطبيق التعلم بالتعزيز في الصناعة ، خاصة داخل معالجة اللغة الطبيعية.
