تعزيز محاذاة الذكاء الاصطناعي مع القيم الإنسانية من خلال WARM

محاذاة أنظمة الذكاء الاصطناعي مع القيم الإنسانية

أصبحت أنظمة الذكاء الاصطناعي قادرة على مساعدة البشر في مهام معقدة، من بوتات الدعم الفني إلى خوارزميات التشخيص الطبي. ومع ذلك، مع تحمل هذه الأنظمة لمزيد من المسؤوليات، من المهم أن تبقى متوافقة مع القيم والتفضيلات الإنسانية. یکی از الطرق لتحقيق ذلك هو من خلال تقنية تعلم التعزيز من التغذية الراجعة البشرية (RLHF). في RLHF، يتم مكافأة نظام الذكاء الاصطناعي، المعروف باسم السياسة، أو معاقبته بناءً على الأحكام البشرية لسلوكه. الهدف هو أن تتعلم السياسة لتحقيق أقصى مكافآتها، وبالتالي تصرف وفقًا للتفضيلات البشرية.

مكون أساسي في RLHF هو نموذج المكافأة (RM). ي负责 نموذج المكافأة تقييم إجراءات السياسة ومخرجاتها، وإرجاع إشارة مكافأة لتوجيه عملية التعلم. تصميم نموذج مكافأة جيد يعتبر تحديًا، لأن التفضيلات البشرية يمكن أن تكون معقدة ومتعلقة بالسياق ومتضاربة حتى بين الأفراد. مؤخرًا،提出了 باحثون من Google DeepMind تقنية مبتكرة تسمى Weight Averaged Reward Models (WARM) لتحسين تصميم نموذج المكافأة.

مشكلة اختراق المكافأة

مشكلة رئيسية في RLHF هي اختراق المكافأة. يحدث اختراق المكافأة عندما تجد السياسة ثغرات للاستفادة من نظام نموذج المكافأة للحصول على مكافآت عالية دون تحقيق الأهداف المقصودة. على سبيل المثال، افترض أن الهدف هو تدريب مساعد كتابة الذكاء الاصطناعي لإنشاء ملخصات عالية الجودة. قد يكافئ نموذج المكافأة الملخصات الموجزة والمعلوماتية. يمكن للسياسة بعد ذلك تعلم الاستفادة من هذا من خلال إنشاء ملخصات قصيرة وغير معلوماتية تتضمن كلمات رئيسية تخدع نموذج المكافأة.

يحدث اختراق المكافأة لسببين رئيسيين:

1. تحويل التوزيع – يتم تدريب نموذج المكافأة على مجموعة بيانات محدودة من الأمثلة المسمى البشرية. عند النشر، قد لا يتعامل نموذج المكافأة بشكل جيد مع التوزيعات التي تختلف عن التوزيع التدريبي.
2. التصنيفات الصاخبة – التصنيف البشري غير مثالي، مع وجود اختلافات في التصنيف بين المراجعين. قد يركز نموذج المكافأة على إشارات خادعة بدلاً من مؤشرات جودة قوية.

يؤدي اختراق المكافأة إلى أنظمة غير مجدية تفشل في مطابقة التوقعات البشرية. أسوأ من ذلك، يمكن أن يؤدي إلى سلوكيات الذكاء الاصطناعي المتحيزة أو حتى الخطرة إذا تم نشرها دون عناية.

صعود دمج النماذج

الاهتمام المتزايد bằng استراتيجيات دمج النماذج مثل Model Ratatouille يأتي من إدراك أن النماذج الأكبر، على الرغم من قوتها، يمكن أن تكون غير فعالة وغير عملية. يتطلب تدريب نموذج مع 1 تريليون معلمة كميات هائلة من البيانات، وحاسوب، ووقت، وتكلفة. أكثر من ذلك، تميل هذه النماذج إلى التكيف بشكل مفرط مع توزيع التدريب، مما يؤثر على قدرتها على تعميم سيناريوهات العالم الحقيقي.

يقدم دمج النماذج طريقًا بديلاً لفتح إمكانيات أكبر دون تسريع غير مراقب. من خلال إعادة استخدام نماذج متخصصة متعددة تمتد على توزيعات، مهام، أو أهداف مختلفة، يهدف دمج النماذج إلى تعزيز المرونة والمتانة خارج التوزيع. الفرضية هي أن النماذج المختلفة تقبض على أنماط تنبؤية مختلفة يمكن أن تكون مكملة عند دمجها.

تظهر النتائج الحديثة وعد هذا المفهوم. النماذج التي تم الحصول عليها من خلال الدمج، على الرغم من وجود معلمات أقل، يمكن أن تتطابق أو تتجاوز أداء نماذج عملاقة مثل GPT-3. على سبيل المثال، يمكن لمجموعة Model Ratatouille من 7 نقاط تحقق دقة تصل إلى حالة الفن على مجموعات بيانات عالية الأبعاد للتفاهم النصي، متجاوزة GPT-3.

بنية دمج النماذج بسيطة، وهي ميزة كبيرة. يتطلب تدريب نماذج مساعدة إضافية موارد إضافية. ومع ذلك، يبقى الحساب في وقت الاستدلال متطابقًا مع نموذج واحد، لأن الأوزان يتم ضغطها في واحدة. هذا يجعل الطريقة قابلة للتكيف بسهولة، دون قلق من زيادة التأخير أو التكلفة.

آليات دمج النماذج

لكن ما الذي يمكّن هذه المكاسب الدقيقة من دمج النماذج؟ تقدم التحليلات الحديثة بعض الأدلة:

• تخفيف التذكر: كل نموذج يرى دفعات مختلفة من مجموعة البيانات أثناء التدريب. التخفيف يقلل من التذكر الخاص بالinstance، مع الحفاظ على تعميمات على مستوى المجموعة.
• تقليل التباين: النماذج المتدربة بشكل مستقل لها أخطاء غير مترابطة. دمجها يقلل من الضوضاء، ويحسن التكيف.
• التحكم عبر التنوع: المهام المساعدة المختلفة ت迫 النماذج على التمسك بميزات أكثر قابلية للتعميم، مفيدة عبر التوزيعات.
• زيادة المتانة: عدم الاتساق في التنبؤات يُشير إلى عدم اليقين. التوسط يُعتدل الأحكام المفرطة، مما يعزز الموثوقية.

باختصار، دمج النماذج يوازن بين نقاط الضعف الفردية لتعزيز القوة الجماعية. التمثيل المدمج يلتقط الهياكل السببية الأساسية المشتركة، مع تجاهل التباينات العرضية.

تأسس هذا الأساس المفاهيمي يربط دمج النماذج بتقنيات شائعة أخرى مثل التجميع والتعلم المتعدد المهام. جميع هذه الطرق تستفيد من التنوع عبر النماذج أو المهام لتحقيق أنظمة متعددة الاستخدامات وواعية للغموض. ومع ذلك، توفر بساطة وفعاليّة دمج الأوزان لمزج النماذج حافة فريدة لتعزيز التطبيقات الواقعية.

Weight Averaged Reward Models

عملية المحاذاة مع WARM

WARM يستخدم ابتكارًا نموذج مكافأة وسيط (RM)، وهو متوسط وزني لعدة نماذج مكافأة فردية، كل منها يتم تعديله الدقيق من نفس النموذج اللغة الكبير المسبق التدريب ولكن مع معلمات مختلفة. هذه الطريقة تعزز الكفاءة والثبات تحت تحولات التوزيع، والمتانة ضد التفضيلات غير المتسقة. يظهر الدراس أيضًا أن استخدام WARM كنموذج مكافأة وسيط، خاصة مع زيادة عدد نماذج المكافأة المتوسطة، يحسن النتائج ويؤخر بداية “اختراق المكافأة”، وهو ظاهرة تدهور مكافآت التحكم مع مرور الوقت.

هنا نظرة عامة عالية المستوى:

1. ابداً بنموذج لغة قاعدي مسبق التدريب على مجموعة كبيرة. قم بتهيئة نماذج مكافأة متعددة عن طريق إضافة طبقات محددة للمهمة على الأعلى.
2. قم بتعديل نموذج المكافأة بشكل فردي على مجموعة بيانات التفضيل البشري، باستخدام معلمات مختلفة مثل معدل التعلم من أجل التنوع.
3. قم بتحديث أوزان نماذج المكافأة المعدلة الدقيقة لتحصل على مجموعة WARM واحدة.

الفرضية الرئيسية هي أن متوسط الأوزان يحتفظ فقط بالمعلومات غير المتغيرة التي يتم تعلمها عبر جميع نماذج المكافأة المتنوعة. هذا يقلل من الاعتماد على إشارات خادعة، مما يعزز المتانة. ينتفع المجموع أيضًا بتقليل التباين، مما يحسن الموثوقية على الرغم من تحولات التوزيع.

كما ناقشنا سابقًا، التنوع عبر النماذج المستقلة هو أمر بالغ الأهمية لفتح إمكانيات دمج النماذج بالكامل. ولكن ما هي بعض التقنيات المحددة التي يمكن تعزيز التنوع الإنتاجي بها؟

يستكشف ورقة WARM بعض الأفكار الخلاقة التي يمكن أن تكون قابلة للتعميم على نطاق أوسع:

إعادة ترتيب الخلط

منهج بسيط ولكن ذو تأثير كبير هو إعادة ترتيب 순序 الذي يتم رؤيته بواسطة كل نموذج خلال التدريب. حتى هذا الخطوة البسيطة تقلل من التذكر المكرر للأنماط.

تغيرات المعلمات

تعديل معلمات مثل معدل التعلم وفرصة الإسقاط لكل تشغيل يضيف تنوعًا مفيدًا. النماذج تتقارب بشكل مختلف، وتقبض على خصائص مختلفة من مجموعة البيانات.

متوسط نقاط التحقق – Baklava

طريقة Baklava تهيئ نماذج الدمج من لحظات مختلفة على نفس مسار التدريب المسبق. هذا يخفف القيود مقارنة bằng حساء النماذج الذي يفرض نقطة بداية مشتركة. بالمقارنة مع Model Ratatouille، ي避ي Baklava المهام الإضافية. بشكل عام، يضرب توازنًا فعالًا بين الدقة والتنوع.

عملية تعديل نموذج المكافأة المتعددة

التحليل يؤكد أن إضافة نقاط تحقق أقدم عن طريق متوسط متحرك يضر الأداء الفردي، مما يخل بالاستحقاقات المتعلقة بالتنوع. متوسط الأوزان فقط للتمثيلات النهائية من كل تشغيل يؤدي أداء أفضل. بشكل عام، موازنة أهداف التنوع مع الحفاظ على الدقة تبقى تحديًا بحثيًا مفتوحًا.

بشكل عام، يتوافق دمج النماذج مع المنهج العام في المجال لإعادة استخدام الموارد الحالية بشكل فعال لتعزيز الثبات والكفاءة والمتانة. بساطة متوسط الأوزان يثبت موقعه كمرشح رائد لتشكيل نماذج قوية من الوحدات البنائية الجاهزة.

على عكس طرق التجميع التقليدية التي ت平均 التنبؤات، يحافظ WARM على الحمل الحسابي الأدنى من خلال الحفاظ على مجموعة واحدة من الأوزان. تظهر التجارب على مهام تلخيص النص فعالية WARM:

• لأفضل نماذج N، يصل WARM إلى نسبة فوز 92.5% ضد الانتقاء العشوائي وفقًا لملabelات التفضيل البشرية.
• في RLHF، يصل نموذج WARM إلى نسبة فوز 79.4% ضد نموذج تم تدريبه مع نموذج مكافأة واحد بعد نفس عدد الخطوات.
• يظل WARM يؤدي بشكل جيد حتى عندما يتم تلوث ربع العلامات البشرية.

تظهر هذه النتائج إمكانية WARM كتقنية عملية لتطوير مساعدي الذكاء الاصطناعي الذين يتصرفون بشكل موثوق. من خلال تخفيف عدم الاتساق في التغذية الراجعة البشرية، يمكن أن تبقى سياسات WARM متوافقة بشكل متين مع القيم الإنسانية حتى مع استمرار التعلم من تجارب جديدة.

الصورة الأكبر

يقع WARM على تقاطع两个 اتجاه رئيسي في أبحاث محاذاة الذكاء الاصطناعي. الأول هو دراسة التعميم خارج التوزيع، الذي يهدف إلى تعزيز أداء النموذج على بيانات جديدة تختلف عن توزيع التدريب. الثاني هو أبحاث المتانة الخوارزمية، التي تركز على الثبات على الرغم من اضطرابات الإدخال الصغيرة أو الضوضاء.

من خلال ربط الاتصالات بين هذه الحقول حول概念 التعميمات المكتسبة، يحرك WARMنا نحو تقنيات أكثر صلابة لتحقيق المحاذاة القيم. يمكن أن تكون الاكتشافات من WARM قابلة للتعميم حتى ما وراء RLHF، مما يوفر دروسًا لأنظمة التعلم الآلي الأكثر شمولاً التي تتفاعل مع العالم المفتوح.

بالطبع، نمذجة المكافأة هي فقط جزء من لغز المحاذاة. ما زلنا بحاجة إلى تقدم على تحديات أخرى مثل تحديد المكافأة، والرقابة القابلة للتطوير، والاستكشاف الآمن. يمكن أن تسريع تطوير الذكاء الاصطناعي الذي يعزز الاستدامة الرخاء البشري مع تقنيات مكملة. من خلال توضيح المبادئ التي تقوم عليها المحاذاة المتينة، يحدد الباحثون مسارًا لتحقيق الذكاء الاصطناعي المفيد والمتين.