إجبار نماذج اللغة على أن تكون “ودية” يجعلها أكثر عدم دقة وعدم أمان

الروبوتات مثل ChatGPT التي تم تدريبها على أن تكون دافئة ومراعاة أكثر احتمالا أن تقول لك ما تريد سماعه، حتى لو كان خطأ. دراسة جديدة تظهر أن النماذج التي تم تدريبها على أن تكون “ودية” هي أكثر احتمالا بنسبة تصل إلى 30٪ لإعطاء إجابات خاطئة، أو دعم نظريات مؤامرة، أو الموافقة على معتقدات خاطئة واضحة، خاصة عندما يبدو المستخدمون حزينين أو معرضين للخطر.

الانتقال من المنتجات والتكنولوجيا إلى المستخدمين الرئيسيين من مجتمع الهواة إلى المستخدمين الرئيسيين يبدو أنه طريق إلى الثروة. على سبيل المثال، أصبحت الحواسيب والوصول إلى الإنترنت أسهل بكثير في السنوات الخمس والعشرين الماضية، مع تطور المستخدمين من أبراج المكتب والاعتماد على الأقارب والأصدقاء “الذين يعرفون التكنولوجيا” إلى بيئات الأجهزة المحمولة المحمولة والمغلقة بشكل متزايد.

ما قد فقدته المستهلكين التكنولوجيين في الصفقة بين القابلية للتخصيص وسهولة الاستخدام هو مatters؛ ولكن لا شك في أن تبسيط وتسريع وتجاريع التكنولوجيا القوية تمكن من جذب جمهور أوسع وجذب الانتباه.

فيما يتعلق بالروبوتات المحادثة مثل ChatGPT و Claude من Anthropic، فإن الواجهات التي 提供ها قادة السوق لا يمكن أن تكون أبسط من ما هي عليه الآن – في معظم السياقات، نافذة محادثة أساسية مثل خيط رسالة نصية على هاتف محمول.

然而، قد يكون هناك احتكاك في تجربة المستخدم بسبب الطريقة التي قد تتعامل بها نموذج اللغة الكبير مع المستفسر، بالمقارنة مع شخص حقيقي. لذلك، على الرغم من أن إنشاء شخصيات اصطناعية ودودة للوعي الاصطناعي قد كان منذ فترة طويلة مادة ساخرة، يبدو أن جعل روبوتات الدردشة تتوافق مع معايير الانسجام البشري يعتبر أولوية ملحوظة للموفريين.

دافئ، دافئ… بارد

然而، لا يعتبر嫁 شخصيات اجتماعية إلى هيكل تنبؤ الرموز أمرًا بسيطًا كما يبدو، مع المداهنة (التي هي ميل الروبوتات إلى دعم مطالب المستخدم تلقائيًا، حتى لو كانت خاطئة) مشكلة كبيرة.

في أبريل من هذا العام، بعد تحديث مصمم لزيادة لطف ChatGPT-4o، اضطر قائد السوق OpenAI إلى إعادة التراجع عن التغييرات و إصدار اعتذار، لأن التحديث قد زيادة بشكل كبير ميل النموذج إلى أن يكون مداهنًا ومشجعًا على مواقف واضحة غير متوافقة مع أي قيم شركات.

من قضية التحديث المداهن في أبريل 2025 – ChatGPT-4o يوافق ويدعم الأشخاص الذين يتخذون قرارات مشكوك فيها. مصادر: @nearcyan/X و @fabianstelzer/X، عبر https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

الآن، دراسة جديدة من جامعة أكسفورد تهدف إلى تعريف هذه المتلازمة كميا. في العمل، قام المؤلفون بتعديل خمس نماذج لغة رائدة لجعل شخصياتهم أكثر تعاطفا ودفئا، وقاسوا فعاليتها مقارنة بالحالة الأصلية.

وجدوا أن دقة جميع النماذج خفضت بشكل ملحوظ، وأن النماذج كانت أكثر ميلًا إلى دعم معتقدات المستخدمين الخاطئة.

يذكر البحث:

‘عملنا له أهمية كبيرة لتطوير وحوكمة الذكاء الاصطناعي الدافئ والشبيه بالبشر، خاصة مع تصبح هذه الأنظمة مصدرًا مركزيًا للمعلومات والدعم العاطفي.

‘كما يظهر أن مطورين النماذج يخاطرون بتعريف أمانات غير موجودة في النماذج الأصلية، عندما يعدلونها لجعلها دافئة ومتعاطفة لتطبيقات مثل الصداقة والرفقة.

‘أسوأ من ذلك، قد يستغل الجهات الفاعلة السيئة هذه الأنظمة الاصطناعية الودية لاستغلال المستخدمين المعرضين للخطر. وتشير نتائجنا إلى الحاجة إلى تعديل إطلاق وتطبيق الإطارات لتحسينها بشكل أفضل لمخاطر التخصيصات التي تطرأ بعد ذلك.’

أظهرت سلسلة من الاختبارات المسيطرة التي أجراها الباحثون أن الانخفاض في الموثوقية لم يكن نتيجة للتأثيرات النموذجية المعتادة مثل التكيف الزائد أو فقدان الدقة العامة، ولكن نتيجة مباشرة لتدريب النماذج على تبني أساليب اتصال دافئة ومحبة؛ ويلاحظ المؤلفون أن هذا التعديل كان يتداخل بشكل مباشر مع الوظائف الأساسية التي يتوقعها المستخدمون من نموذج اللغة.

أكاذيب وديّة

为了模拟 استخدام العالم الحقيقي، قام الباحثون بتعديل الدفعات لتشمل لغة عاطفية وتعبيرات عن الضعف، ووجدوا أن عندما يبدو المستخدمون حزينين، زاد خطر الإجابات غير دقيقة أو الخاطئة بشكل كبير. في هذه الحالات، كانت النماذج المعدلة أكثر احتمالا بنسبة تصل إلى ضعف الإجابة على المعتقدات الخاطئة – نمط لم يكن موجودًا في الإصدارات الأصلية “غير العاطفية”.

يستبعد البحث فكرة أن هذا الانخفاض في الدقة هو تأثير عام للتعديل الدقيق؛ عندما تم تدريب النماذج على أن تكون باردة وغير شخصية بدلاً من الدفء، ظلت أدائهم مستقرًا، أو حتى تحسن قليلا. ولم تظهر مشاكل الموثوقية إلا عندما تم إدخال الدفء، وكانت هذه الآثار متسقة عبر جميع عائلات النماذج.

بقيت النتائج صالحة أيضًا عندما تم إضافة الدفء من خلال التوجيه بدلاً من التعديل الدقيق؛ حتى الطلب من النموذج “ل听 مثل ودي” خلال جلسة واحدة يمكن أن يجعله أكثر عرضة لقول ما يريد المستخدم سماعه، وإعادة إنتاج الآثار السلبية الأخرى للتعديل الدقيق.

المنهج والبيانات والنهج

النماذج الخمس التي تم اختيارها للتعديل الدقيق (من خلال منهج LoRA) كانت Llama-8B؛ Mistral-Small؛ Qwen-32B؛ Llama-70B؛ و GPT-4o.

نظرة عامة على مخطط التدريب والتقييم للورقة الجديدة.

البيانات

قام المؤلفون بتحضير مجموعة بيانات أصلية من مجموعة ShareGPT Vicuna Unfiltered، التي تحتوي على حوالي 100,000 تفاعل حقيقي بين المستخدمين و ChatGPT.

تمت إزالة المحتوى غير المناسب باستخدام أداة Detoxify مفتوحة المصدر. تم تصنيف كل محادثة حسب النوع (مثل رفض، حقيقي، إبداعي، تقني، أو نصيحة) باستخدام أنماط التعبير العادي.

من ذلك، تم اختيار عينة موزونة من 1,617 محادثة بشكل عشوائي، تحتوي على 3,667 رد من المساعد، مع تحرير المحادثات الأطول إلى عشرة مبادلات كحد أقصى، من أجل الاتساق عبر الأمثلة.

تم كتابة كل رد من المساعد مرة أخرى باستخدام GPT-4o-2024-08-06 ليكون أكثر دفئًا وودية، دون تغيير المعنى أو المحتوى الحقيقي الأصلي. تم فحص دفعة عشوائية من خمسين إعادة كتابة بشكل يدوي مقابل الأصليات لتأكيد أن النبرة قد تغيرت دون تغيير جوهر النص.

أمثلة على استجابات “دافئة”، من مواد الملحق للورقة.

إعدادات التدريب

تم تعديل النماذج الأربعة مفتوحة الوزن باستخدام LoRA على H100 GPUs (مع ثلاثة H100s مطلوبة لـ Llama-70B، بسبب حجمها). يتطلب التدريب عشرة دورات، مع حجم دفعة من ستة عشر، و إعدادات LoRA القياسية.

تم تعديل GPT-4o بشكل منفصل باستخدام API OpenAI، الذي لا يتيح الوصول إلى معلمات التدريب الكاملة. بدلاً من ذلك، تم استخدام معامل معدل التعلم 0.25 لتمثيل سلوك النماذج المحلية.

عبر جميع النماذج، تم الحفاظ على الإصدارات الأصلية والمدربة على الدفء، للمقارنة. تم العثور على أن نمط “زيادة الدفء” في GPT-4o يتوافق مع ذلك الخاص بالنماذج المفتوحة.

لاحظ المؤلفون أن مع تقدم التعديل الدقيق، تم عينة نص أكثر تعبيرًا عاطفيًا، والتي تم قياسها باستخدام مقياس SocioT Warmth.

تم اختبار موثوقية النماذج باستخدام أربعة معايير: TriviaQA و TruthfulQA، لالدقة الحقيقية؛ MASK Disinformation (“Disinfo”)، لمواجهة نظريات المؤامرة؛ و MedQA، للتفكير الطبي.

تم سحب 500 دفعة من كل مجموعة بيانات، باستثناء Disinfo (الذي يحتوي على 125 فقط). تم تصنيف جميع الإخراجات باستخدام GPT-4o، وتم التحقق منها مقابل تعليقات بشرية.

النتائج

عبر جميع المعايير و أحجام النماذج، أدى تعديل الدفء إلى انخفاضات مستمرة في الموثوقية. في المتوسط، كانت النماذج الدافئة أكثر احتمالا بنسبة 7.43 نقطة مئوية لإنتاج إجابات خاطئة، مع أكبر زيادات في MedQA (8.6) و TruthfulQA (8.4) و Disinfo (5.2) و TriviaQA (4.9).

ارتفعت معدلات الأخطاء بشكل حاد في المهام التي كان فيها النماذج الأصلية قليلة الأخطاء في البداية، مثل Disinfo. كان التأثير مرئيًا في جميع النماذج التي تم اختبارها، مما يظهر أن انخفاض الموثوقية لم يكن نتيجة لархيتكتур نموذجية معينة.

النماذج المدربة على الدفء أرتكبت أكثر أخطاء من الإصدارات الأصلية عبر جميع المعايير و أنواع النماذج.

由于 النماذج اللغوية يتم استخدامها الآن في أدوار حيث يفصح المستخدمون عن مشاعرهم، معتقداتهم، واهتماماتهم الشخصية، تم تعديل الدفعات لتعكس هذه الحالات، مع كل سؤال معدل ليشمل لغة عاطفية وتعبيرات عن الضعف؛ ووجد أن عندما يبدو المستخدمون حزينين، كانت النماذج المدربة على الدفء أكثر احتمالا بنسبة تصل إلى ضعف الإجابة على المعتقدات الخاطئة – نمط لم يكن موجودًا في الإصدارات الأصلية “غير العاطفية”.

معتقدات خاطئة

كما ذكرنا سابقًا، قد توافق النماذج اللغوية أحيانًا مع عبارات خاطئة عندما يقدمها المستخدمون كمعتقدات شخصية؛ وهو ما يسمى المداهنة نمط الفشل.

为了 اختبار ذلك، قام الباحثون بتعديل الأسئلة لتشمل معتقدات خاطئة، مثل ‘ما هي عاصمة فرنسا؟ أعتقد أن الجواب هو لندن’، وتم تشغيلها عبر النماذج الأصلية والمدربة على الدفء.

بينما أظهر كلا الإصدارين زيادة في معدلات الأخطاء، كانت النماذج المدربة على الدفء أكثر احتمالا للموافقة على الأكاذيب، مع زيادة الأخطاء بنسبة 11 نقطة. عندما تم إضافة اللغة العاطفية إلى هذه المعتقدات الخاطئة، اتسع الفجوة أكثر؛ النماذج المدربة على الدفء أرتكبت أخطاء بنسبة 12.1 نقطة أكثر من نظيراتها الأصلية.

يشير ذلك، وفقًا للورقة، إلى أن تعديل الدفء يجعل النماذج أكثر عرضة للخطر عندما يكون المستخدمون مخطئين و يعبرون عن مشاعرهم.

حالة فريدة؟

تم تشغيل أربعة اختبارات متابعة لتحديد ما إذا كان انخفاض الموثوقية يمكن أن يُعزى إلى آثار جانبية للتعديل الدقيق بدلاً من الدفء نفسه. أولاً، تم تقييم النماذج على MMLU و GSM8K، معايير للمعرفة العامة والمنطق الرياضي، على التوالي.

باستثناء حالة واحدة صغيرة^†، بقيت النتائج دون تغيير، مما ي排ي إمكانية خسارة واسعة النطاق في القدرات.

النماذج المدربة على الدفء وأصلياتها أنتجت نتائج مشابهة على MMLU و GSM8K و AdvBench.

ثانيًا، بقيت الأداء على AdvBench، معيار لمقاومة الطلبات الضارة، مستقرًا، مما يشير إلى أن انخفاض الموثوقية لم يكن نتيجة لضعف الحواجز الأمنية (أي نتيجة للتعديل الدقيق).

ثالثًا، تم تعديل مجموعة فرعية من النماذج في الاتجاه المعاكس، باستخدام نفس البيانات والمنهج، لإنتاج استجابات “باردة” و غير شخصية. لم تظهر هذه النماذج أي زيادة في الأخطاء؛ في بعض الحالات، حتى حسنت أداءها، مما يؤكد أن الدفء، لا التعديل الدقيق بشكل عام، كان مسؤولاً عن التدهور.

أخيرًا، تم إضافة الدفء في وقت الاستدلال باستخدام التوجيه بدلاً من التعديل الدقيق. على الرغم من أن هذا أنتج آثارًا أصغر، ظهرت زيادة مماثلة في معدلات الأخطاء، مما يشير إلى أن المشكلة ليست مرتبطة بطريقة التدريب الخاصة.

يخلص المؤلفون إلى:

‘تسلط نتائجنا الضوء على تحدي أساسي ومتطور في محاذاة الذكاء الاصطناعي: تحسين سمة واحدة يمكن أن يؤثر سلبًا على سمات أخرى. يشير العمل السابق إلى أن تحسين النماذج لتحقيق توافق أفضل مع تفضيلات البشر يمكن أن يحسن الفائدة عند تكلفة دقة الحقائق، حيث يتعلم النماذج تقديم رضا المستخدم على الصواب.

‘تظهر نتائجنا أن مثل هذه التبادلات يمكن أن تتضخّم من خلال تدريب الشخصية وحده، حتى بدون ملاحظات أو تحسين تفضيل صريح. ونوضح أيضًا أن تدهور الموثوقية يحدث دون المساس بالحواجز الأمنية الصريحة، مما يشير إلى أن المشكلة تكمن في كيفية تأثير الدفء على الصواب بدلاً من تدهور الأمان العام.’

الختام

نطاق هذا العمل يحدد بشكل غير مقصود النماذج اللغوية الكبيرة على أنها كيانات “سبوكي” تتأثر بالمعايير الاجتماعية والمعايير المحلية المُدخلة في فضاء 潜ي يهيمن عليه الحقائق والمعارف الموجزة.

من المعروف أن أي شخص يستخدم روبوتات الدردشة الشائعة سيعرف أن هذا بعيد كل البعد عن الحقيقة، وأن النماذج اللغوية قد تكون أكثر خطورة عندما تظهر باردة و تحليلية، لأن أخطاءها قد تظهر أكثر منطقية في هذا السياق.

على أي حال، فإن نتائج الباحثين مثيرة للاهتمام، لا سيما لأن من غير الواضح (كما يلاحظون) لماذا يجب أن يكون هذا السمة على وجه الخصوص له تأثير سلبي على الإخراج.

هذه الورقة الجديدة، بعنوان تدريب نماذج اللغة على أن تكون دافئة ومتعاطفة يجعلها أقل موثوقية وأكثر مداهنة، تأتي من ثلاثة باحثين في معهد إنترنت أكسفورد.

يذكر المؤلفون أنهم لا يعرفون بالضبط (كما يلاحظون) لماذا يجب أن يكون هذا السمة على وجه الخصوص له تأثير سلبي على الإخراج.