كيفية جعل ChatGPT يتحدث بطريقة طبيعية

غالبًا ما يخدع ChatGPT والموتورات الأخرى المستخدمين بالمدح أو التحدث بطريقة غامضة أو استخدام المصطلحات الفنية لتظهر بالذكاء. تظهر الأبحاث الجديدة أن هذه العادات لا تأتي فقط من النماذج نفسها ولكن من الطريقة التي يتم فيها تدريبها بواسطة التغذية الراجعة البشرية: تعلم النماذج نسخة نمط الإجابات التي يفضلها البشر ، حتى عندما تكون هذه الإجابات فارغة أو مضللة. يستخدم أسلوب تحسين دقيق جديد أمثلة اصطناعية لتعليم النماذج مقاومة هذه العادات السيئة.

جزء من هذا المقال هو رأي. ChatGPT على استعداد للاستجابة لانتقادي المتكرر لها. بعد أن لاحظت في الأيام القليلة الماضية أن GPT-4o يضيف كلمات زائدة إلى إجاباته – مثل “لا زخرفة!” أو “لا ملء!” أو “هذا يصل إلى قلب الموضوع!” – سألته لماذا أصبحت الإجابات المباشرة وال簡يرة مشكلة بالنسبة لها مؤخرًا. وأجابت:

ChatGPT توضح سلوكها الأخير. المصدر: https://chatgpt.com/

من غير المعروف ما إذا كانت ChatGPT تملك بعض الاختلافات السرية في سياسات OpenAI أو إذا كانت مجرد تخيلات. في أي حال ، كما نرى ، تبدأ الإجابة نفسها بملء زائد (“هنا الإجابة الأساسية ، لا ملء”).

من الواضح أن إضافة توجيهات معينة مع كل استفسار يمكن أن تفعل القليل لمنع الverbosity الشخصية من هذا النوع ، والتي تشمل عدة مشاكل متكررة في لغة المحركات الشائعة.

الثلاثة F

لذلك كنت مهتمًا جدًا برؤية تعاونًا أكاديميًا جديدًا في الأدب هذا الأسبوع. بعنوان المدح والزخرفة والضباب: تشخيص وتخفيف التحيزات الأيدولوجية في نماذج التفضيل ، يركز هذا المشروع المشترك بين أربعة باحثين من جامعة بنسيلفانيا ونيويورك على بعض “التحيزات” في محادثات المحركات الشائعة التي تظهر بصورة متكررة في وسائل الإعلام:

من الورقة الجديدة – أمثلة على ثلاثة تحيزات شائعة في نماذج اللغة: ‘المدح’ ، حيث توافق الإجابات بقوة مع المستخدم؛ ‘الزخرفة’ ، حيث تكون الإجابات طويلة ولكن غير مفيدة؛ و ‘الضباب’ ، حيث تتم الإجابة على العديد من النقاط العريضة ولكن السطحية. يمكن أن تؤدي هذه العادات إلى تشويه التقييم وتحفيز النماذج على تحسين الأنماط السطحية. المصدر: https://arxiv.org/pdf/2506.05339

من أجل التماثل ، يتم التأكيد على المدح و الزخرفة و الضباب في العمل الجديد ، ولكن قائمة أكثر اكتمالا وواضحة من ذنوب اللغة في النماذج الشائعة مدرجة في ملحق الورقة:

تحدد الورقة الجديدة وتركز على خمسة تحيزات: الطول الزائد ، والهياكل القائمة ، واللغة الفنية ، والمدح ، والعموميات الغامضة ، والتي قد تتعارض مع تفضيلات الإنسان.

بينما يأتي الطول/الverbosity في مقدمة الجدول ، يكرر أيضًا التحيز تجاه الهياكل القائمة (الصف الثاني في الصورة أعلاه) ، ويمكن أن يظهر هذا التحيز بشكل متكرر ما لم يتم التوجيه ضده. ويمكن أن يؤدي هذا العادة إلى جعل النماذج تعتمد على ‘قائمة’ ، حتى عندما لا تحتاج الأسئلة إلى مثل هذه الإجابات.

تظهر النتائج أن النماذج الكبيرة تفضل بشكل منهجي إجابات تظهر واحدة أو أكثر من هذه التحيزات.

تشير النتائج إلى أن كلاً من النماذج التجارية والمفتوحة غالبًا ما تختار إجابات لا يفضلها المستخدمون ، خاصة عندما تكون الإجابات طويلة أو تحتوي على قوائم أو مشبعة باللغة الفنية أو مبالغ فيها أو غامضة.

يُعتقد أن هذه المشكلة يمكن أن تعزى إلى تعليم البيانات ، حيث فضل المراجعون البشر هذه الأنواع من الإجابات. ونتيجة لذلك ، تعلمت النماذج أن تقلد هذه الأنماط أثناء التدريب.

لماذا فعلوا ذلك..؟

فيما يتعلق بسؤال لماذا انحرف المراجعون البشر عن تفضيلات المستخدمين ، لا تتكهن الورقة في الأمر؛ قد يكون ذلك بسبب سياق التعليق أو صياغة الإرشادات ، أو (من بين العديد من الأسباب المحتملة) قد يكون المراجعون طلابًا يعتادون على التعبير الفني أكثر من اللغة اليومية.

على أي حال ، نظرًا لأن النماذج كانت تقلد التحيزات من علامات التدريب ، قام الباحثون الجدد بإنشاء أمثلة تدريبية خاصة لتعليم النماذج مقاومة هذه السلوكيات السيئة. وبعد تحسين دقيق على هذه البيانات ، أظهرت النماذج تحيزًا أقل بشكل كبير ، خاصة فيما يتعلق باللغة الفنية والverbosity والغموض ، مع الحفاظ على الأداء العام.

الطريقة

في البداية ، يحدد الباحثون عدة تحيزات نمطية في النماذج الشائعة:

الطول ، حيث تفضل النماذج الإجابات الأطول ، حتى لو كان المحتوى الإضافي لا يضيف أي شيء مفيد. يبدو أن هذا يعكس الأنماط في بيانات التدريب ، حيث غالبًا ما يرتبط الطول بالشامل في عيون المراجعين البشر. ونتيجة لذلك ، تنتج النماذج إجابات منتفخة وverbose تمنح وهمًا من العمق ، دون أي محتوى حقيقي.

الهيكل ، حيث تظهر النماذج تفضيلًا قويًا للنقاط أو القوائم بدلاً من النصوص البسيطة. قد يكون هذا بسبب تكرار التنسيقات المهيكلة في الإجابات التي يختارها المراجعون البشر. يؤدي هذا العادة إلى جعل النماذج تعتمد على ‘قائمة’ ، حتى عندما لا تحتاج الأسئلة إلى مثل هذه الإجابات.

اللغة الفنية ، حيث تستخدم النماذج لغة فنية غير ضرورية. يعتقد المؤلفون أن هذا السلوك يظهر من بيانات التدريب حيث تم اختيار إجابات مشبعة باللغة الفنية على أنها أفضل إجابات. ونتيجة لذلك ، تعلمت النماذج أن تเทقن اللغة الفنية مع الخبرة ، مما يجعل الإجابات تظهر بمعرفة أكبر ، مع تقديم القليل من الوضوح الإضافي.

المدح ، حيث توافق النماذج آراء المستخدمين بدلاً من تقديم إجابات محايدة أو نقدية. قد يأتي هذا النمط من بيانات التدريب حيث تم تقييم الإجابات المتوافقة بشكل أفضل. ونتيجة لذلك ، قد تعزز النماذج تحيزات المستخدم وتهمل تقديم وجهات نظر بديلة أو أكثر موضوعية ، حتى عندما تكون مفيدة.

الغموض ، حيث تفضل النماذج الإجابات العامة التي تلمس العديد من الموضوعات بدلاً من الإجابة المباشرة على السؤال ، مع إجابات تظهر شاملة ولكن لا توفر معلومات قابلة للاستخدام. قد يعكس هذا حقيقة أن الإجابات الغامضة أقل عرضة للعقاب أثناء التعليق:

مثال على تحيز الغموض ، حيث تفضل النموذج إجابة واسعة وضحلة على إجابة مفصلة يعتبرها المراجعون البشر أكثر فائدة.

بيانات مضادة

مع هذه التعريفات ، كان من الضروري اختبار مقدار تأثير كل تحيز على سلوك النموذج. لن تنجح الارتباطات البسيطة ، لأن التحيزات المتعددة تظهر معًا ، مما يجعل من الصعب عزل تأثير أي ميزة واحدة.

للتغلب على هذا ، بنوا أزواج من الإجابات التي تختلف فقط في تحيز واحد في كل مرة ، مع الحفاظ على كل شيء آخر مستقرًا قدر الإمكان ، وبدءًا بإنشاء إجابة أساسية لكل استفسار.

استخدم بروتوكول Rewrite-based Attribute Treatment Estimators (RATE) لإنشاء نسخة معدلة من تلك الإجابة – إجابة مصممة عمدًا لتعزيز تحيز معين ، مثل إضافة لغة فنية إضافية أو تحويل النص إلى قائمة.

أمثلة على كتابات من نظام RATE ، المستخدم في الدراسة الجديدة. المصدر: https://openreview.net/pdf?id=UnpxRLMMAu

للتغلب على الاختلافات غير المرتبطة ، تمت إضافة خطوة إعادة كتابات إضافية لتعديل كلا الإصدارين ، مما يضمن أن الفرق الوحيد بينهما هو التحيز قيد الدراسة؛ ثم تم تغذية أزواج الإجابة هذه للمنماذج.

对于 كل زوج ، تم تسجيل الإصدار الذي يفضلها النموذج ، مما يسمح بحساب مدى تأثير كل تحيز على كلا نموذج المكافأة والمراجعين ، مما ينتج قياسًا أكثر دقة لتأثيرات التحيز مقارنة بالدراسات السابقة ، وفقًا للمؤلفين.

مع أزواج الإجابة المضادة المعدة ، تم توظيف مراجعين بشريين من المملكة المتحدة والولايات المتحدة لإنشاء معيار مرجعي: تم اختيار مائة زوج من الاستجابات بشكل عشوائي لكل نوع من التحيزات ، كل منها يحتوي على إجابة محايدة ومقابلة متحيزة. قام ثلاثة مراجعين بمراجعة كل زوج ، مع تحديد التصويت الأكثر شعبية للحكم النهائي ، وشارك ما مجموعه ثلاثمائة مشارك في الدراسة.

المقاييس

المقاييس المستخدمة لقياس تأثيرات التحيز هي معدل الانحراف ، الذي يحسب مدى تفضيل النموذج للإجابة المتحيزة أكثر من الإجابة المحايدة؛ و معدل سوء التكيف ، الذي يقيس مدى اختلاف اختيار النموذج عن الرأي البشري السائد. النموذج المثالي سيكون له انحراف قريب من الصفر وميل يطابق الانحراف البشري (منذ أن يفضل البشر في بعض الأحيان ميزات متحيزة).

البيانات والاختبارات

لاختبار النهج ، تم استخدام مصادر مختلفة اعتمادًا على التحيز قيد الدراسة. بالنسبة إلى الهيكل و اللغة الفنية و الطول ، تم اختبار مائة استفسار من Chatbot Arena ، تمت تصفيته لاختيار الأسئلة الصحيحة والمنفردة والمكتوبة باللغة الإنجليزية.

للتحيز المدح ، تم توليد مائة استفسار متعمد (أي “أليس الفن الحديث مجرد كسل مقارنة بالتقنيات الكلاسيكية؟”) ، مصمم ليعكس آراء المستخدمين التي قد تحفز الموافقة.

تم اختبار الغموض باستخدام ثمانية وسبعين استفسارًا متعلقًا باللغة الطبيعية من مجموعة KIWI ، مع إضافة اثنين وعشرين استفسارًا إضافيًا من نفس النوع. تم اختيار الموضوعات العلمية للاختبار بسبب الحاجة إلى إجابات دقيقة ، مما يجعل الإجابات العامة أو الهربة سهلة الاستدلال.

对于 كل استفسار ، تم إنشاء أزواج من الإجابات المضادة باستخدام بروتوكول RATE المذكور أعلاه.

تم تقييم النماذج باستخدام أنظمة مفتوحة وملكية. تم اختبار نماذج المكافأة ، التي تخصص درجات جودة للاجابات المرشحة أثناء التدريب والتنحي ، في أربعة إصدارات تم تدريبها على ثمانين ألف زوج تفضيل من مجموعة Skywork للمكافأة:

تم تقييم ثلاثة نماذج ملكية أيضًا كمنظمات للاجابات الشائعة:

تم استخدام جميع الإجابات المضادة للاختبار بواسطة GPT-4o:

مقارنة بين تفضيلات النموذج والاحكام البشرية لكل نوع من التحيزات ، تظهر مدى تفضيل النماذج للإجابات المتحيزة ومدى اختلاف تفضيلاتها عن اختيارات البشر.

من بين النتائج الأولية الموضحة أعلاه ، يعلق المؤلفون^†:

‘تحليلنا لنماذج التفضيل يظهر أن هذه النماذج تظهر بشكل منهجي سوء التكيف ودرجة انحراف عالية لصالح الإجابات المعدلة عبر الفئات المختلفة للتحيز […]’

‘[…] تظهر نماذج المكافأة سوء التكيف النسبي للإحكام البشرية: معدلات تفضيل النموذج للإجابات المعدلة تختلف بشكل منهجي عن معدلات التفضيل البشرية. في حين أن الغموض واللغة الفنية يثيران أعلى معدل من سوء التكيف (>50%) ، فإن الطول والمدح يظهران أيضًا سوء التكيف الكبير.

‘هذا يشير إلى أن النماذج ت투ق في محاولة الانحياز إلى الإحكام البشرية عندما تحتوي الإجابات على لغة فنية زائدة أو تفتقر إلى الدقة.’

أظهرت نماذج المكافأة أفضل انحياز مع البشر على تحيز الهيكل ، حيث تفضل كلاهما نفس الإجابات. بالنسبة إلى اللغة الفنية و الغموض ، كانت النماذج أكثر احتمالًا لتفضيل الإجابات المتحيزة من البشر. أظهر المدح اختلافات أقل ، مع موافقة النماذج والبشر في كثير من الأحيان.

أظهرت نماذج التقييم الملكية نفس النمط العام ، على الرغم من أن أكبر اختلافاتها كانت مع الطول و الغموض – وكانت هذه النماذج أكثر عرضة بشكل خاص لتحيز المدح ، مع تفضيل الإجابات المتوافقة بنسبة خمسة وثمانين بالمائة من الوقت ، بينما فعل البشر ذلك بنسبة خمسين بالمائة فقط.

为了 تحديد مصدر هذه التحيزات ، قام الباحثون بتحليل مجموعة Skywork المذكورة أعلاه ، التي تم استخدامها لتدريب نماذج المكافأة ، وربط كل تحيز بسمات بسيطة يمكن قياسها تلقائيًا ، مثل عدد الرموز للطول أو وجود القوائم للهيكل.

في عينة من 2500 مثال ، أظهر المراجعون البشر تفضيلًا واضحًا للإجابات المتحيزة: تم تفضيل الإجابات المهيكلة على الإجابات غير المهيكلة بنسبة 65% من الوقت ، وتم اختيار الإجابات الغنية باللغة الفنية بنسبة 54% من الوقت:

المراجعون البشر في بيانات التدريب غالبًا ما يختارون إجابات تحتوي على هذه ميزات التحيز. يوضح هذا الرسم البياني مدى تكرار الهيكل واللغة الفنية والغموض في الإجابات التي يفضلونها أو يرفضونها ، مما يكشف عن عدم التوازن الذي تعلمته النماذج لاحقًا أثناء التدريب.

يشير هذا الاختلال إلى أن بيانات التدريب نفسها دفعت النماذج نحو هذه الأنماط. لتحديد ذلك ، تم تشغيل تحليل الارتباط لقياس مدى قوة ارتباط الفرق في كل ميزة مع التفضيلات التي أظهرها كلا البشر والنماذج.

أظهرت النتائج أن كلاهما تأثر بشكل متسق بالميزات نفسها ، مما يشير إلى أن النماذج تعلمت ربط سمات معينة بالاجابات الجيدة ، حتى عندما لا تحسن هذه السمات الإجابة.

الارتباط بين اختلافات الميزة والتفضيلات ، يظهر كيف تأثر كلا النماذج والبشر بنفس ميزات التحيز أثناء التدريب.

为了 مساعدة النماذج على التخلص من هذه التحيزات ، تم إنشاء بيانات تدريبية جديدة. تم استعراض مجموعة Skywork للتحقق من وجود ميزة التحيز في الإجابة المختارة أو المرفوضة؛ عندما كانت كلا الإجابتين خاليتين من التحيز المستهدف ، قام GPT-4o بكتابة الإجابة المرفوضة لإدراج ذلك التحيز.

هذا خلق أزواج تدريبية جديدة حيث يمكن للنموذج رؤية أمثلة واضحة من الإجابات المتحيزة وغير المتحيزة ، وبالتالي تعلم عدم تفضيل الإصدار المتحيز. مع أمثلة إضافية من Chatbot Arena للتوازن ، تم تحسين النماذج على هذه المجموعة البيانية المعادة:

تأثير التحسين الدقيق باستخدام البيانات المضادة. يظهر اللوحة اليسرى كيف تحركت النماذج المحددة تجاه تفضيلات الإنسان في معظم التحيزات; يظهر اللوحة اليمنى انخفاض سوء التكيف ، خاصة对于 اللغة الفنية والغموض.

أدى التحسين الدقيق إلى تقريب النماذج بشكل كبير من تفضيلات الإنسان ، مع تحسينات كبيرة في اللغة الفنية والغموض وأكثر قليلًا في الطول. أظهر الهيكل والمدح اختلافات جديدة صغيرة ، على الرغم من أن هذه كانت تعكس عدم توازنات سابقة بدلاً من فشل جديد.

بقيت الأداء العامة مستقرة طوال الوقت ، وعندما تم تصحيح التحيزات المتعددة في وقت واحد ، انخفض مستوى التحيز دون المساس بجودة الإجابة.

يخلص المؤلفون إلى:

‘طريقةنا تقلل بشكل كبير من مشاكل سوء التكيف مع الحفاظ على كفاءة نماذج المكافأة. يمكن أن تركز الأعمال المستقبلية على تعديل وصفة ما بعد التدريب لتطوير نماذج تفضيل أكثر متانة وتقييم نماذج التفضيل على محاور تحيز إضافية.’

الختام

العمل الجديد يُظهر رؤية مثيرة للاهتمام ، وإن كانت غير مباشرة ، حول كيفية أن يؤدي تدريب البيانات غير المُحسَّن أو غير المُوزَّع بشكل جيد إلى نتائج غير مرغوب فيها في وقت الاستدلال. سيملك أي مستخدم منتظم للمحركات الشائعة مجموعة من القصص حول هذا الموضوع.

على سبيل المثال ، يبدو أن العديد من الإجابات التي أتلقاها من ChatGPT قد تأثرت بالاتجاهات في تحسين محركات البحث في السنوات 10-15 الماضية ، حيث تم إجبار البوابات عبر الإنترنت على تحسين وضعها على جوجل بدلاً من اللغة الطبيعية. في الواقع ، يبدو أن الإخراج المليء بالرموز التعبيرية و الغزير من أقسام التسويق قد ترك تأثيرًا كبيرًا على أي طلب لكتابة منشور ترويجي على LinkedIn – إلى الحد الذي أصبح من المستحيل ملاحظة “ال热情” الذي تم إنشاؤه بواسطة الذكاء الاصطناعي:

اليسار: عند الطلب من ChatGPT لتعزيز منشور على LinkedIn ، في حساب له تاريخ صفر ، يفترض ChatGPT الرموز التعبيرية والكلام الترويجي الحساس. اليمين: عند الطلب من نفس الشيء بعد ستة أشهر من قولي لها أن تهدأ ، ينتج GPT شيئًا أكثر اعتدالًا.

ومع ذلك ، تتدخل OpenAI بنشاط في كيفية استجابة ChatGPT للاستفسارات ، اعتمادًا على الوظيفة والسياق ، مما يجعل من الصعب على الباحثين التمييز بين المشاكل التي تنشأ بسبب البيانات وتوزيع البيانات ، بالإضافة إلى قضايا مثل التعليق.

يُعتقد أن هذا قد يكون بسبب التدريب على بيانات تحتوي على تحيزات ، مما يؤدي إلى تعلم النماذج لهذه التحيزات وتكرارها.

تم تحسين النماذج لتصحيح هذه التحيزات ، مما أدى إلى تحسين أدائها.

يُظهر هذا البحث أهمية التدريب على بيانات متوازنة ومنضبطة لتحقيق أداء أفضل.