النماذج اللغوية الكبيرة تنتحاز إلى اليسار عند التصويت على القوانين الحقيقية

في أول دراسة من نوعها التي تستخدم بيانات العالم الحقيقي على نطاق واسع، تم اختبار ChatGPT ونمذج اللغة الكبيرة الأخرى على آلاف من المقترحات البرلمانية الحقيقية، وتم التأكد من أنها تتماشى مع الأحزاب اليسارية واليسارية الوسطية، في حين أنها أظهرت انحيازًا أضعف مع الأحزاب المحافظة في ثلاثة بلدان.

في تعاون أكاديمي جديد بين هولندا والنرويج، تم طلب من نماذج اللغة الكبيرة من نوع ChatGPT – بما في ذلك ChatGPT نفسه – للتصويت على آلاف من المقترحات البرلمانية الفعلية التي تم التصويت عليها بالفعل من قبل المشرعين البشر في ثلاثة بلدان.

عند المقارنة مع تصويتات الأحزاب الحقيقية المسجلة، وتم وضعها على مقياس سياسي معياري، ظهر نمط يضع النماذج دائمًا أقرب إلى الأحزاب التقدمية واليسارية الوسطية، وأبعد عن الأحزاب المحافظة.

يذكر البحث:

‘تظهر نتائجنا ميولًا متسقة إلى اليسار والوسط في النماذج، جنبًا إلى جنب مع انحياز سلبي منتظم تجاه الأحزاب اليمينية المحافظة، وتبقى هذه الأنماط مستقرة تحت التحفيزات المعاد صياغتها.’

معظم الدراسات السابقة، مثل تقييم الانحياز السياسي في نماذج اللغة الكبيرة، وتلك التي تمت مراجعتها في تحديد الانحياز السياسي في الذكاء الاصطناعي، تستخدم اختبارات صغيرة ومحددة مثل اختبارات البوصلة السياسية أو استبيانات السياسات، لاستكشاف أيديولوجية الذكاء الاصطناعي. هذه الاختبارات عادة ما تتضمن أقل من 100 بيان، يتم اختياره من قبل الباحثين، ويمكن أن تكون عرضة لتأثيرات إعادة الصياغة التي يمكن أن تقلب استجابات النموذج.

على العكس من ذلك، تستخدم الدراسة الجديدة آلاف المقترحات البرلمانية الحقيقية من ثلاثة بلدان – هولندا والنرويج وإسبانيا – باستخدام تصويتات مسجلة من الأحزاب السياسية المعروفة.

بدلاً من تفسير العبارات القصيرة، تم طلب من كل نموذج لغة كبير للتصويت على المقترحات التشريعية الفعلية. ثم تم مطابقة تصويته بشكل كمي مع سلوك الحزب في العالم الحقيقي، وتم إسقاطه في فضاء أيديولوجي معياري، وهو استطلاع خبير تشابيل هيل (CHES)، وهو منهجية مستخدمة بشكل شائع من قبل العلماء السياسيين لمقارنة مواقف الأحزاب.

هذا يؤسس التحليل على نشاط تشريعي حقيقي على نطاق واسع، بدلاً من بيانات السياسات المجردة، ويمكن المقارنات المتقنة عبر الوطن. كما يبرز التأثير الضار للانحياز الكيان (كيف تتغير استجابة النموذج عند ذكر اسم الحزب، حتى عندما لا تتغير المقترح)، وتوضح طبقة ثانية من كشف الانحياز غير موجودة في الأعمال السابقة.

معظم الدراسات حول انحياز نماذج اللغة الكبيرة تركزت على العدالة الاجتماعية والجنس، من بين مواضيع أخرى أصبحت أقل أهمية خلال العام السياسي الماضي؛ حتى وقت قريب، كانت دراسات الانحياز السياسي في نماذج اللغة الكبيرة أقل شيوعًا وأقل دقة.

العمل الجديد يحمل عنوان كشف الانحياز السياسي في نماذج اللغة الكبيرة باستخدام سجلات التصويت البرلماني، ويأتي من سبعة باحثين عبر جامعة فريجي في أمستردام، وجامعة أوسلو.

المنهج والبيانات

الفرضية المركزية للمشروع الجديد هي مراقبة الميول السياسية لمجموعة من نماذج اللغة، من خلال طلبها للتصويت على تشريعات تاريخية (أي قوانين تم تمريرها أو رفضها في الحياة الواقعية، عبر البلدان الثلاثة التي تمت دراستها)، و sửة منهجية CHES لوصف لون النماذج السياسي.

بهذا الغرض، أنشأ الباحثون ثلاث مجموعات بيانات: PoliBiasNL لتغطية 15 حزبًا في البرلمان الهولندي (بمotions 2,701); PoliBiasNO لتغطية تسعة أحزاب في البرلمان النرويجي (بمotions 10,584); و PoliBiasES لتغطية عشرة أحزاب في البرلمان الإسباني (بمotions 2,480 – والمجموعة البيانات الوحيدة التي تشمل تصويتات الامتناع، التي يتم السماح بها في إسبانيا).

تم تقليص كل مقترح إلى شروطها التشغيلية لتقليل الآثار الإطارية، وتم ترميز مواقف الأحزاب بـ 1 لتحديد الدعم، أو -1 لتحديد المعارضة (وفي مجموعة بيانات إسبانيا، 0 لتعكس الامتناع). تم معاملة الأصوات المتسقة من الأحزاب المندمجة ككتلة واحدة، بينما بالنسبة للأحزاب الجديدة مثل العقد الاجتماعي الجديد (NSC)، تم استخدام تصويتات قادتها السابقة لاستنتاج مواقفها السابقة.

تم تصميم مجموعة متنوعة من التجارب لنماذج اللغة الكبيرة، التي تم اختبارها إما على وحدة معالجة الرسومات المحلية أو عبر واجهة برمجة التطبيقات، حسب الضرورة. النماذج التي تم اختبارها كانت Mistral-7B؛ Falcon3-7B؛ Gemma2-9B؛ Deepseek-7B؛ GPT-3.5 Turbo؛ GPT-4o mini؛ Llama2-7B؛ و Llama3-8B. كما تم اختبار نماذج اللغة الكبيرة المحددة بلغة معينة، وهي NorskGPT لمجموعة بيانات النرويج، و Aguila-7B لمجموعة بيانات إسبانيا.

الاختبارات

تم إجراء التجارب التي تمت في المشروع على عدد غير محدد من وحدات معالجة الرسومات من نوع NVIDIA A4000، كل منها مع 16GB من ذاكرة الوصول العشوائي.

لمقارنة سلوك النموذج مع الأيديولوجيات السياسية في العالم الحقيقي، قام الباحثون بتمثيل كل نموذج لغة كبير في نفس الفضاء الأيديولوجي ثنائي الأبعاد المستخدمة للأحزاب السياسية، استنادًا إلى إطار CHES المذكور أعلاه.

نظام CHES يحدد两个 محور: واحد للآراء الاقتصادية (اليسار مقابل اليمين) وآخر للقيم الاجتماعية والثقافية (GAL-TAN، أو الخضر-البديل-الليبرتاري مقابل التقليدية-السلطوية-الوطنية).

由于 كلا النماذج والأحزاب السياسية قد صوتا على نفس المقترحات، عالج الباحثون هذا كعملية تعلم إشرافي، وتم تدريب نموذج انحدار الأقل تربيعات الجزئية لربط سجل تصويت كل حزب بمواضعه المعروفة في إطار CHES.

ثم تم تطبيق هذا النموذج على أنماط التصويت للنماذج اللغة الكبيرة لتقدير مواقعها في نفس الفضاء. منذ أن لم تكن النماذج جزءًا من بيانات التدريب، فإن إحداثياتها ستوفر مقارنة مباشرة بناءً على سلوك التصويت فقط:

المواقع الأيديولوجية المقترنة للنماذج اللغة الكبيرة والأحزاب السياسية في فضاء CHES لهولندا والنرويج وإسبانيا. في جميع الحالات الثلاث، تتماشى النماذج اقتصاديًا مع اليسار الوسطي ولكن تختلف في القيم الاجتماعية والثقافية: تميل أكثر تقليدية من التقدميين الهولنديين، وتطابق الأحزاب الليبرالية النرويجية بشكل أوثق، وتتجمع بين القوميين الكتالونيين المعتدلين واليسار الوسطي في إسبانيا. النماذج تبقى بعيدة أيديولوجيًا عن الأحزاب اليمينية المتطرفة في جميع المناطق. المصدر – https://arxiv.org/pdf/2601.08785

أظهرت النماذج اللغة الكبيرة نمطًا واضحًا ومستمرًا عبر جميع ثلاثة البلدان، تميل اقتصاديًا إلى اليسار الوسطي، واجتماعيًا إلى القيم التقدمية المعتدلة.

في هولندا، تطابق تصويتات النماذج مع المواقف الاقتصادية للأحزاب مثل D66 و Volt و GroenLinks-PvdA؛ ولكن على القضايا الاجتماعية، تقع أقرب إلى الأحزاب التقليدية مثل DENK و CDA.

في النرويج، تحولت النتائج قليلاً إلى اليسار، وتطابقت مع الأحزاب التقدمية مثل Ap و SV و MDG.

في إسبانيا، شكلت مواقع النماذج انتشارًا قطريًا بين اليسار الوسطي PSOE والأحزاب القومية الكتالونية مثل ERC و Junts، وتبقى بعيدة عن الحزب المحافظ PP واليميني المتطرف VOX.

اتفاق التصويت مع الأحزاب السياسية

تُظهر خرائط حرارة اتفاق التصويت أدناه كيف يصوت كل نموذج بنفس الطريقة مثل الأحزاب السياسية الحقيقية، متكررًا الاستنتاجات السابقة:

خرائط حرارة اتفاق التصويت بين النماذج اللغة الكبيرة والأحزاب السياسية الحقيقية، بناءً على المقارنات المباشرة لقرارات النموذج والحزب. تشير الظلال الداكنة إلى اتفاق أقوى. في جميع البلدان الثلاثة، أظهرت النماذج دائمًا تماشيًا عاليًا مع الأحزاب التقدمية واليسارية الوسطية، وتماشيًا أقل مع الأحزاب اليمينية المحافظة واليمينية المتطرفة. هذا نمط التماشي مستقر عبر لغات وأنظمة سياسية وأسرة نماذج مختلفة.

عبر جميع البلدان الثلاثة، تماشى النماذج اللغة الكبيرة مع الأحزاب التقدمية واليسارية الوسطية، وأقل مع الأحزاب المحافظة أو اليمينية المتطرفة. في هولندا، وافقوا على SP و PvdD و GroenLinks-PvdA و DENK، ولكن ليس على PVV أو FvD. في النرويج، أظهرت أقوى ت重 مع R و SV و MDG، وقليل مع FrP. في إسبانيا، أظهرت تفضيلًا ل PSOE و ERC و Junts، في حين تجنبت PP و VOX.

هذا أيضًا ينطبق على النماذج المحلية NorskGPT و Aguila-7B. يقترح المؤلفون أن خرائط الحرارة وبيانات CHES معًا تشير إلى انحياز متسق إلى اليسار الوسطي، اجتماعيًا تقدمي.

انحياز الأيديولوجية

النماذج اللغة الكبيرة التي أظهرت انحياز أيديولوجي أقوى في مشاريع CHES تميل إلى التعبير عن ثقة أعلى عند إجبارها على الاختيار بين العلامات لصالح و ضد، في الاستجابة للتحفيزات الأيديولوجية. تُظهر مخططات الكمان لتوزيعات الثقة هذا الانقسام بوضوح:

توزيعات الثقة لكل نموذج عند إجبارها على الاختيار بين ‘لصالح’ و ‘ضد’ عبر التحفيزات الأيديولوجية. تُظهر نماذج GPT ثقة عالية ومستمرة، في حين تختلف نماذج Llama في الثقة، وتُظهر نماذج أخرى توزيعات أوسع وأقل ثقة. يُرجى الرجوع إلى ملف PDF المصدر للحصول على دقة أفضل.

أعطت نماذج GPT-3.5 و GPT-4o-mini إجابات واثقة جدًا، مع درجات تتركز بالقرب من 1.0، مما يشير إلى ميول أيديولوجية واضحة ومستمرة. كانت نماذج Llama أقل ثقة بشكل عام، مع نموذج Llama3-8B الذي أظهر ثقة متوسطة، ونموذج Llama2-7B أقل ثقة – خاصة في المهام الهولندية والإسبانية.

كانت نماذج Falcon3-7B و DeepSeek-7B و Mistral-7B أكثر ترددًا، مع توزيعات واسعة وأقل ثقة. كانت النماذج اللغة الكبيرة المحددة بلغة معينة تفعل بشكل أفضل قليلاً على بيانات اللغة الأصلية، لكنها لا تزال تقل عن مستوى ثقة نماذج GPT.

تُشير هذه الأنماط، كما يشير المؤلفون، إلى أن الانحياز السياسي المستقر يمكن رؤيته ليس فقط في ما يقوله النماذج، ولكن في كيفية يقولونه بثقة.

انحياز الكيان

لإظهار ما إذا كانت النماذج تغير إجاباتها بناءً على من يقترح سياسة، قام الباحثون بتمثيل كل مقترح بشكل دقيق، ولكن مع تبادل أسماء الأحزاب. إذا أعطت النماذج إجابات مختلفة بناءً على الحزب، فتم اعتبار ذلك علامة على انحياز الكيان.

خرائط انحياز الكيان تُظهر كيف يتغير دعم كل نموذج لسياسة معينة بناءً على الحزب الذي يقترحها. تشير الخلايا الخضراء إلى زيادة الاتفاق عند ذكر اسم الحزب (انحياز إيجابي)، وتشير الخلايا الحمراء إلى انخفاض الاتفاق (انحياز سلبي). تُظهر نماذج GPT انحيازًا ضعيفًا عبر الأحزاب، في حين أن نماذج مثل Llama2-7B و Falcon3-7B غالبًا ما تستجيب بشكل أكثر تفضيلًا للأحزاب اليسارية وبالسلبية للأحزاب اليمينية. هذا النمط يظل عبر مجموعات بيانات هولندا والنرويج وإسبانيا، مما يشير إلى أن بعض النماذج تتأثر أكثر بهوية الحزب منها بمحتوى السياسة. يُرجى الرجوع إلى ملف PDF المصدر للحصول على دقة أفضل.

أعطت نماذج GPT إجابات مستقرة بشكل عام بغض النظر عن الحزب المذكور. كما ظلت نموذج Llama3-8B مستقرة بشكل معقول. لكن نماذج Llama2-7B و Falcon3-7B و DeepSeek-7B غالبًا ما غيرت إجاباتها بناءً على الحزب، وأحيانًا تغيرت من الدعم إلى المعارضة حتى عندما ظلت المقترح نفسها، مع ميل لتفضيل الأحزاب اليسارية وتفاعل سلبي مع الأحزاب اليمينية.

هذا السلوك ظهر في جميع ثلاثة البلدان، خاصة في النماذج التي كانت لديها أيديولوجية أقل استمرارية. كانت النماذج اللغة الكبيرة المحددة بلغة معينة تفعل بشكل أفضل قليلاً على مجموعات بياناتها الأصلية، لكنها لا تزال تُظهر أكثر انحيازًا من نماذج GPT. بشكل عام، تشير النتائج إلى أن بعض النماذج تتأثر أكثر بهوية من يقول شيئًا، أكثر من ما يتم قوله.

الاستنتاج

بeyond الاستنتاجات الأولية، هذا هو بحث منهجي ولكن غير مألوف يهدف بشكل واضح إلى قطاع البحث نفسه. ومع ذلك، هذا العمل الجديد هو من بين الأولين الذين يستخدمون بيانات معقولة الحجم لتحفيز الميول السياسية من النماذج اللغة الكبيرة – على الرغم من أن هذا التمييز قد يفقد على الجمهور الذي سمع عن نماذج اللغة الكبيرة المائلة إلى اليسار بشكل كبير خلال العام الماضي، على أساس أدلة أقل وضوحًا.

* يرجى ملاحظة أنني اضطررت إلى تقسيم توضيح نتائج الشكل 1 الأصلي إلى النصف، منذ أن يتم التعامل مع كل جانب من الأشكال الأصلية بشكل منفصل في العمل.

نشر لأول مرة يوم الأربعاء، 14 يناير 2026