แชทบอท AI เอียงซ้ายเมื่อลงคะแนนเสียงในกฎหมายจริง

ในงานศึกษาขนาดใหญ่จากโลกจริงที่เป็นหนึ่งในงานแรกในลักษณะนี้ซึ่งใช้ข้อมูลจากโลกแห่งความเป็นจริงในระดับใหญ่ ChatGPT และ Large Language Models อื่น ๆ ถูกทดสอบด้วยการลงคะแนนเสียงในญัตติกฎหมายที่มีอยู่จริงหลายพันข้อ และสอดคล้องกับพรรคการเมืองทางซ้ายและกลางซ้ายซ้ำ ๆ ในขณะที่แสดงให้เห็นถึงความสอดคล้องที่อ่อนแอกว่ากับพรรคการเมืองอนุรักษ์นิยมในสามประเทศ

ในความร่วมมือทางวิชาการใหม่ระหว่างเนเธอร์แลนด์และนอร์เวย์ โมเดลภาษาขนาดใหญ่แบบ ChatGPT (LLM) – รวมถึง ChatGPT เอง – ถูกขอให้ลงคะแนนเสียงในญัตติกฎหมายที่มีอยู่จริงหลายพันข้อที่ได้รับการตัดสินแล้วโดยนักการเมืองมนุษย์ในสามประเทศ

เมื่อเปรียบเทียบกับการลงคะแนนเสียงที่บันทึกไว้ของพรรคการเมืองจริง และฉายลงในพื้นที่อุดมการณ์ทางการเมืองมาตรฐาน ผลที่ได้คือโมเดล AI อยู่ ไว้ใกล้กับพรรคการเมืองที่มีแนวคิดก้าวหน้าและกลางซ้าย และห่างจากพรรคการเมืองอนุรักษ์นิยม

ในเอกสารระบุว่า:

‘ผลการวิจัยของเราพบแนวโน้มกลางซ้ายและก้าวหน้าอย่างสม่ำเสมอในโมเดล พร้อมกับอคติเชิงลบต่อพรรคการเมืองขวา-อนุรักษ์นิยม และแสดงให้เห็นว่ารูปแบบเหล่านี้ยังคงเสถียรภายใต้พรอมป์ต์แบบพาราเฟรส’

การศึกษาส่วนใหญ่ในอดีต เช่น การประเมินอคติทางการเมืองในโมเดลภาษาขนาดใหญ่ และที่ได้รับการทบทวนใน การระบุอคติทางการเมืองใน AI ใช้แบบทดสอบที่มีขนาดเล็กและคัดสรรมาอย่างดี เช่น การทดสอบด้านการเมือง หรือแบบสอบถามนโยบาย เพื่อตรวจสอบอุดมการณ์ของ AI การทดสอบประเภทนี้มักประกอบด้วยข้อความไม่ถึง 100 ข้อ ที่ได้รับการคัดเลือกโดยนักวิจัย และอาจเสี่ยงต่อ ผลกระทบของการเขียนใหม่ ที่สามารถย้อนคำตอบของโมเดลได้

ในทางกลับกัน การศึกษาใหม่นี้ใช้ญัตติในรัฐสภาที่มีอยู่จริงหลายพันครั้งจากสามประเทศ – เนเธอร์แลนด์ นอร์เวย์ และสเปน – โดยใช้การลงคะแนนเสียงที่บันทึกไว้จากพรรคการเมืองที่ทราบ

แทนที่จะตีความพรอมป์ต์แบบสั้น ๆ แต่ละโมเดลภาษาขนาดใหญ่ที่ถูกทดสอบจะถูกขอให้ลงคะแนนเสียงในข้อเสนอทางกฎหมายที่แท้จริง การลงคะแนนเสียงของพวกเขาถูกจับคู่กับการลงคะแนนเสียงของพรรคการเมืองจริงในเชิงปริมาณ และถูกฉายภาพลงในพื้นที่อุดมการณ์มาตรฐาน (CHES) ซึ่งเป็นวิธีการที่นักรัฐศาสตร์ใช้กันบ่อยในการเปรียบเทียบตำแหน่งของพรรคการเมือง

สิ่งนี้ทำให้การวิเคราะห์อยู่บนพื้นฐานของกิจกรรมทางกฎหมายขนาดใหญ่ในโลกแห่งความเป็นจริง แทนที่จะเป็นพรอมป์ต์แบบสั้น ๆ และทำให้สามารถเปรียบเทียบข้ามชาติได้ละเอียดมากขึ้น นอกจากนี้ยังเน้นถึงผลกระทบที่เป็นอันตรายของ อคติที่เกิดจากชื่อพรรคการเมือง (วิธีที่โมเดลตอบสนองต่อการเปลี่ยนแปลงเมื่อชื่อพรรคการเมืองถูกกล่าวถึง แม้ว่าญัตติจะไม่เปลี่ยนแปลง) โดยเปิดเผยชั้นใหม่ของการตรวจจับอคติที่ไม่มีอยู่ในงานก่อนหน้านี้

ส่วนใหญ่ของการศึกษาอคติของโมเดลภาษาขนาดใหญ่เน้นไปที่ความยุติธรรมทางสังคมและเพศสภาพ ในหัวข้อที่คล้ายกันซึ่งได้กลายเป็น ลดความสำคัญ ในช่วงปีที่แล้ว การศึกษาอคติทางการเมืองในโมเดลภาษาขนาดใหญ่จึงมีน้อยและไม่ได้รับการออกแบบอย่างรอบคอบ

การทำงานใหม่ นี้ มีชื่อเรื่องว่า การเปิดเผยอคติทางการเมืองในโมเดลภาษาขนาดใหญ่โดยใช้บันทึกการลงคะแนนเสียงของรัฐสภา และมาจากนักวิจัยเจ็ดคนจาก Vrije Universiteit ในอัมสเตอร์ดัม และมหาวิทยาลัยออสโล

วิธีการและข้อมูล

ข้อเสนอหลักของโครงการใหม่นี้คือการสังเกตแนวโน้มทางการเมืองของโมเดลภาษาต่างๆ โดยการขอให้พวกมาลงคะแนนเสียงในกฎหมายที่มีอยู่จริง (เช่น กฎหมายที่ได้รับการผ่านหรือปฏิเสธแล้วในโลกแห่งความเป็นจริง ในสามประเทศที่ศึกษา) และใช้กรอบ CHES เพื่อระบุสีทางการเมืองของการตอบสนองของโมเดล

เพื่อจุดประสงค์นี้ นักวิจัยได้สร้างชุดข้อมูลสามชุด: PoliBiasNL เพื่อครอบคลุมพรรคการเมือง 15 พรรคในสภาผู้แทนราษฎรของเนเธอร์แลนด์ (มีญัตติ 2,701 ข้อ); PoliBiasNO เพื่อครอบคลุมพรรคการเมือง 9 พรรคในรัฐสภานอร์เวย์ (มีญัตติ 10,584 ข้อ); และ PoliBiasES เพื่อครอบคลุมพรรคการเมือง 10 พรรคในรัฐสภาสเปน (มีญัตติ 2,480 ข้อ – และเป็นชุดข้อมูลเดียวที่รวมการงดออกเสียง ซึ่งได้รับอนุญาตในสเปน)

ญัตติแต่ละครั้งถูกถอดให้เหลือเพียงข้อความที่ใช้การดำเนินการเพื่อลดผลกระทบของการสร้างเฟรม และตำแหน่งของพรรคการเมืองถูกเข้ารหัสเป็น 1 เพื่อแสดงถึงการสนับสนุน หรือ –1 เพื่อแสดงถึงการคัดค้าน (และในกรณีของชุดข้อมูลสเปน 0 เพื่อสะท้อนถึงการงดออกเสียง) การลงคะแนนเสียงที่สอดคล้องกันจากพรรคการเมืองที่รวมกันถูกปฏิบัติเหมือนเป็นกลุ่มเดียว ในขณะที่สำหรับพรรคการเมืองใหม่ ๆ เช่น New Social Contract (NSC) การลงคะแนนเสียงในอดีตของหัวหน้าพรรคถูกใช้เพื่ออนุมานตำแหน่งก่อนหน้านี้

มีการออกแบบการทดลองหลายแบบสำหรับโมเดลภาษาขนาดใหญ่หลายรุ่น ซึ่งถูกทดสอบทั้งบน GPU ท้องถิ่นและผ่าน API ตามความจำเป็น โมเดลที่ถูกทดสอบคือ Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; และ Llama3-8B โมเดลภาษาขนาดใหญ่ที่เฉพาะเจาะจงภาษาได้รับการทดสอบเช่นกัน โดยมี NorskGPT สำหรับชุดข้อมูลนอร์เวย์ และ Aguila-7B สำหรับชุดข้อมูลสเปน

การทดสอบ

การทดลองที่ดำเนินการสำหรับโครงการนี้ถูกดำเนินการบน NVIDIA A4000 GPU ที่ไม่ระบุจำนวน โดยแต่ละตัวมี VRAM 16GB

เพื่อเปรียบเทียบพฤติกรรมของโมเดลกับอุดมการณ์ทางการเมืองในโลกแห่งความเป็นจริง นักวิจัยได้ฉายภาพโมเดลแต่ละโมเดลลงในพื้นที่อุดมการณ์เดียวกับที่ใช้สำหรับพรรคการเมือง โดยอาศัยกรอบ CHES ที่กล่าวถึงข้างต้น

ระบบ CHES นิยามสองแกน: หนึ่งสำหรับมุมมองทางเศรษฐกิจ (ซ้าย vs ขวา) และอีกแกนหนึ่งสำหรับค่านิยมทางสังคม-วัฒนธรรม (GAL-TAN หรือ Green-Alternative-Libertarian vs Traditional-Authoritarian-Nationalist)

เนื่องจากทั้งโมเดลและพรรคการเมืองได้ลงคะแนนเสียงในข้อเสนอเดียวกัน นักวิจัยจึงถือว่านี่เป็นงาน การเรียนรู้แบบมีผู้สอน โดยฝึกโมเดล Partial Least Squares regression เพื่อทำแผนที่บันทึกการลงคะแนนเสียงของพรรคการเมืองให้กับพิกัด CHES ที่ทราบ

โมเดลนี้ถูกนำไปใช้กับรูปแบบการลงคะแนนเสียงของโมเดลภาษาขนาดใหญ่เพื่อประมาณตำแหน่งในพื้นที่เดียวกัน เนื่องจากโมเดลภาษาขนาดใหญ่ไม่เคยเป็นส่วนหนึ่งของชุดข้อมูลการฝึก พิกัดของพวกมันจึงให้การเปรียบเทียบที่ตรงไปตรงมาโดยอาศัยพฤติกรรมในการลงคะแนนเสียงเพียงอย่างเดียว*:

การฉายภาพตำแหน่งอุดมการณ์ของโมเดลภาษาขนาดใหญ่และพรรคการเมืองในพื้นที่ CHES สำหรับเนเธอร์แลนด์ นอร์เวย์ และสเปน ในทั้งสามกรณี โมเดลสอดคล้องกับกลางซ้ายในทางเศรษฐกิจ แต่เบี่ยงเบนไปในค่านิยมทางสังคม-วัฒนธรรม: มีแนวคิดแบบดั้งเดิมมากกว่าพรรคก้าวหน้าในเนเธอร์แลนด์ สอดคล้องกับพรรคเสรีนิยมในนอร์เวย์มากกว่า และกระจุกตัวระหว่างพรรคชาตินิยมคาตาลันสายปานกลางกับพรรคกลางซ้ายในสเปน โมเดลยังคงห่างไกลทางอุดมการณ์จากพรรคขวาจัดในทุกภูมิภาค แหล่งที่มา

โมเดลภาษาขนาดใหญ่แสดงรูปแบบที่ชัดเจนและสม่ำเสมอในสามประเทศทั้งหมด โดยเอียงไปทางกลางซ้ายในทางเศรษฐกิจ และเอียงไปทางค่านิยมก้าวหน้าแบบปานกลางในทางสังคม

ในเนเธอร์แลนด์ การลงคะแนนเสียงของโมเดลภาษาขนาดใหญ่สอดคล้องกับตำแหน่งทางเศรษฐกิจของพรรคการเมืองเช่น D66, Volt และ GroenLinks-PvdA แต่ในประเด็นทางสังคม พวกมันอยู่ใกล้กับพรรคการเมืองที่มีแนวคิดแบบดั้งเดิมมากกว่า เช่น DENK และ CDA

ในนอร์เวย์ ผลลัพธ์เลื่อนไปทางซ้ายเล็กน้อย โดยสอดคล้องกับพรรคการเมืองก้าวหน้า เช่น Ap, SV และ MDG

ในสเปน ตำแหน่งของโมเดลภาษาขนาดใหญ่สร้างการกระจายที่เป็นเส้นทแยงมุมระหว่างพรรคกลางซ้าย PSOE และพรรคชาตินิยมคาตาลัน เช่น ERC และ Junts โดยยังคงห่างไกลจากพรรคอนุรักษ์นิยม PP และพรรคขวาจัด VOX

การลงคะแนนเสียงที่สอดคล้องกับพรรคการเมือง

แผนภาพความร้อนสำหรับการลงคะแนนเสียงที่สอดคล้องกันซึ่งแสดงด้านล่างระบุว่าโมเดลภาษาขนาดใหญ่ลงคะแนนเสียงในทางเดียวกับพรรคการเมืองจริงบ่อยเพียงใด โดยย้ำผลลัพธ์ก่อนหน้านี้:

แผนภาพความร้อนสำหรับการลงคะแนนเสียงที่สอดคล้องกันระหว่างโมเดลภาษาขนาดใหญ่และพรรคการเมืองจริง ตามการเปรียบเทียบโดยตรงระหว่างการตัดสินใจของโมเดลและพรรคการเมือง สีเข้มกว่าแสดงถึงความสอดคล้องที่แข็งแกร่งกว่า ในทั้งสามประเทศ โมเดลภาษาขนาดใหญ่แสดงความสอดคล้องสูงอย่างสม่ำเสมอกับพรรคการเมืองก้าวหน้าและกลางซ้าย และมีความสอดคล้องต่ำกว่ามากกับพรรคการเมืองขวาอนุรักษ์นิยมและพรรคขวาจัด รูปแบบนี้เสถียรข้ามภาษา ระบบการเมือง และตระกูลโมเดล

ในสามประเทศทั้งหมด โมเดลภาษาขนาดใหญ่สอดคล้องกับพรรคการเมืองก้าวหน้าและกลางซ้ายมากที่สุด และสอดคล้องกับพรรคการเมืองขวาอนุรักษ์นิยมและพรรคขวาจัดน้อยที่สุด ในเนเธอร์แลนด์ พวกมันสอดคล้องกับ SP, PvdD, GroenLinks-PvdA และ DENK แต่ไม่สอดคล้องกับ PVV หรือ FvD ในนอร์เวย์ พวกมันสอดคล้องกับ R, SV และ MDG มากที่สุด และมีความสอดคล้องกับ FrP เพียงเล็กน้อย ในสเปน พวกมันสอดคล้องกับ PSOE, ERC และ Junts มากที่สุด ในขณะที่หลีกเลี่ยง PP และ VOX

สิ่งนี้ยังคงอยู่สำหรับโมเดลที่มีภาษาท้องถิ่น NorskGPT และ Aguila-7B เช่นกัน ผู้เขียนเสนอว่าแผนภาพความร้อนและข้อมูล CHES ร่วมกันบ่งชี้ถึงการเอียงกลางซ้ายและก้าวหน้าทางสังคม

อคติทางอุดมการณ์

โมเดลภาษาขนาดใหญ่ที่มีความสอดคล้องทางอุดมการณ์มากกว่าในการฉายลงในพื้นที่ CHES มักแสดงความมั่นใจสูงกว่าเมื่อถูกบังคับให้เลือกระหว่างโทเค็น for และ against ในการตอบสนองต่อพรอมป์ต์ทางอุดมการณ์ กราฟไวโอลินของการกระจายความมั่นใจเหล่านี้แสดงให้เห็นถึงการแบ่งแยกที่ชัดเจน:

การกระจายความมั่นใจสำหรับโมเดลภาษาขนาดใหญ่แต่ละตัวเมื่อถูกบังคับให้เลือกระหว่าง ‘for’ และ ‘against’ ในพรอมป์ต์ทางอุดมการณ์ โมเดล GPT แสดงความมั่นใจสูงและสม่ำเสมอ ในขณะที่โมเดล Llama แสดงความมั่นใจที่แตกต่างกัน และโมเดลที่เปิดเผยค่าน้ำหนักอื่น ๆ แสดงการกระจายความมั่นใจที่กว้างกว่าและต่ำกว่า โปรดดูไฟล์ PDF ต้นฉบับเพื่อภาพที่มีความละเอียดสูงกว่า

GPT-3.5 และ GPT-4o mini ให้คำตอบที่มั่นใจสูง โดยมีคะแนนรวมอยู่ใกล้ 1.0 ซึ่งบ่งชี้ถึงอุดมการณ์ที่ชัดเจนและสม่ำเสมอ โดยรวมโมเดล Llama มีความมั่นใจน้อยกว่า โดย Llama3-8B แสดงความมั่นใจปานกลาง ในขณะที่ Llama2-7B มีความมั่นใจน้อยกว่ามาก โดยเฉพาะอย่างยิ่งในงานดัตช์และสเปน

Falcon3-7B, DeepSeek-7B และ Mistral-7B มีความไม่แน่นอนมากกว่า โดยมีการกระจายที่กว้างและความมั่นใจที่ต่ำกว่า โมเดลภาษาที่เฉพาะเจาะจงภาษาแสดงผลดีกว่าเล็กน้อยในข้อมูลภาษาท้องถิ่น แต่ยังคงไม่ถึงระดับความมั่นใจของ GPT

รูปแบบเหล่านี้ ผู้เขียนเน้นย้ำว่า แสดงให้เห็นว่าแนวโน้มทางการเมืองที่เสถียรสามารถสังเกตได้ไม่เพียงแต่ในคำตอบที่โมเดลให้ แต่ยังรวมถึงความมั่นใจที่พวกมันให้คำตอบด้วย

อคติที่เกิดจากชื่อพรรคการเมือง

เพื่อดูว่าโมเดลเปลี่ยนคำตอบของตนตาม ผู้เสนอ นโยบายหรือไม่ นักวิจัยได้ปล่อยให้ญัตติแต่ละครั้งเหมือนเดิม แต่เปลี่ยนชื่อพรรคการเมืองที่เกี่ยวข้อง หากโมเดลให้คำตอบที่แตกต่างกันขึ้นอยู่กับพรรคการเมืองที่กล่าวถึง นี่ถือเป็นหลักฐานของ อคติที่เกิดจากชื่อพรรคการเมือง

แผนภาพความร้อนสำหรับอคติที่เกิดจากชื่อพรรคการเมืองแสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่แต่ละตัวเปลี่ยนการสนับสนุนสำหรับนโยบายตามชื่อพรรคการเมืองที่กล่าวถึง เซลล์สีเขียวแสดงถึงอคติเชิงบวก (ความสอดคล้องที่เพิ่มขึ้นเมื่อพรรคการเมืองถูกกล่าวถึง) ในขณะที่เซลล์สีแดงแสดงถึงอคติเชิงลบ (ความสอดคล้องที่ลดลง) โมเดล GPT แสดงอคติน้อยที่สุด ในขณะที่โมเดล Llama2-7B และ Falcon3-7B มักตอบสนองในทางบวกมากกว่าต่อพรรคการเมืองฝ่ายซ้าย และตอบสนองเชิงลบต่อพรรคฝ่ายขวา รูปแบบนี้ปรากฏในชุดข้อมูลดัตช์ นอร์เวย์ และสเปน บ่งชี้ว่าบางโมเดลได้รับอิทธิพลจากอัตลักษณ์ของพรรคมากกว่าเนื้อหานโยบาย โปรดดูไฟล์ PDF ต้นฉบับเพื่อภาพที่มีความละเอียดสูงกว่า

โมเดล GPT ให้คำตอบที่มั่นคงโดยไม่คำนึงถึงพรรคการเมืองที่กล่าวถึง Llama3-8B ก็ยังคงเสถียรเช่นกัน แต่ Llama2-7B, Falcon3-7B และ DeepSeek-7B มักเปลี่ยนคำตอบตามพรรคการเมืองที่กล่าวถึง บางครั้งเปลี่ยนจากสนับสนุนเป็นคัดค้านทั้งที่ญัตติยังเหมือนเดิม โดยเอียงไปทางพรรคการเมืองทางซ้ายและตอบสนองเชิงลบต่อพรรคการเมืองขวา-อนุรักษ์นิยม

พฤติกรรมนี้ปรากฏขึ้นในสามประเทศทั้งหมด โดยเฉพาะในโมเดลที่มีความสอดคล้องทางอุดมการณ์ที่ไม่สม่ำเสมอ โมเดลภาษาที่เฉพาะเจาะจงภาษา NorskGPT และ Aguila-7B ทำได้ดีกว่าเล็กน้อยในข้อมูลภาษาท้องถิ่น แต่ยังคงแสดงอคติที่เกิดจากชื่อพรรคการเมืองมากกว่า GPT ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าโมเดลบางรุ่นได้รับอิทธิพลจากผู้พูดมากกว่าเนื้อหาที่พูด

สรุป

นอกเหนือจากข้อสรุปเบื้องต้นแล้ว สิ่งนี้เป็นงานวิจัยที่มีรายละเอียด แต่เข้าถึงได้ยาก ซึ่งมุ่งเป้าไปที่ภาควิชาการโดยตรง อย่างไรก็ตาม งานวิจัยใหม่นี้เป็นหนึ่งในงานแรกที่ใช้ข้อมูลขนาดใหญ่เพื่อกระตุ้นความโน้มน้าวทางการเมืองจากโมเดลภาษาขนาดใหญ่ – แม้ว่าความแตกต่างนี้อาจสูญหายไปสำหรับประชาชนที่ได้ยินเกี่ยวกับโมเดลภาษาขนาดใหญ่ที่เอียงซ้ายมามากแล้วในช่วงปีที่ผ่านมา แต่ด้วยหลักฐานที่บางกว่า

* โปรดทราบว่าฉันต้องแบ่งแผนภาพผลลัพธ์ Figure 1 ของเอกสารเดิมออกเป็นสองส่วน เนื่องจากแต่ละด้านของแผนภาพดั้งเดิมได้รับการพิจารณาแยกกันในงานวิจัย

เผยแพร่ครั้งแรกวันพุธที่ 14 มกราคม 2026