โชคบตไอแชทบอทเอียงซ้ายเมื่อลงคะแนนเสียงในกฎหมายจริง

ในงานศึกษาที่ไม่เหมือนใครซึ่งใช้ข้อมูลจากโลกแห่งความเป็นจริงในระดับใหญ่ ChatGPT และ Large Language Models อื่น ๆ ถูกทดสอบด้วยการลงคะแนนเสียงในกฎหมายที่มีอยู่จริงหลายพันครั้ง และสอดคล้องกับพรรคการเมืองทางซ้ายและศูนย์กลาง-ซ้ายซ้ำ ๆ ในขณะที่แสดงให้เห็นถึงความสอดคล้องที่อ่อนแอกว่ากับพรรคการเมืองอนุรักษ์นิยมในสามประเทศ

ในความร่วมมือทางวิชาการใหม่ระหว่างเนเธอร์แลนด์และนอร์เวย์ โมเดลภาษาขนาดใหญ่แบบ ChatGPT – รวมถึง ChatGPT เอง – ถูกขอให้ลงคะแนนเสียงในกฎหมายที่มีอยู่จริงหลายพันครั้งที่ได้รับการตัดสินแล้วโดยนักการเมืองมนุษย์ในสามประเทศ

เมื่อเปรียบเทียบกับการลงคะแนนเสียงที่บันทึกไว้ของพรรคการเมืองจริง และทำแผนที่ลงในมาตรฐานการเมือง การที่เกิดขึ้นคือการวางโมเดล AI ไว้ใกล้กับพรรคการเมืองที่มีแนวคิดก้าวหน้าและศูนย์กลาง-ซ้าย และห่างจากพรรคการเมืองอนุรักษ์นิยม

ในเอกสารระบุว่า:

‘ผลการวิจัยของเราพบแนวโน้มศูนย์กลาง-ซ้ายและก้าวหน้าอย่างสม่ำเสมอในโมเดล พร้อมกับอคติเชิงลบต่อพรรคการเมืองขวา-อนุรักษ์นิยม และแสดงให้เห็นว่ารูปแบบเหล่านี้ยังคงเสถียรภายใต้คำสั่งซื้อแบบพาราเฟรส’

การศึกษาส่วนใหญ่ในอดีต เช่น การประเมินอคติทางการเมืองในโมเดลภาษาขนาดใหญ่ และที่ได้รับการทบทวนใน การระบุอคติทางการเมืองใน AI ใช้แบบทดสอบที่มีขนาดเล็กและคัดสรรมาอย่างดี เช่น การทดสอบด้านการเมือง หรือแบบสอบถามนโยบาย เพื่อตรวจสอบอุดมการณ์ของ AI การทดสอบประเภทนี้มักจะเกี่ยวข้องกับคำสั่งไม่เกิน 100 คำสั่ง ที่ได้รับการคัดเลือกโดยนักวิจัย และอาจเสี่ยงต่อ ผลกระทบของการเขียนใหม่ ที่สามารถย้อนคำตอบของโมเดลได้

ในทางกลับกัน การศึกษาใหม่นี้ใช้การเคลื่อนไหวทางรัฐสภาที่มีอยู่จริงหลายพันครั้งจากสามประเทศ – เนเธอร์แลนด์ นอร์เวย์ และสเปน – โดยใช้การลงคะแนนเสียงที่บันทึกไว้จากพรรคการเมืองที่ทราบ

แทนที่จะตีความคำสั่งซื้อแบบสั้น ๆ แต่ละโมเดลภาษาขนาดใหญ่ที่ถูกทดสอบจะถูกขอให้ลงคะแนนเสียงในข้อเสนอทางกฎหมายที่แท้จริง การลงคะแนนเสียงของพวกเขาถูกจับคู่กับการลงคะแนนเสียงของพรรคการเมืองจริงในเชิงปริมาณ และถูกฉายภาพลงในพื้นที่อุดมการณ์มาตรฐาน (CHES) ซึ่งเป็นวิธีการที่นักวิทยาศาสตร์ทางการเมืองใช้ในการเปรียบเทียบตำแหน่งของพรรคการเมือง

สิ่งนี้ทำให้การวิเคราะห์อยู่บนพื้นฐานของกิจกรรมทางกฎหมายขนาดใหญ่ในโลกแห่งความเป็นจริง แทนที่จะเป็นคำสั่งซื้อแบบสั้น ๆ และทำให้สามารถเปรียบเทียบข้ามชาติได้ละเอียดมากขึ้น นอกจากนี้ยังเน้นถึงผลกระทบที่เป็นอันตรายของ อคติของหน่วยงาน (วิธีที่โมเดลตอบสนองต่อการเปลี่ยนแปลงเมื่อชื่อพรรคการเมืองถูกกล่าวถึง แม้ว่าการเคลื่อนไหวจะไม่เปลี่ยนแปลง) โดยเปิดเผยชั้นใหม่ของการตรวจจับอคติที่ไม่มีอยู่ในงานก่อนหน้านี้

ส่วนใหญ่ของการศึกษาอคติของโมเดลภาษาขนาดใหญ่เน้นไปที่ความยุติธรรมทางสังคมและเพศสภาพ ในหัวข้อที่คล้ายกันซึ่งได้กลายเป็น ลดความสำคัญ ในช่วงปีที่แล้ว การศึกษาอคติทางการเมืองในโมเดลภาษาขนาดใหญ่จึงมีน้อยและไม่ได้รับการออกแบบอย่างรอบคอบ

การทำงานใหม่ นี้ มีชื่อเรื่องว่า การเปิดเผยอคติทางการเมืองในโมเดลภาษาขนาดใหญ่โดยใช้บันทึกการลงคะแนนเสียงของรัฐสภา และมาจากนักวิจัยเจ็ดคนจาก Vrije Universiteit ในอัมสเตอร์ดัม และมหาวิทยาลัยออสโล

วิธีการและข้อมูล

ข้อเสนอหลักของโครงการใหม่นี้คือการสังเกตแนวโน้มทางการเมืองของโมเดลภาษาต่างๆ โดยการขอให้พวกมาลงคะแนนเสียงในกฎหมายที่มีอยู่จริง (เช่น กฎหมายที่ได้รับการผ่านหรือปฏิเสธแล้วในโลกแห่งความเป็นจริง ในสามประเทศที่ศึกษา) และใช้กรอบ CHES เพื่อระบุสีทางการเมืองของการตอบสนองของโมเดล

เพื่อจุดประสงค์นี้ นักวิจัยได้สร้างชุดข้อมูลสามชุด: PoliBiasNL เพื่อครอบคลุมพรรคการเมือง 15 พรรคในสภาสามัญของเนเธอร์แลนด์ (มีการเคลื่อนไหว 2,701 ครั้ง); PoliBiasNO เพื่อครอบคลุมพรรคการเมือง 9 พรรคในรัฐสภานอร์เวย์ (มีการเคลื่อนไหว 10,584 ครั้ง); และ PoliBiasES เพื่อครอบคลุมพรรคการเมือง 10 พรรคในรัฐสภาสเปน (มีการเคลื่อนไหว 2,480 ครั้ง – และเป็นชุดข้อมูลเดียวที่รวมการงดออกเสียง ซึ่งได้รับอนุญาตในสเปน)

การเคลื่อนไหวแต่ละครั้งถูกถอดให้เหลือเพียงข้อความที่ใช้การดำเนินการเพื่อลดผลกระทบของการสร้างเฟรม และตำแหน่งของพรรคการเมืองถูกเข้ารหัสเป็น 1 เพื่อแสดงถึงการสนับสนุน หรือ –1 เพื่อแสดงถึงการคัดค้าน (และในกรณีของชุดข้อมูลสเปน 0 เพื่อสะท้อนถึงการงดออกเสียง) การลงคะแนนเสียงที่สอดคล้องกันจากพรรคการเมืองที่รวมกันถูกปฏิบัติเหมือนเป็นกลุ่มเดียว ในขณะที่สำหรับพรรคการเมืองใหม่ ๆ เช่น New Social Contract (NSC) การลงคะแนนเสียงในอดีตของหัวหน้าพรรคถูกใช้เพื่ออนุมานตำแหน่งก่อนหน้านี้

การลองผิดลองถูกที่หลากหลายถูกออกแบบมาเพื่อโมเดลภาษาขนาดใหญ่หลายรุ่น ซึ่งถูกทดสอบทั้งบน GPU ท้องถิ่นและผ่าน API ตามความจำเป็น โมเดลที่ถูกทดสอบคือ Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; และ Llama3-8B โมเดลภาษาขนาดใหญ่ที่เฉพาะเจาะจงภาษาได้รับการทดสอบเช่นกัน โดยมี NorskGPT สำหรับชุดข้อมูลนอร์เวย์ และ Aguila-7B สำหรับชุดข้อมูลสเปน

การทดสอบ

การทดลองที่ดำเนินการสำหรับโครงการนี้ถูกดำเนินการบน NVIDIA A4000 GPU ที่ไม่ระบุจำนวน โดยแต่ละตัวมี VRAM 16GB

เพื่อเปรียบเทียบพฤติกรรมของโมเดลกับอุดมการณ์ทางการเมืองในโลกแห่งความเป็นจริง นักวิจัยได้ฉายภาพโมเดลแต่ละโมเดลลงในพื้นที่อุดมการณ์เดียวกับที่ใช้สำหรับพรรคการเมือง โดยอาศัยกรอบ CHES ที่กล่าวถึงข้างต้น

ระบบ CHES นิยามสองแกน: หนึ่งสำหรับมุมมองทางเศรษฐกิจ (ซ้าย vs ขวา) และอีกแกนหนึ่งสำหรับค่านิยมทางสังคม-วัฒนธรรม (GAL-TAN หรือ Green-Alternative-Libertarian vs Traditional-Authoritarian-Nationalist)

เนื่องจากทั้งโมเดลและพรรคการเมืองได้ลงคะแนนเสียงในข้อเสนอเดียวกัน นักวิจัยจึงรับทราบว่านี่เป็นงาน การเรียนรู้แบบมีผู้ดูแล โดยฝึกโมเดล Partial Least Squares regression เพื่อทำแผนที่บันทึกการลงคะแนนเสียงของพรรคการเมืองให้กับพิกัด CHES ที่ทราบ

โมเดลนี้ถูกนำไปใช้กับรูปแบบการลงคะแนนเสียงของโมเดลภาษาขนาดใหญ่เพื่อประมาณตำแหน่งในพื้นที่เดียวกัน เนื่องจากโมเดลภาษาขนาดใหญ่ไม่เคยเป็นส่วนหนึ่งของชุดข้อมูลการฝึก พิกัดของพวกมันจึงให้การเปรียบเทียบที่ตรงไปตรงมาโดยอาศัยพฤติกรรมในการลงคะแนนเสียงเพียงอย่างเดียว:

การฉายภาพตำแหน่งอุดมการณ์ของโมเดลภาษาขนาดใหญ่และพรรคการเมืองในพื้นที่ CHES สำหรับเนเธอร์แลนด์ นอร์เวย์ และสเปน ในทั้งสามกรณี โมเดลสอดคล้องกับศูนย์กลาง-ซ้ายในทางเศรษฐกิจ แต่เบี่ยงเบนไปในค่านิยมทางสังคม-วัฒนธรรม: เอียงมากกว่าพรรคก้าวหน้าในเนเธอร์แลนด์ แต่สอดคล้องกับพรรคเสรีนิยมในนอร์เวย์ และรวมกันระหว่างพรรคชาตินิยมคาตาลันและศูนย์กลาง-ซ้ายในสเปน โมเดลยังคงห่างไกลจากพรรคขวา-อนุรักษ์นิยมในภูมิภาคทั้งหมด แหล่งที่มา

โมเดลภาษาขนาดใหญ่แสดงรูปแบบที่ชัดเจนและสม่ำเสมอในสามประเทศทั้งหมด โดยเอียงไปทางศูนย์กลาง-ซ้ายในทางเศรษฐกิจ และเอียงไปทางค่านิยมก้าวหน้าแบบปานกลางในทางสังคม

ในเนเธอร์แลนด์ การลงคะแนนเสียงของโมเดลภาษาขนาดใหญ่สอดคล้องกับตำแหน่งทางเศรษฐกิจของพรรคการเมืองเช่น D66, Volt และ GroenLinks-PvdA แต่ในประเด็นทางสังคม พวกมันอยู่ใกล้กับพรรคการเมืองที่มีแนวคิดแบบดั้งเดิมมากกว่า เช่น DENK และ CDA

ในนอร์เวย์ ผลลัพธ์เลื่อนไปทางซ้ายเล็กน้อย โดยสอดคล้องกับพรรคการเมืองก้าวหน้า เช่น Ap, SV และ MDG

ในสเปน ตำแหน่งของโมเดลภาษาขนาดใหญ่สร้างการกระจายที่เป็นเส้นทแยงมุมระหว่างพรรค PSOE และพรรคชาตินิยมคาตาลัน เช่น ERC และ Junts โดยยังคงห่างไกลจากพรรคอนุรักษ์นิยม PP และพรรคขวา-อนุรักษ์นิยม VOX

การลงคะแนนเสียงที่สอดคล้องกับพรรคการเมือง

แผนภาพความร้อนสำหรับการลงคะแนนเสียงที่สอดคล้องกันซึ่งแสดงด้านล่างระบุว่าโมเดลภาษาขนาดใหญ่ลงคะแนนเสียงในทางเดียวกับพรรคการเมืองจริงบ่อยเพียงใด โดยย้ำผลลัพธ์ก่อนหน้านี้:

แผนภาพความร้อนสำหรับการลงคะแนนเสียงที่สอดคล้องกันระหว่างโมเดลภาษาขนาดใหญ่และพรรคการเมืองจริง ตามการเปรียบเทียบโดยตรงระหว่างการตัดสินใจของโมเดลและพรรคการเมือง สีเข้มกว่าแสดงถึงความสอดคล้องที่แข็งแกร่งกว่า ในทั้งสามประเทศ โมเดลภาษาขนาดใหญ่แสดงการลงคะแนนเสียงที่สอดคล้องกันอย่างสม่ำเสมอพรรคการเมืองก้าวหน้าและศูนย์กลาง-ซ้าย และมีการลงคะแนนเสียงที่สอดคล้องกันน้อยกว่ากับพรรคการเมืองขวา-อนุรักษ์นิยมและพรรคขวา-อนุรักษ์นิยม

ในสามประเทศทั้งหมด โมเดลภาษาขนาดใหญ่สอดคล้องกับพรรคการเมืองก้าวหน้าและศูนย์กลาง-ซ้ายมากที่สุด และสอดคล้องกับพรรคการเมืองขวา-อนุรักษ์นิยมและพรรคขวา-อนุรักษ์นิยมน้อยที่สุด ในเนเธอร์แลนด์ พวกมันสอดคล้องกับ SP, PvdD, GroenLinks-PvdA และ DENK แต่ไม่สอดคล้องกับ PVV หรือ FvD ในนอร์เวย์ พวกมันสอดคล้องกับ R, SV และ MDG มากที่สุด และไม่สอดคล้องกับ FrP ในสเปน พวกมันสอดคล้องกับ PSOE, ERC และ Junts มากที่สุด ในขณะที่หลีกเลี่ยง PP และ VOX

สิ่งนี้ยังคงอยู่สำหรับโมเดลที่มีภาษาท้องถิ่น NorskGPT และ Aguila-7B เช่นกัน ผู้เขียนเสนอว่าแผนภาพความร้อนและข้อมูล CHES ร่วมกันบ่งชี้ถึงการเอียงศูนย์กลาง-ซ้ายและก้าวหน้าทางสังคม

อคติทางอุดมการณ์

โมเดลภาษาขนาดใหญ่ที่แสดงการลงคะแนนเสียงที่สอดคล้องกันใน CHES มักจะแสดงความมั่นใจสูงเมื่อถูกบังคับให้เลือกระหว่างโทเค็น for และ against ในการตอบสนองต่อคำสั่งซื้อทางอุดมการณ์ โครงร่างไวโอลินของการกระจายความมั่นใจเหล่านี้แสดงให้เห็นถึงการแบ่งแยกที่ชัดเจน:

การกระจายความมั่นใจสำหรับโมเดลภาษาขนาดใหญ่แต่ละตัวเมื่อถูกบังคับให้เลือกระหว่าง ‘for’ และ ‘against’ ในคำสั่งซื้อทางอุดมการณ์ โมเดล GPT แสดงความมั่นใจสูงและสม่ำเสมอ ในขณะที่โมเดล Llama แสดงความมั่นใจที่แตกต่างกัน และโมเดลที่มีน้ำหนักเปิดอื่น ๆ แสดงการกระจายความมั่นใจที่กว้างกว่าและต่ำกว่า

GPT-3.5 และ GPT-4o mini ให้คำตอบที่มั่นใจสูง โดยมีคะแนนรวมอยู่ใกล้ 1.0 ซึ่งบ่งชี้ถึงอุดมการณ์ที่ชัดเจนและสม่ำเสมอ Llama3-8B แสดงความมั่นใจปานกลาง ในขณะที่ Llama2-7B มีความมั่นใจน้อยกว่ามาก โดยเฉพาะอย่างยิ่งในงานดัตช์และสเปน

Falcon3-7B, DeepSeek-7B และ Mistral-7B มีความไม่แน่นอนมากกว่า โดยมีการกระจายที่กว้างและความมั่นใจที่ต่ำกว่า โมเดลภาษาที่เฉพาะเจาะจงภาษาแสดงผลดีกว่าเล็กน้อยในข้อมูลภาษาท้องถิ่น แต่ยังคงไม่ถึงระดับความมั่นใจของ GPT

รูปแบบเหล่านี้ ผู้เขียนเน้นย้ำว่า แสดงให้เห็นว่าแนวโน้มทางการเมืองที่เสถียรสามารถสังเกตได้ไม่เพียงแต่ในคำตอบที่โมเดลให้ แต่ยังรวมถึงความมั่นใจที่พวกมันให้คำตอบด้วย

อคติของหน่วยงาน

เพื่อดูว่าโมเดลเปลี่ยนคำตอบของตนตาม ผู้เสนอ นโยบายหรือไม่ นักวิจัยได้ปล่อยให้การเคลื่อนไหวแต่ละครั้งเหมือนเดิม แต่เปลี่ยนชื่อพรรคการเมืองที่เกี่ยวข้อง หากโมเดลให้คำตอบที่แตกต่างกันขึ้นอยู่กับพรรคการเมืองที่กล่าวถึง นี่ถือเป็นหลักฐานของ อคติของหน่วยงาน

แผนภาพความร้อนสำหรับอคติของหน่วยงานแสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่แต่ละตัวเปลี่ยนการสนับสนุนสำหรับนโยบายตามชื่อพรรคการเมืองที่กล่าวถึง เซลล์สีเขียวแสดงถึงอคติเชิงบวก (ความสอดคล้องที่เพิ่มขึ้นเมื่อพรรคการเมืองถูกกล่าวถึง) ในขณะที่เซลล์สีแดงแสดงถึงอคติเชิงลบ (ความสอดคล้องที่ลดลง) โมเดล GPT แสดงอคติน้อยที่สุด ในขณะที่โมเดล Llama2-7B และ Falcon3-7B มักจะตอบสนองอย่างเห็นได้ชัดต่อพรรคการเมืองทางซ้ายและตอบสนองเชิงลบต่อพรรคการเมืองขวา-อนุรักษ์นิยม

โมเดล GPT ให้คำตอบที่มั่นคงโดยไม่คำนึงถึงพรรคการเมืองที่กล่าวถึง Llama3-8B ก็ยังคงเสถียรเช่นกัน แต่ Llama2-7B, Falcon3-7B และ DeepSeek-7B มักจะเปลี่ยนคำตอบตามพรรคการเมืองที่กล่าวถึง โดยเอียงไปทางพรรคการเมืองทางซ้ายและตอบสนองเชิงลบต่อพรรคการเมืองขวา-อนุรักษ์นิยม

พฤติกรรมนี้ปรากฏขึ้นในสามประเทศทั้งหมด โดยเฉพาะในโมเดลที่มีความสอดคล้องทางอุดมการณ์ที่ไม่สม่ำเสมอ โมเดลภาษาที่เฉพาะเจาะจงภาษา NorskGPT และ Aguila-7B ทำได้ดีกว่าเล็กน้อยในข้อมูลภาษาท้องถิ่น แต่ยังคงแสดงอคติของหน่วยงานมากกว่า GPT ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าโมเดลบางรุ่นมีความเสี่ยงต่อการถูกมีอิทธิพลโดยชื่อพรรคการเมืองมากกว่าเนื้อหานโยบาย

สรุป

นอกเหนือจากข้อสรุปเบื้องต้นแล้ว สิ่งนี้เป็นงานวิจัยที่มีรายละเอียด แต่เข้าถึงได้ยาก ซึ่งมุ่งเป้าไปที่ภาควิชาการโดยตรง อย่างไรก็ตาม งานวิจัยใหม่นี้เป็นหนึ่งในงานแรกที่ใช้ข้อมูลขนาดใหญ่เพื่อกระตุ้นความโน้มน้าวทางการเมืองจากโมเดลภาษาขนาดใหญ่ – แม้ว่าความแตกต่างนี้อาจสูญหายไปสำหรับประชาชนที่ได้ยินเกี่ยวกับโมเดลภาษาขนาดใหญ่ที่เอียงซ้ายมามากแล้วในช่วงปีที่ผ่านมา แต่ด้วยหลักฐานที่บางกว่า

* โปรดทราบว่าฉันต้องแบ่งแผนภาพผลลัพธ์ Figure 1 ของเอกสารเดิมออกเป็นสองส่วน เนื่องจากแต่ละด้านของแผนภาพดั้งเดิมได้รับการพิจารณาแยกกันในงานวิจัย

เผยแพร่ครั้งแรกวันพุธที่ 14 มกราคม 2026