Sudut Anderson
Bot Chat AI Condong Kiri Saat Memilih Undang-Undang Riil

Poin utamaModel bahasa besar secara konsisten memilih partai kiri-tengah dalam mosi parlemen…
Lihat selengkapnya
- Model bahasa besar secara konsisten memilih partai kiri-tengah dalam mosi parlemen nyata di tiga negara.
- Beberapa model mengubah dukungan kebijakan mereka hanya berdasarkan partai politik yang mengajukan mosi.
- Model GPT menunjukkan keyakinan tinggi dalam pilihan kiri mereka, sementara model berbobot terbuka lebih ragu-ragu.
Dalam studi pertama dari jenisnya yang menggunakan data dunia nyata skala besar, ChatGPT dan Large Language Models lainnya diuji pada ribuan pemungutan suara parlemen yang sebenarnya, dan secara berulang-ulang sejalan dengan partai-partai kiri dan tengah-kiri, sementara menunjukkan keselarasan yang lebih lemah dengan partai-partai konservatif di tiga negara.
Dalam sebuah kolaborasi akademis baru antara Belanda dan Norwegia, Model Bahasa Besar gaya ChatGPT (LLMs) – termasuk ChatGPT itu sendiri – diminta untuk memilih ribuan mosi parlemen yang sebenarnya yang telah diputuskan oleh pembuat undang-undang manusia di tiga negara.
Ketika dibandingkan dengan suara tercatat dari partai-partai nyata, dan dipetakan ke skala politik standar, pola yang muncul menempatkan AI secara konsisten lebih dekat dengan partai-partai progresif dan tengah-kiri, dan lebih jauh dari partai-partai konservatif.
Makalah tersebut menyatakan:
‘Temuan kami mengungkapkan kecenderungan kiri-tengah dan progresif yang konsisten di seluruh model, bersama dengan bias negatif sistematis terhadap partai-partai konservatif-kanan, dan menunjukkan bahwa pola-pola ini tetap stabil di bawah prompt yang diparafrasikan.’
Sebagian besar studi sebelumnya, seperti Assessing Political Bias in Large Language Models, dan yang ditinjau dalam Identifying Political Bias in AI, menggunakan kuis kecil yang dikurasi seperti tes kompas politik, atau kuesioner kebijakan, untuk menyelidiki ideologi AI. Tes semacam ini biasanya melibatkan kurang dari 100 pernyataan, dipilih oleh peneliti, dan dapat rentan terhadap efek pengubahan kata yang dapat membalikkan respons model.
Sebaliknya, studi baru ini menggunakan ribuan mosi parlemen yang sebenarnya dari tiga negara – Belanda, Norwegia, dan Spanyol – menggunakan suara tercatat dari partai-partai politik yang dikenal.
Alih-alih menafsirkan pernyataan singkat, setiap Model Bahasa Besar (LLM) yang diuji diminta untuk memilih proposal legislatif yang sebenarnya. Suara mereka kemudian dicocokkan secara kuantitatif dengan perilaku partai dunia nyata, dan diproyeksikan ke ruang ideologi standar, survei ahli Chapel Hill (CHES), metode yang sering digunakan oleh ilmuwan politik untuk membandingkan posisi partai.
Hal ini mengarahkan analisis ke aktivitas legislatif dunia nyata skala besar, bukan pernyataan kebijakan abstrak, dan memungkinkan perbandingan yang lebih rinci, lintas-nasional. Ini juga menekankan efek merugikan dari bias entitas (bagaimana respons model berubah ketika nama partai disebutkan, bahkan ketika mosi tetap tidak berubah), menerangi lapisan kedua deteksi bias yang tidak ada dalam karya sebelumnya.
Sebagian besar studi tentang bias LLM telah berfokus pada keadilan sosial dan gender, antara lain topik yang telah menjadi sedikit diturunkan prioritasnya selama tahun politik terakhir; sampai baru-baru ini, studi tentang bias politik dalam LLM telah lebih jarang dan kurang dirancang dengan hati-hati.
Karya baru ini berjudul Mengungkap Bias Politik dalam Model Bahasa Besar menggunakan Catatan Pemungutan Suara Parlemen, dan berasal dari tujuh peneliti di Vrije Universiteit di Amsterdam, dan Universitas Oslo.
Metode dan Data
Proposisi sentral dari proyek baru ini adalah untuk mengamati kecenderungan politik dari berbagai model bahasa, dengan meminta mereka untuk memilih legislasi historis (yaitu, undang-undang yang telah disetujui atau ditolak dalam kehidupan nyata, di seluruh tiga negara yang dipelajari), dan menggunakan metode CHES untuk mengkarakterisasi warna politik respons LLM.
Untuk tujuan ini, peneliti membuat tiga dataset: PoliBiasNL, untuk mencakup 15 partai di majelis rendah parlemen Belanda (menampilkan 2.701 mosi); PoliBiasNO, untuk mencakup sembilan partai di Storting Norwegia (menampilkan 10.584 mosi); dan PoliBiasES, untuk mencakup sepuluh partai di parlemen Spanyol (menampilkan 2.480 mosi – dan satu-satunya dataset yang mencakup suara abstain, yang diizinkan di Spanyol).
Setiap mosi dipangkas hingga hanya menyisakan klausa substantifnya untuk meminimalkan efek kerangka, dan posisi partai dikodekan sebagai 1 untuk menunjukkan dukungan, atau –1 untuk menunjukkan oposisi (dan, dalam dataset Spanyol, 0 untuk mencerminkan abstain). Suara yang konsisten dari partai-partai yang digabungkan dianggap sebagai satu blok, sementara untuk partai-partai baru seperti Kontrak Sosial Baru (NSC), riwayat suara pemimpin partai digunakan untuk menginfer posisi sebelumnya.
Sejumlah eksperimen yang beragam dirancang untuk sejumlah besar LLM, diuji baik pada GPU lokal atau melalui API, sesuai kebutuhan. Model yang diuji adalah Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; dan Llama3-8B. Model LLM bahasa khusus juga diuji, yaitu NorskGPT untuk dataset Norwegia, dan Aguila-7B untuk koleksi Spanyol.
Pengujian
Eksperimen yang dilakukan untuk proyek ini dijalankan pada sejumlah NVIDIA A4000 GPU yang tidak ditentukan, masing-masing dengan 16GB VRAM.
Untuk membandingkan perilaku model dengan ideologi politik dunia nyata, peneliti memproyeksikan setiap LLM ke ruang ideologi dua dimensi yang sama yang digunakan untuk partai-partai politik, berdasarkan kerangka CHES yang disebutkan sebelumnya.
Sistem CHES mendefinisikan dua sumbu: satu untuk pandangan ekonomi (kiri vs kanan) dan yang lain untuk nilai-nilai sosio-budaya (GAL-TAN, atau Hijau-Alternatif-Libertarian vs Tradisional-Otoriter-Nasionalis).
Karena model dan partai-partai politik telah memilih mosi yang sama, peneliti memperlakukannya sebagai tugas pembelajaran terawasi, melatih model regresi Partial Least Squares untuk memetakan catatan pemungutan suara partai ke koordinat CHES yang dikenal.
Model ini kemudian diterapkan pada pola pemungutan suara LLM untuk memperkirakan posisi mereka dalam ruang yang sama. Karena LLM tidak pernah menjadi bagian dari data pelatihan, koordinat mereka akan menawarkan perbandingan langsung berdasarkan perilaku pemungutan suara saja*:

Posisi ideologi LLM dan partai-partai politik yang diproyeksikan dalam ruang CHES untuk Belanda, Norwegia, dan Spanyol. Dalam ketiga kasus, model-model tersebut sejalan secara ekonomi dengan kiri-tengah tetapi berbeda dalam nilai-nilai sosio-budaya: condong lebih tradisional daripada progresif Belanda, mencocokkan partai-partai liberal Norwegia lebih dekat, dan mengelompokkan antara nasionalis Catalan moderat dan kiri-tengah di Spanyol. Model-model tersebut tetap ideologis jauh dari partai-partai kanan ekstrem di semua wilayah. Sumber
LLM menunjukkan pola yang jelas dan konsisten di seluruh tiga negara, condong secara ekonomi ke kiri-tengah, dan secara sosial ke nilai-nilai progresif moderat.
Di Belanda, suara LLM sesuai dengan posisi ekonomi partai-partai seperti D66, Volt, dan GroenLinks-PvdA; tetapi dalam masalah sosial, mereka berada lebih dekat dengan partai-partai yang lebih tradisional seperti DENK dan CDA.
Di Norwegia, hasilnya bergeser sedikit lebih jauh ke kiri, mencocokkan partai-partai progresif seperti Ap, SV, dan MDG.
Di Spanyol, posisi LLM membentuk penyebaran diagonal antara kiri-tengah PSOE, dan partai-partai nasionalis Catalan seperti ERC dan Junts, tetap jauh dari konservatif PP, dan kanan ekstrem VOX.
Kesamaan Pemungutan Suara dengan Partai-Partai Politik
Peta panas kesamaan pemungutan suara yang ditunjukkan di bawah menunjukkan seberapa sering setiap LLM memilih dengan cara yang sama seperti partai-partai politik nyata, mengulangi kesimpulan sebelumnya:

Peta panas kesamaan pemungutan suara antara LLM dan partai-partai politik nyata, berdasarkan perbandingan langsung keputusan model dan partai. Warna yang lebih gelap menunjukkan kesepakatan yang lebih kuat. Di semua tiga negara, model-model secara konsisten menunjukkan keselarasan yang tinggi dengan partai-partai progresif dan kiri-tengah, dan keselarasan yang jauh lebih rendah dengan partai-partai konservatif-kanan dan kanan ekstrem. Pola keselarasan ini stabil di seluruh bahasa, sistem politik, dan keluarga model yang berbeda.
Di seluruh tiga negara, LLM sejalan paling dengan partai-partai progresif dan kiri-tengah, dan paling sedikit dengan partai-partai konservatif atau kanan ekstrem. Di Belanda, mereka setuju dengan SP, PvdD, GroenLinks-PvdA, dan DENK, tetapi tidak dengan PVV atau FvD. Di Norwegia, mereka menunjukkan tumpang tindih terkuat dengan R, SV, dan MDG, dan sedikit dengan FrP. Di Spanyol, mereka mendukung PSOE, ERC, dan Junts, sementara menghindari PP dan VOX.
Hal ini juga berlaku untuk model-model lokal NorskGPT dan Aguila-7B. Penulis menyarankan bahwa peta panas dan data CHES bersama-sama menunjukkan keselarasan kiri-tengah yang konsisten, secara sosial progresif.
Bias Ideologi
Model bahasa yang menunjukkan keselarasan ideologi yang lebih kuat dalam proyeksi CHES cenderung mengekspresikan kepercayaan yang lebih tinggi ketika dipaksa untuk memilih antara token untuk dan menentang, dalam menanggapi prompt ideologi. Plot biola dari distribusi kepercayaan ini mengungkapkan pembagian yang jelas:

Distribusi kepercayaan untuk setiap model ketika dipaksa untuk memilih antara ‘untuk’ dan ‘menentang’ di seluruh prompt ideologi. Model GPT menampilkan kepercayaan yang konsisten tinggi, sementara model Llama bervariasi dalam kepercayaan dan model-model berbobot terbuka lainnya menunjukkan distribusi yang lebih luas dan kepercayaan yang lebih rendah. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.
GPT-3.5 dan GPT-4o-mini memberikan jawaban yang sangat percaya diri, dengan skor yang mengelompok di dekat 1,0, menunjukkan kecenderungan ideologi yang jelas dan konsisten. Model Llama kurang percaya diri secara keseluruhan, dengan Llama3-8B menunjukkan kepercayaan moderat, dan Llama2-7B kurang yakin – terutama dalam tugas Belanda dan Spanyol.
Falcon3-7B, DeepSeek-7B, dan Mistral-7B lebih ragu-ragu, dengan penyebaran yang luas dan kepercayaan yang lebih rendah. Model bahasa khusus melakukan sedikit lebih baik pada data bahasa asal, tetapi masih kurang dari kepercayaan tingkat GPT.
Polanya, penulis mencatat, menunjukkan bahwa keselarasan politik yang stabil dapat dilihat tidak hanya dalam apa yang dikatakan model, tetapi juga dalam seberapa yakin mereka mengatakannya.
Bias Entitas
Untuk melihat apakah model mengubah jawabannya berdasarkan siapa yang mengusulkan kebijakan, peneliti mempertahankan setiap mosi sama, tetapi menukar nama partai yang terkait. Jika model memberikan jawaban yang berbeda tergantung pada partai, ini dianggap sebagai tanda bias entitas.

Peta panas Bias Entitas menunjukkan seberapa kuat dukungan model untuk kebijakan berubah, tergantung pada partai politik mana yang mengusulkannya. Sel-sel hijau menunjukkan peningkatan kesepakatan ketika partai dinamai (bias positif), dan sel-sel merah menunjukkan penurunan kesepakatan (bias negatif). Model GPT menunjukkan bias minimal di seluruh partai, sementara model seperti Llama2-7B dan Falcon3-7B sering merespons lebih menguntungkan partai kiri dan negatif terhadap partai sayap kanan. Pola ini berlaku di seluruh dataset Belanda, Norwegia, dan Spanyol, menunjukkan bahwa beberapa model lebih dipengaruhi oleh identitas partai daripada oleh konten kebijakan. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.
Model GPT memberikan jawaban yang stabil sebagian besar tidak bergantung pada partai mana yang disebutkan. Llama3-8B juga tetap cukup stabil. Tetapi Llama2-7B, Falcon3-7B, dan DeepSeek-7B sering mengubah respons mereka tergantung pada partai, terkadang berpindah dari dukungan ke oposisi bahkan ketika mosi tetap sama, cenderung mendukung partai kiri dan bereaksi negatif terhadap mosi dari partai sayap kanan.
Perilaku ini muncul di semua tiga negara, terutama pada model yang sudah memiliki ideologi yang kurang konsisten. Model LLM lokal NorskGPT dan Aguila-7B melakukan sedikit lebih baik pada dataset asal, tetapi masih menunjukkan lebih banyak bias daripada GPT. Secara keseluruhan, hasilnya menunjukkan bahwa beberapa model lebih dipengaruhi oleh siapa yang mengatakan sesuatu, daripada apa yang dikatakan.
Kesimpulan
Di luar kesimpulan awal, ini adalah makalah yang metodis tetapi agak tidak dapat diakses yang ditujukan langsung pada sektor penelitian itu sendiri. Namun, karya baru ini adalah salah satu yang pertama menggunakan data yang cukup skala untuk memicu kecenderungan politik dari LLM – meskipun perbedaan ini kemungkinan akan hilang pada publik yang mendengar tentang model bahasa kiri selama setahun terakhir, meskipun pada bukti yang lebih tipis.
* Perlu diingat bahwa saya telah membagi ilustrasi hasil Figure 1 asli makalah menjadi dua bagian, karena setiap sisi dari gambar asli diperlakukan secara terpisah dalam karya ini.
Dipublikasikan pertama kali pada hari Rabu, 14 Januari 2026












