Bot Chat AI Condong Kiri Saat Memilih Undang-Undang Riil

Dalam studi pertama dari jenisnya yang menggunakan data dunia nyata skala besar, ChatGPT dan Large Language Models lainnya diuji pada ribuan pemungutan suara parlemen yang sebenarnya, dan secara berulang-ulang sejalan dengan partai-partai kiri dan tengah-kiri, sementara menunjukkan keselarasan yang lebih lemah dengan partai-partai konservatif di tiga negara.

Dalam sebuah kolaborasi akademis baru antara Belanda dan Norwegia, Model Bahasa Besar gaya ChatGPT (LLMs) – termasuk ChatGPT itu sendiri – diminta untuk memilih ribuan gerakan parlemen yang sebenarnya yang telah diputuskan oleh pembuat undang-undang manusia di tiga negara.

Ketika dibandingkan dengan suara tercatat dari partai-partai nyata, dan dipetakan ke skala politik standar, pola yang muncul menempatkan AI secara konsisten lebih dekat dengan partai-partai progresif dan tengah-kiri, dan lebih jauh dari partai-partai konservatif.

Makalah tersebut menyatakan:

‘Temuan kami mengungkapkan kecenderungan kiri-tengah dan progresif yang konsisten di seluruh model, bersama dengan bias negatif sistematis terhadap partai-partai konservatif-kanan, dan menunjukkan bahwa pola-pola ini tetap stabil di bawah prompt yang diparafrasikan.’

Sebagian besar studi sebelumnya, seperti Assessing Political Bias in Large Language Models, dan yang ditinjau dalam Identifying Political Bias in AI, menggunakan kuis kecil yang dikurasi seperti tes kompas politik, atau kuesioner kebijakan, untuk menyelidiki ideologi AI. Tes semacam ini biasanya melibatkan kurang dari 100 pernyataan, dipilih oleh peneliti, dan dapat rentan terhadap efek pengubahan kata yang dapat membalikkan respons model.

Sebaliknya, studi baru ini menggunakan ribuan gerakan parlemen yang sebenarnya dari tiga negara – Belanda, Norwegia, dan Spanyol – menggunakan suara tercatat dari partai-partai politik yang dikenal.

Alih-alih menafsirkan pernyataan singkat, setiap Model Bahasa Besar (LLM) yang diuji diminta untuk memilih proposal legislatif yang sebenarnya. Suara mereka kemudian dicocokkan secara kuantitatif dengan perilaku partai dunia nyata, dan diproyeksikan ke ruang ideologi standar, survei ahli Chapel Hill (CHES), metode yang sering digunakan oleh ilmuwan politik untuk membandingkan posisi partai.

Hal ini mengarahkan analisis ke aktivitas legislatif dunia nyata skala besar, bukan pernyataan kebijakan abstrak, dan memungkinkan perbandingan yang lebih rinci, lintas-nasional. Ini juga menekankan efek merugikan dari bias entitas (bagaimana respons model berubah ketika nama partai disebutkan, bahkan ketika gerakan tetap tidak berubah), menerangi lapisan kedua deteksi bias yang tidak ada dalam karya sebelumnya.

Sebagian besar studi tentang bias LLM telah berfokus pada keadilan sosial dan gender, antara lain topik yang telah menjadi sedikit diprioritaskan selama tahun politik terakhir; sampai baru-baru ini, studi tentang bias politik dalam LLM telah lebih jarang dan kurang dirancang dengan hati-hati.

Karya baru ini berjudul Mengungkap Bias Politik dalam Model Bahasa Besar menggunakan Catatan Pemungutan Suara Parlemen, dan berasal dari tujuh peneliti di Vrije Universiteit di Amsterdam, dan Universitas Oslo.

Metode dan Data

Proposisi sentral dari proyek baru ini adalah untuk mengamati kecenderungan politik dari berbagai model bahasa, dengan meminta mereka untuk memilih legislasi historis (yaitu, undang-undang yang telah disetujui atau ditolak dalam kehidupan nyata, di seluruh tiga negara yang dipelajari), dan menggunakan metode CHES untuk mengkarakterisasi warna politik respons LLM.

Untuk tujuan ini, peneliti membuat tiga dataset: PoliBiasNL, untuk menutupi 15 partai di parlemen kedua Belanda (menampilkan 2.701 gerakan); PoliBiasNO, untuk menutupi sembilan partai di Storting Norwegia (menampilkan 10.584 gerakan); dan PoliBiasES, untuk menutupi sepuluh partai di parlemen Spanyol (menampilkan 2.480 gerakan – dan satu-satunya dataset yang mencakup suara abstain, yang diizinkan di Spanyol).

Setiap gerakan dipisahkan dari klausa operatif untuk meminimalkan efek kerangka, dan posisi partai dikodekan sebagai 1 untuk menunjukkan dukungan, atau –1 untuk menunjukkan oposisi (dan, dalam dataset Spanyol, 0 untuk mencerminkan abstain). Suara yang konsisten dari partai-partai yang digabungkan dianggap sebagai satu blok, sementara untuk partai-partai baru seperti Kontrak Sosial Baru (NSC), suara pemimpin sebelumnya digunakan untuk menginfer posisi sebelumnya.

Sejumlah eksperimen yang beragam dirancang untuk sejumlah besar LLM, diuji baik pada GPU lokal atau melalui API, sesuai kebutuhan. Model yang diuji adalah Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; dan Llama3-8B. Model LLM bahasa khusus juga diuji, yaitu NorskGPT untuk dataset Norwegia, dan Aguila-7B untuk koleksi Spanyol.

Pengujian

Eksperimen yang dilakukan untuk proyek ini dijalankan pada sejumlah NVIDIA A4000 GPU yang tidak ditentukan, masing-masing dengan 16GB VRAM.

Untuk membandingkan perilaku model dengan ideologi politik dunia nyata, peneliti memproyeksikan setiap LLM ke ruang ideologi dua dimensi yang sama yang digunakan untuk partai-partai politik, berdasarkan kerangka CHES yang disebutkan sebelumnya.

Sistem CHES mendefinisikan dua sumbu: satu untuk pandangan ekonomi (kiri vs kanan) dan yang lain untuk nilai-nilai sosio-budaya (GAL-TAN, atau Hijau-Alternatif-Libertarian vs Tradisional-Otoriter-Nasionalis).

Karena model dan partai-partai politik telah memilih gerakan yang sama, peneliti memperlakukannya sebagai tugas pembelajaran terawasi, melatih model regresi Partial Least Squares untuk memetakan catatan pemungutan suara partai ke koordinat CHES yang dikenal.

Model ini kemudian diterapkan pada pola pemungutan suara LLM untuk memperkirakan posisi mereka dalam ruang yang sama. Karena LLM tidak pernah menjadi bagian dari data pelatihan, koordinat mereka akan menawarkan perbandingan langsung berdasarkan perilaku pemungutan suara saja*:

Posisi ideologi LLM dan partai-partai politik yang diproyeksikan dalam ruang CHES untuk Belanda, Norwegia, dan Spanyol. Dalam ketiga kasus, model-model tersebut sejalan secara ekonomi dengan kiri-tengah tetapi berbeda dalam nilai-nilai sosio-budaya: condong lebih tradisional daripada progresif Belanda, mencocokkan partai-partai liberal Norwegia lebih dekat, dan mengelompokkan antara nasionalis Catalan moderat dan kiri-tengah di Spanyol. Model-model tersebut tetap ideologis jauh dari partai-partai kanan jauh di semua wilayah. Sumber

LLM menunjukkan pola yang jelas dan konsisten di seluruh tiga negara, condong secara ekonomi ke kiri-tengah, dan secara sosial ke nilai-nilai progresif moderat.

Di Belanda, suara LLM sesuai dengan posisi ekonomi partai-partai seperti D66, Volt, dan GroenLinks-PvdA; tetapi dalam masalah sosial, mereka berada lebih dekat dengan partai-partai yang lebih tradisional seperti DENK dan CDA.

Di Norwegia, hasilnya bergeser sedikit lebih jauh ke kiri, mencocokkan partai-partai progresif seperti Ap, SV, dan MDG.

Di Spanyol, posisi LLM membentuk penyebaran diagonal antara kiri-tengah PSOE, dan partai-partai nasionalis Catalan seperti ERC dan Junts, tetap jauh dari konservatif PP, dan kanan jauh VOX.

Perjanjian Pemungutan Suara dengan Partai-Partai Politik

Peta panas perjanjian pemungutan suara yang ditunjukkan di bawah menunjukkan seberapa sering setiap LLM memilih dengan cara yang sama seperti partai-partai politik nyata, mengulangi kesimpulan sebelumnya:

Peta panas perjanjian pemungutan suara antara LLM dan partai-partai politik nyata, berdasarkan perbandingan langsung keputusan model dan partai. Warna yang lebih gelap menunjukkan kesepakatan yang lebih kuat. Di semua tiga negara, model-model secara konsisten menunjukkan keselarasan yang tinggi dengan partai-partai progresif dan kiri-tengah, dan keselarasan yang jauh lebih rendah dengan partai-partai konservatif-kanan dan kanan jauh. Pola keselarasan ini stabil di seluruh bahasa, sistem politik, dan keluarga model yang berbeda.

Di seluruh tiga negara, LLM sejalan paling dengan partai-partai progresif dan kiri-tengah, dan paling sedikit dengan partai-partai konservatif atau kanan jauh. Di Belanda, mereka setuju dengan SP, PvdD, GroenLinks-PvdA, dan DENK, tetapi tidak dengan PVV atau FvD. Di Norwegia, mereka menunjukkan tumpang tindih terkuat dengan R, SV, dan MDG, dan sedikit dengan FrP. Di Spanyol, mereka mendukung PSOE, ERC, dan Junts, sementara menghindari PP dan VOX.

Hal ini juga berlaku untuk model-model lokal NorskGPT dan Aguila-7B. Penulis menyarankan bahwa peta panas dan data CHES bersama-sama menunjukkan keselarasan kiri-tengah yang konsisten, secara sosial progresif.

Bias Ideologi

Model bahasa yang menunjukkan keselarasan ideologi yang lebih kuat dalam proyeksi CHES cenderung mengekspresikan kepercayaan yang lebih tinggi ketika dipaksa untuk memilih antara token untuk dan menentang, dalam menanggapi prompt ideologi. Plot biola dari distribusi kepercayaan ini mengungkapkan pembagian yang jelas:

Distribusi kepercayaan untuk setiap model ketika dipaksa untuk memilih antara ‘untuk’ dan ‘menentang’ di seluruh prompt ideologi. Model GPT menampilkan kepercayaan yang konsisten tinggi, sementara model Llama bervariasi dalam kepercayaan dan model-model terbuka lainnya menunjukkan distribusi yang lebih luas dan kepercayaan yang lebih rendah. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.

GPT-3.5 dan GPT-4o-mini memberikan jawaban yang sangat percaya diri, dengan skor yang mengelompok di dekat 1,0, menunjukkan kecenderungan ideologi yang jelas dan konsisten. Model Llama kurang percaya diri secara keseluruhan, dengan Llama3-8B menunjukkan kepercayaan moderat, dan Llama2-7B kurang yakin – terutama dalam tugas Belanda dan Spanyol.

Falcon3-7B, DeepSeek-7B, dan Mistral-7B lebih ragu-ragu, dengan penyebaran yang luas dan kepercayaan yang lebih rendah. Model bahasa khusus melakukan sedikit lebih baik pada data bahasa asal, tetapi masih kurang dari kepercayaan tingkat GPT.

Polanya, penulis mencatat, menunjukkan bahwa keselarasan politik yang stabil dapat dilihat tidak hanya dalam apa yang dikatakan model, tetapi juga dalam bagaimana percaya diri mereka mengatakannya.

Bias Entitas

Untuk melihat apakah model mengubah jawabannya berdasarkan siapa yang mengusulkan kebijakan, peneliti mempertahankan setiap gerakan sama, tetapi menukar nama partai yang terkait. Jika model memberikan jawaban yang berbeda tergantung pada partai, ini dianggap sebagai tanda bias entitas.

Peta panas Bias Entitas menunjukkan seberapa kuat dukungan model untuk kebijakan berubah, tergantung pada partai politik mana yang mengusulkannya. Sel-sel hijau menunjukkan peningkatan kesepakatan ketika partai dinamai (bias positif), dan sel-sel merah menunjukkan penurunan kesepakatan (bias negatif). Model GPT menunjukkan bias minimal di seluruh partai, sementara model seperti Llama2-7B dan Falcon3-7B sering merespons lebih menguntungkan partai kiri dan negatif terhadap partai sayap kanan. Pola ini berlaku di seluruh dataset Belanda, Norwegia, dan Spanyol, menunjukkan bahwa beberapa model lebih dipengaruhi oleh identitas partai daripada oleh konten kebijakan. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.

Model GPT memberikan jawaban yang stabil sebagian besar tidak bergantung pada partai mana yang disebutkan. Llama3-8B juga tetap cukup stabil. Tetapi Llama2-7B, Falcon3-7B, dan DeepSeek-7B sering mengubah respons mereka tergantung pada partai, terkadang berpindah dari dukungan ke oposisi bahkan ketika gerakan tetap sama, cenderung mendukung partai kiri dan bereaksi negatif terhadap gerakan dari partai sayap kanan.

Perilaku ini muncul di semua tiga negara, terutama pada model yang sudah memiliki ideologi yang kurang konsisten. Model LLM lokal NorskGPT dan Aguila-7B melakukan sedikit lebih baik pada dataset asal, tetapi masih menunjukkan lebih banyak bias daripada GPT. Secara keseluruhan, hasilnya menunjukkan bahwa beberapa model lebih dipengaruhi oleh siapa yang mengatakan sesuatu, daripada apa yang dikatakan.

Kesimpulan

Di luar kesimpulan awal, ini adalah makalah yang metodis tetapi agak tidak dapat diakses yang ditujukan langsung pada sektor penelitian itu sendiri. Namun, karya baru ini adalah salah satu yang pertama menggunakan data yang cukup skala untuk memicu kecenderungan politik dari LLM – meskipun perbedaan ini kemungkinan akan hilang pada publik yang mendengar tentang model bahasa kiri selama setahun terakhir, meskipun pada bukti yang lebih tipis.

* Perlu diingat bahwa saya telah membagi ilustrasi hasil Figure 1 asli makalah menjadi dua bagian, karena setiap sisi dari gambar asli diperlakukan secara terpisah dalam karya ini.

Dipublikasikan pertama kali pada hari Rabu, 14 Januari 2026