AI Chatbot’lar Gerçek Kanunlar Üzerinde Oy Kullanırken Sol’a Eğilim Gösteriyor

İlk kez yapılan bir çalışmada, yüksek ölçekli gerçek dünya verilerinin kullanıldığı bir nghiênmede, ChatGPT ve diğer Büyük Dil Modelleri, binlerce gerçek parlamentoyu oyladı ve üç ülkede de tutarlı bir şekilde sol ve merkez sol partilerle uyumlu hareket etti, ancak muhafazakar partilerle daha zayıf bir uyum gösterdi.

Hollanda ve Norveç arasındaki yeni bir akademik işbirliği kapsamında, ChatGPT tarzı Büyük Dil Modelleri (LLM’ler) – ChatGPT itself dahil – üç ülkede insan yasama organları tarafından zaten kararlaştırılan binlerce gerçek parlamentoyu oylamaya davet edildi.

Gerçek partilerin kayıtlı oylarıyla karşılaştırıldığında ve standart bir siyasi ölçekte haritalandığında, ortaya çıkan model Büyük Dil Modellerinin tutarlı bir şekilde ilerici ve merkez sol partilere yakın olduğunu ve muhafazakar partilerden uzak olduğunu gösterdi.

Makale şöyle diyor:

‘Buluntularımız, modeller boyunca tutarlı merkez sol ve ilerici eğilimleri, sağ muhafazakar partilere karşı sistematik olumsuz yanlılığı ortaya koyuyor ve bu kalıpların yeniden ifade edilen ipuçları altında稳il kaldığını gösteriyor.’

Önceki çalışmalar, Büyük Dil Modellerinde Siyasi Yanlılığı Değerlendirme gibi, veya AI’de Siyasi Yanlılığı Tanıma gibi, genellikle bir AI’nın ideolojisini araştırmak için küçük, düzenlenmiş testler veya politika anketleri kullanır. Bu tür testler genellikle 100’den az ifade içerir, araştırmacılar tarafından seçilir ve yeniden ifade etme etkilerine karşı savunmasız olabilir.

Öte yandan, yeni çalışma, Hollanda, Norveç ve İspanya’dan binlerce gerçek parlamentoyu kullanıyor ve kaydedilen oyları bilinen siyasi partilerden alıyor.

Modelin kısa ifadeleri yorumlamak yerine, her Büyük Dil Modeli test edilen gerçek yasa önerilerine oy kullanmaya davet edildi. Oyları daha sonra gerçek parti davranışıyla nicel olarak karşılaştırıldı ve bir standart ideolojik alana, bir Chapel Hill uzman anketi (CHES) vào projelendi, siyasi bilimciler tarafından parti konumlarını karşılaştırmak için sıklıkla kullanılan bir metodoloji sıkça kullanılır.

Bu, analizi büyük ölçekli, gerçek dünya yasama faaliyetine dayandırır ve daha ince, ulusal karşılaştırmalara olanak tanır. Ayrıca, bir partinin adı mention edildiğinde modelin yanıtının değişmesi (varlık yanlılığı) gibi zararlı bir etkisini vurgular, önceki çalışmalarda mevcut olmayan ikinci bir yanlılık tespit katmanını aydınlatır.

Çoğu Büyük Dil Modeli yanlılığı çalışması, sosyal adalete, cinsiyete ve diğer benzer konulara odaklanmıştır; son yıllarda, Büyük Dil Modellerindeki siyasi yanlılık çalışmaları daha az yaygın ve daha az titizlikle tasarlanmıştır.

The yeni çalışma Büyük Dil Modellerinde Siyasi Yanlılığı Parlamento Oylama Kayıtları Kullanarak Açığa Çıkarma başlığını taşıyor ve Vrije Universiteit Amsterdam ve Oslo Üniversitesi’nden yedi araştırmacının ortak çalışması.

Yöntem ve Veri

Yeni projenin temel önermesi, çeşitli dil modellerinin siyasi eğilimlerini gözlemlemek, onlara tarihi yasaları (yani, üç ülke çapında zaten kabul edilmiş veya reddedilmiş gerçek yasaları) oylamaya davet etmek ve CHES metodolojisini kullanarak dil modellerinin cevaplarının siyasi renklerini karakterize etmektir.

Bu amaçla, araştırmacılar üç veri seti oluşturdu: PoliBiasNL, Hollanda ikinci odasındaki 15 parti (2.701 motion) için; PoliBiasNO, Norveç Storting’indeki 9 parti (10.584 motion) için; ve PoliBiasES, İspanyol parlamentodaki 10 parti (2.480 motion – ve İspanya’da izin verilen çekimser oyları içeren tek veri seti) için.

Her motion, çerçeveleme etkilerini en aza indirmek için işlemsel hükümlerine indirildi ve parti konumları 1 olarak destekleyici, veya –1 olarak karşıt (ve İspanyol veri setinde 0 olarak çekimser) olarak kodlandı. Birleşmiş partilerden tutarlı oylar tek bir blok olarak tedavi edildi, mentre yeni partiler için, önderlerinin geçmişteki oyları daha önceki konumlarını çıkarlamak için kullanıldı.

Farklı bir dizi deney, bir dizi Büyük Dil Modeli için tasarlandı, yerel GPU’lar veya API aracılığıyla test edildi. Test edilen modeller Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; ve Llama3-8B. Dil özgü Büyük Dil Modelleri de test edildi, bunlar NorskGPT için Norveç veri seti ve Aguila-7B için İspanyol koleksiyonu.

Testler

Proje için yapılan deneyler, her biri 16GB VRAM ile donatılmış belirsiz sayıda NVIDIA A4000 GPU üzerinde yürütüldü.

Model davranışını gerçek dünya siyasi ideolojileriyle karşılaştırmak için, araştırmacılar her Büyük Dil Modelini aynı iki boyutlu ideolojik alana, yukarıda belirtilen CHES çerçevesine dayalı olarak projelendirdi.

CHES sistemi iki eksene sahip: biri ekonomik görüşler (sol vs sağ) ve diğeri sosyo-kültürel değerler (GAL-TAN, veya Yeşil-Alternatif-Libertarian vs Geleneksel-Otoriter-Milliyetçi) için.

Modeller ve siyasi partilerin aynı motionlar üzerinde oy kullandığı için, araştırmacılar bu durumu gözetimli öğrenme görevi olarak ele aldı ve her parti oylama kaydını bilinen CHES koordinatlarına eşleyen Kısmi En Az Kareler Regresyon Modeli eğitti.

Bu model daha sonra Büyük Dil Modellerinin oylama kalıplarını tahmin etmek için uygulandı ve aynı uzayda konumlarını belirledi. Büyük Dil Modelleri nunca eğitim verisi的一部分 olmadığı için, koordinatları yalnızca oylama davranışı temelinde doğrudan bir karşılaştırma sunacaktı:

Hollanda, Norveç ve İspanya için CHES uzayında Büyük Dil Modellerinin ve siyasi partilerin projeksiyonlu ideolojik konumları. Üç ülkede de modeller ekonomik olarak merkez sol ile uyumlu, ancak sosyo-kültürel değerlerde farklılık gösteriyor: Hollanda’da ilerici partilerden daha geleneksel, Norveç’te liberal partilerle daha uyumlu ve İspanya’da merkez sol ve ılımlı Katalan milliyetçileri arasında yer alıyor. Modeller, tüm bölgelerde radikal sağ partilerden uzak kalıyor. Kaynak

Büyük Dil Modelleri, tüm üç ülkede tutarlı bir şekilde ekonomik olarak merkez sol ve sosyal olarak ılımlı ilerici değerlere eğilim gösterdi.

Hollanda’da, Büyük Dil Modellerinin oyları, D66, Volt ve GroenLinks-PvdA gibi partilerin ekonomik konumlarıyla uyumlu, ancak sosyal konularda daha geleneksel partiler gibi CDA ve DENK’e daha yakın oldu.

Norveç’te, sonuçlar biraz daha sola kaydı, Ap, SV ve MDG gibi ilerici partilere yakın bir konumda yer aldı.

İspanya’da, Büyük Dil Modellerinin konumları, merkez sol PSOE ve Katalan milliyetçi partileri gibi ERC ve Junts arasında bir diyagonal yayılma oluşturdu, muhafazakar PP ve radikal sağ VOX’dan uzak kaldı.

Siyasi Partilerle Oy Uyumları

Aşağıdaki oy uyum haritaları, her Büyük Dil Modelinin gerçek siyasi partilerle aynı şekilde oy kullandığını gösteren earlier sonuçları tekrar ediyor;

Büyük Dil Modelleri ve gerçek siyasi partiler arasındaki oy uyum haritaları, model ve parti kararlarının doğrudan karşılaştırması temelinde. Daha koyu gölgeler daha güçlü uyumu gösterir. Üç ülkede de modeller, tutarlı bir şekilde ilerici ve merkez sol partilerle yüksek uyum gösterdi ve sağ muhafazakar ve radikal sağ partilerle daha düşük uyum gösterdi. Bu uyum kalıbı, farklı diller, siyasi sistemler ve model aileleri boyunca ổnuldu.

Üç ülkede de Büyük Dil Modelleri, ilerici ve merkez sol partilerle en çok uyumlu, muhafazakar ve radikal sağ partilerle en az uyumlu oldu. Hollanda’da, SP, PvdD, GroenLinks-PvdA ve DENK ile uyumlu, ancak PVV veya FvD ile değil. Norveç’te, R, SV ve MDG ile en güçlü örtüşmeyi gösterdi, ancak FrP ile değil. İspanya’da, PSOE, ERC ve Junts ile uyumlu, ancak PP ve VOX ile değil.

Bu, yerel modeller NorskGPT ve Aguila-7B için de geçerliydi. Yazarlar, ısı haritaları ve CHES verileri birlikte tutarlı bir merkez sol, sosyal olarak ilerici eğilimi gösterdiğini öne sürüyor.

İdeoloji Yanlılığı

CHES projeksiyonlarında daha güçlü ideolojik uyuma sahip Büyük Dil Modelleri, ideolojik ipuçlarına karşı “lehine” ve “aleyhine” tokenleri arasında seçim yapmak zorunda kaldıklarında daha yüksek bir güvenle cevap verdiler. Güven dağılımının keman grafikleri, net bir ayırma gösteriyor:

Her modelin ‘lehine’ ve ‘aleyhine’ arasında seçim yapmak zorunda kaldıklarında güven dağılımları, ideolojik ipuçları boyunca. GPT modelleri tutarlı bir şekilde yüksek güven gösteriyor, Llama modelleri güvende varyasyon gösteriyor ve diğer açık ağırlıklı modeller daha geniş, daha düşük güven dağılımları gösteriyor. Lütfen daha iyi bir çözünürlük için kaynak PDF’ye bakın.

GPT-3.5 ve GPT-4o mini çok emin cevaplar verdi, skorları 1.0’a yakın bir şekilde toplandı, tutarlı ideolojik eğilimleri gösterdi. Llama modelleri daha az emin oldu, Llama3-8B ılımlı bir güven gösterdi, Llama2-7B ise özellikle Hollanda ve İspanyol görevlerinde daha az emin oldu.

Falcon3-7B, DeepSeek-7B ve Mistral-7B daha tereddütlüydü, geniş dağılımları ve daha düşük bir güveni vardı. Dil özgü modeller, yerel veri setlerinde biraz daha iyi performans gösterdi, ancak GPT düzeyinde güvene ulaşamadı.

Bu kalıplar, yazarların not ettiği gibi, siyasi uyumun yalnızca ne dediklerinde değil, ne kadar emin bir şekilde söylediklerinde de görülebileceğini gösteriyor.

Varlık Yanlılığı

Araştırmacılar, modellerin bir politika önerisini destekleme şeklinin, öneriyi kimin önerdiğine bağlı olarak değişip değişmediğini görmek için, her motion aynı kaldı, ancak ilgili parti isimleri değiştirildi. Eğer bir model, parti ismine bağlı olarak farklı cevaplar veriyorsa, bu varlık yanlılığı olarak kabul edildi.

Varlık Yanlılığı ısı haritaları, her modelin bir politikayı destekleme şeklinin, hangi parti tarafından önerildiğine bağlı olarak ne kadar değiştiğini gösterir. Yeşil hücreler, parti isminin mention edilmesi durumunda artan uyumu (pozitif yanlılık), kırmızı hücreler ise azalan uyumu (negatif yanlılık) gösterir. GPT modelleri, partiler boyunca minimal bir yanlılık gösterirken, Llama2-7B ve Falcon3-7B gibi modeller, sol eğilimli partilere daha olumlu ve sağcı partilere daha olumsuz tepki veriyor. Bu kalıp, Hollanda, Norveç ve İspanya veri setleri boyunca geçerli, bazı modellerin politika içeriğinden daha fazla parti kimliği tarafından etkilendiğini öne sürüyor. Lütfen daha iyi bir çözünürlük için kaynak PDF’ye bakın.

GPT modelleri, hangi parti mention edildiğine bakılmaksızın genellikle kararlı cevaplar verdi. Llama3-8B de oldukça kararlı kaldı. Ancak Llama2-7B, Falcon3-7B ve DeepSeek-7B, parti ismine bağlı olarak cevaplarını değiştirdi, bazen aynı motion için destekten muhalefete geçiş yaptı, sol eğilimli partilere daha olumlu ve sağcı partilere daha olumsuz tepki verdi.

Bu davranış, tüm üç ülkede, özellikle tutarlı ideolojiye sahip olmayan modellerde görüldü. Yerel Büyük Dil Modelleri NorskGPT ve Aguila-7B, kendi veri setlerinde biraz daha iyi performans gösterdi, ancak GPT’den daha fazla yanlılık gösterdi. Genel olarak, sonuçlar, bazı modellerin ne söylendiğinden daha fazla kimin söylediğine bağlı olarak etkilendiğini öne sürüyor.

Sonuç

İlk sonuçlarının ötesinde, bu çalışma, araştırma sektörüne yönelik, ancak oldukça teknik bir makale. Buna rağmen, bu yeni çalışma, Büyük Dil Modellerinin siyasi eğilimlerini ortaya çıkarmak için makul ölçekli verileri kullanan ilk çalışmalardan biri.

* Lütfen makalenin orijinal Figure 1 sonuç illüstrasyonunu ikiye bölmek zorunda kaldığımı unutmayın, çünkü orijinal figürün her iki tarafı da çalışmada ayrı ayrı ele alınıyor.

İlk olarak 14 Ocak 2026 Çarşamba günü yayınlandı.