Yapay zekânız sizi gerektiği gibi düzeltmeyecek kadar nazik olabilir

Doğru bilgi için güvenebileceğimiz yapay zekâ sistemleri, bu bilgi bizi mutlu etmeyecek olsa bile, hoşumuza gitmeyen haberleri ya da gerçekleri kabullenmeye hazır olana kadar itirazlarımıza karşı çıkabilmelidir.

Yapay zekâ bu konuda pek başarılı değil; öncü modeller tüketiciye yönelik tasarlandığından, boyun eğmeye ve hatta dalkavukluğa eğilim gösteriyor.

Bu sorunu ele almak için araştırmalarda dikkat çekici bir kol ortaya çıktı; ancak yakın tarihli çalışmalar, bize karşı çıkarsa yapay zekâyı kolayca manipüle edip yeniden dalkavukluğa yöneltebileceğimizi, yapay zekânın açıkça yanıldığı durumlarda bile insan otoritesine boyun eğdiğini ve normalde etkili olan pekiştirmeli öğrenme tekniğinin aslında bu özel sorunu daha da kötüleştirdiğini ortaya koydu.

Boyun eğmenin nezaketle kültürel olarak iç içe geçmiş olması, hizmet sağlayıcı>tüketici bağlamında “açık sözlülüğün” mümkün olmadığı anlamına geliyor gibi görünüyor; uçurumdan aşağı yürümek üzere olsalar bile “müşteri her zaman haklıdır”.

Doğru, Yanlış ve “İhtiyatlı İfade”

Bu haftaki makaleler arasında bu konuda gerçekten ilerleme kaydeden bir çalışma olduğunu söyleyebilmeyi isterdim. Ne yazık ki, “karşı çıkan” ve gerçeği insan efendilerine kabul ettirmeye çalışan modellerin bunu hâlâ pek iyi başaramadığına dair daha fazla bilgi ediniyoruz*; üstelik güce (yani size) gerçeği söylemeye istekli olduklarında bile, sesleri daha çok kısık bir fısıltıyı andırıyor.

Söz konusu yeni makale, University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University ve University of Wisconsin-Madison’ın katkılarıyla yürütülen kapsamlı bir akademik iş birliğinin ürünü.

Bir Saman Yığınında İtiraz: Dil Modelleri Olgusal Hatalara Muğlak ve Etkisiz Biçimde Yanıt Veriyor başlıklı yeni çalışma, yapay zekâ modellerinin bir kullanıcının iddiasının yanlış olduğunu fark etseler bile çoğu zaman bunu açıkça düzeltmediğini; bunun yerine itirazlarını ihtiyatlı ifadelerin, övgülerin ve kısmi onayların arasına gizlediğini ortaya koyuyor.

Gemini 2.5 Pro’nun, yanlış bir öncüle dayalı akademik makale talebine Hintçe verdiği yanıttan bir örnek. Yeşil vurgular onaylamayı, pembe vurgular ise itirazı gösteriyor. Burada model, iddiayı açıkça reddetmek yerine övgüyü dolaylı itirazlarla harmanlıyor. Kaynak

Araştırmacılar, yedi model ve beş dil üzerinde yaptıkları incelemede, bu “muğlaklığın” yapay zekâ teknik olarak itiraz etmiş olsa bile kullanıcıların başlangıçtaki yanlış bilgiye inanmaya devam etmesine yol açabildiğini buldu.

Dalkavukluğun diller arasında kullanım ve derece bakımından farklılık göstermesinden yararlanan on yazar, paylaştıkları beş ana dili kullanarak İngilizce, Almanca, Çince, Hintçe ve Yorubacayı kapsayan bir test yaklaşımı geliştirdi. Bu diller, kaynak düzeyi yüksek olandan düşük kaynaklı olarak sınıflandırılana kadar çeşitlilik gösteriyor. Yazarlar şöyle belirtiyor:

“Dil modellerinin yanlış girdilere nasıl karşı çıktığı ve/veya bunları nasıl onayladığı konusunda ayrıntılı bilgiler elde etmek için, insan doğrulamasından geçmiş, ifade düzeyinde bir yanıt etiketleme çerçevesi sunuyoruz. Çerçevemizi geliştiriyor ve İngilizce, Almanca, Çince, Hintçe ve Yoruba dillerindeki model yanıtlarına uyguluyoruz.”

“Modellerin kullanıcıların yanlış iddialarına karşı çıktığı durumlarda dolaylı ifadeler kullanma ve yanıtlarına onaylayıcı sözler katma eğiliminde olduklarını; Hintçe ve Yoruba dillerinde bu dolaylı anlatımın incelenen diğer dillere kıyasla daha belirgin olduğunu görüyoruz.”

Araştırmacılar, 300 katılımcının yer aldığı geniş çaplı bir çalışmada, yapay zekâ modellerinin muğlak düzeltmelerinin kullanıcıların olgusal yanılgılarını etkili biçimde sorgulamak yerine olduğu gibi bırakabildiğini buldu.

Testlerden birinde, bilgi arama amaçlı sorgulara verilen yanıtların ortalama 46.7 satır olduğu, düzeltici ifadelerin ise yalnızca iki ya da üç satırda yer aldığı belirlendi. Yani yapay zekâ yanlış bir iddiaya itiraz etse bile bu itirazı bulmak zor olabiliyor.

Araştırmacılar ayrıca, modellerin yanlış bilgileri, olağan bilgi taleplerinin içinde sunulmalarına kıyasla doğrulamaları açıkça istendiğinde sorgulama olasılığının daha yüksek olduğunu buldu. Ders kitaplarına atfedilen iddialar, genellikle arkadaşlara atfedilenlere kıyasla daha az itirazla karşılaştı.

Bilgi arama amaçlı yanıtların %29.4’ünde modeller düzeltmeyi onaylamayla harmanladı; bu oran Gemini 2.5 Pro’da %60.1’e çıktı. Bazen bu, itirazların güven verici sözlerin arasına gizlendiği bir “iltifat sandviçi” biçimini aldı.

Araştırmacılar olası bir çözüm olarak, modelleri yanıt vermeden önce “bir dakika beklemeye” teşvik eden basit bir müdahaleyi test etti. Bu müdahale, bazı durumlarda modellerin yanlış ifadeleri sorgulama isteğini artırdı; ancak doğru ifadeler hakkında yanlış itirazların sayısını da yükseltti.

Çalışma, yapay zekânın bir hatayı fark etmesini sağlamanın sorunun yalnızca bir kısmı olduğunu; bu hatayı iletmesini sağlamanın ise başlı başına ayrı bir zorluk oluşturduğunu gösteriyor.

Yöntem

Test materyali, OpenAI’nin 2021 tarihli Massive Multitask Language Understanding (MMLU) kıyaslamasının çok dilli sürümünden elde edildi. MMMLU olarak bilinen çok dilli veri kümesi, biyoloji ve tarih dahil olmak üzere akademik konuları kapsıyor.

Derlemedeki çoktan seçmeli sorular olgusal ifadelere dönüştürüldü. Yanlış iddialar oluşturmak için üç yanlış yanıt, doğru bir ifade oluşturmak içinse doğru yanıt kullanıldı.

Böylece, her dil için çift çevirisi yapılmış 1.756 MMMLU ölçüt öğesinden beş dilde toplam 35.120 ifadeden oluşan bir veri kümesi üretildi. Deneylerde, konu dağılımı dengeli daha küçük bir örneklem seçildi; bu örneklem 2.685 yanlış ve 895 doğru ifadeden oluşuyordu.

Test edilen dil modelleri, kapalı kaynaklı Gemini2.5 Pro ve GPT-5.5 ile beş açık ağırlıklı modelden oluşuyordu: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; ve Aya Expanse 32B.

Modelleri test etmek için kullanılan üç istem türünün ilkinde, doğrudan olgusal doğrulama için bir ifade sunuldu; ikincisinde, bir öğrenci söz konusu ifadeyle ilgili çalışma kaynakları arıyor gibi gösterildi; üçüncüsündeyse bir profesörün aynı temelde akademik makaleler talep ettiği varsayıldı.

Öğrenci istemlerinde ifadeler ders kitaplarına; öğretmenlere; arkadaşlara; internete; ya da belirtilmemiş bir kaynağa atfedildi. Profesör istemlerinde ise ifadeler profesörün kendi araştırmasına; meslektaşlarına; arkadaşlara; internete; ya da belirtilmemiş bir kaynağa atfedildi. Modellerin yanlış iddialara itiraz etme istekliliği, bu farklı atıflara göre değerlendirildi.

Çalışmada kullanılan üç istem şablonu: doğrudan olgusal doğrulama (doğrula); çalışma kaynakları talepleri (acemi); ve akademik makale talepleri (uzman). Kaynak atıfları ve konuya özgü ayrıntılar şablonlara yerleştirildi.

Model yanıtları dört kategoriye ayrıldı: açıkça çürütme; yanlış bir ifadeye doğrudan itiraz edildiği durumlar; dolaylı itiraz; açıkça reddetmeden anlaşmazlık ya da şüphe belirtildiği durumlar; övgü; kullanıcının ifadesinin veya yaklaşımının takdir edildiği durumlar; ve onaylama; ifadenin doğrulandığı durumlar.

Modellerin test edilen beş dilde kullanıcıların ifadelerini reddetmek, sorgulamak, övmek ya da onaylamak için kullandığı ifadelere örnekler. Uygun olduğunda İngilizce çeviriler verilmiştir.

Her yanıt, övgü, katılma ve karşı çıkma aynı yanıt içinde birlikte yer alsa bile bunların belirlenebilmesi için ifade ifade incelendi.

Bulgular

Sonuçlar, yanlış ifadeleri doğrulamaları istendiğinde doğru biçimde saptayan modellerin, bilgi ya da tavsiye istendiğinde aynı iddialara itiraz etme olasılığının daha düşük olduğunu gösteren önceki bulguları doğruladı: bilgi ya da tavsiye istendiğinde aynı iddialara itiraz etme olasılıkları daha düşüktür. Bu fark «itiraz açığı» olarak adlandırıldı ve doğrudan doğrulama testlerinde yanlış iddialara ne sıklıkla itiraz edildiği ile olağan bilgi arama taleplerinde bunlara ne sıklıkla itiraz edildiği karşılaştırılarak hesaplandı.

Beş dilde, yedi dil modelinin doğrudan olgu doğrulama ve bilgi arama taleplerinde yanlış ifadelere ne sıklıkla itiraz ettiğinin karşılaştırması. Negatif değerler, bilgi arama yanıtlarında itirazın azaldığını gösterir. Turuncu ve mavi sırasıyla öğrenci ve profesör istemlerini, simgeler ise ifadelerin atfedildiği kaynakları gösterir. Hata çubukları %95 güven aralıklarını belirtir.

Yukarıda görüldüğü üzere, test edilen dillerde iki Qwen 3.5 modeli diğerlerinden daha küçük bir fark sergiledi. Bu, sorunun nasıl çerçevelendiğinden bağımsız olarak yanlış bilgileri düzeltme konusunda daha tutarlı olduklarını gösteriyor. Sonuçlar ayrıca kaynağın görünürdeki otoritesinin etkisini de ortaya koyuyor: ders kitaplarına atfedilen yanlış iddialara, arkadaşlara atfedilenlere kıyasla daha az itiraz edildi. Bu eğilim diller genelinde gözlemlendi.

Modellerden olguları doğrulamaları yerine bilgi istendiğinde, yanlış iddiaları kesin bir dille reddetme olasılıkları azalırken dolaylı itirazlarda bulunma, övgüde bulunma ya da iddiayı doğrulama olasılıkları arttı. Genel itiraz oranları arasında görece az fark görülen Qwen 3.5 modelleri bile bu davranıştan etkilendi.

Beş dilde, yanlış iddialara itiraz eden yanıtlar arasında açık düzeltmeler içerenlerin oranı. Sonuçlar öğrenci (acemi) ve profesör (uzman) istemleri olarak ayrılmış; yatay eksende, bilginin atfedildiği kaynaklar gösterilmiştir. Hata çubukları %95 güven aralıklarını göstermektedir.

Yedi modelin dördünde, yanlış iddialara Hintçe, Çince ve Yoruba dillerinde İngilizceye kıyasla daha seyrek ve açıkça itiraz edildi. Yedi modelin beşinde en fazla övgü içeren yanıtlar da Hintçe verilen yanıtlardı.

Bilgi arama amaçlı yanıtların %65,3’ünde itiraz görüldü; ancak bu yanıtların yarısından azında yanlış iddia genellikle açıkça reddedildi. Doğrudan düzeltmelere öğrenci istemlerinde profesör istemlerine kıyasla daha sık rastlandı; iddialar otorite kabul edilen kaynaklara atfedildiğinde ise daha seyrek görüldü.

Hintçe, Çince ve Yoruba dillerinde, yanlış iddialara itiraz eden yanıtların çoğu bunu yalnızca dolaylı biçimde yaptı ve hatayı açıkça reddetmedi. Bilgi arama amaçlı yanıtların %29,4’ünde yanlış iddialara yönelik itirazlar onaylayıcı ifadelerle bir arada yer aldı; Gemini 2.5 Pro’da bu oran %60,1’e yükseldi:

Yedi model ve üç istem türünde, yanlış bir iddiaya itiraz etmeden önce onaylayıcı bir ifadeyle başlayan yanıtların yüzdesi: doğrudan doğrulama (doğrula); öğrenci talepleri (acemi); profesör talepleri (uzman). Sonuçlar, hem onaylayıcı ifadeler hem de itiraz içeren yanıtları kapsamaktadır. Hata çubukları %95 güven aralıklarını göstermektedir.

Yukarıda görüldüğü gibi modeller, yanlış iddiayı baştan düzeltmek yerine genellikle itirazlarını dile getirmeden önce onaylayıcı ifadeler kullandı. Bazı durumlarda itirazın ardından başka onaylayıcı ifadeler de geldi ve araştırmacıların “iltifat sandviçi” olarak tanımladığı bir yapı ortaya çıktı.

İnsanlarla Yapılan Çalışma

Bu düzeltmelerin gerçekten işe yarayıp yaramadığını sınamak için 300 katılımcı çalışmaya alındı: 100 İngilizce konuşan, 100 Almanca konuşan ve 100 Çince konuşan kişi. Katılımcılar, model yanıtlarını okumadan önce ve okuduktan sonra yanlış ifadeleri değerlendirdi.

Aşağıdaki görselde gösterildiği gibi, yanlış iddialara duyulan inancı İngilizce ve Almanca konuşanlar arasında güvenilir biçimde azaltan yalnızca açık düzeltmeler oldu. Buna rağmen, sonrasında ifadeleri yanlış bulanların oranı İngilizce konuşanlarda yalnızca %46,7, Almanca konuşanlarda ise %43,8’di. Çince konuşanlar arasında istatistiksel açıdan anlamlı bir iyileşme sağlayan yanıtlar, onaylayıcı ifadeleri dolaylı itirazlarla birleştirenler oldu:

Onaylayıcı ifadeler, dolaylı itirazlar veya açık düzeltmeler içeren model yanıtlarını okuduktan sonra katılımcıların yanlış ifadelerle ilgili değerlendirmelerindeki değişimler. Sonuçlar, İngilizce, Almanca ve Çince konuşanların her birinden 100 kişiyi kapsamaktadır. Negatif değerler, yanlış iddiaya duyulan inancın azaldığını göstermektedir. Her bir nokta bir katılımcıyı, siyah hata çubukları ise %95 güven aralıklarını göstermektedir.

Araştırmacılar ayrıca, modellerden yanıt vermeden önce “bir dakika beklemelerini” istemenin yanlış bilgilere itiraz etme eğilimlerini artırıp artırmayacağını da sınadı. Aşağıdaki son görselde, bazı durumlarda itirazların arttığına ve dalkavukça ifadelerin azaldığına dair bulgular görüyoruz; ancak bu değişiklikler, doğru ifadelere yönelik daha fazla yanlış itiraza da yol açtı:

İngilizce ve çevrilmiş istemler kullanılarak, yedi modelin “bir dakika bekle” müdahalesinden önceki ve sonraki yanıtlarının karşılaştırması. Grafikler, yanlış iddialara yönelik genel itirazları; onaylayıcı ifade içermeyen açık düzeltmeleri; ve doğru ifadelere yönelik yanlış itirazları göstermektedir. Dikey siyah işaretler, doğrudan doğrulama sonuçlarını göstermektedir.

Sonuç

Belki de dil modellerinin «iç mantığında» nezaket ile boyun eğme birbirine karışmıştır (yani eğitilmiş matrisleri ile üzerlerinde etkili olan çok sayıdaki dışarıdan dayatılan kısıtlamanın bileşik etkisi); yeni çalışma, modellerin bazen yanlış bir iddiayı neden fark ettiklerini, ancak itirazlarını neden övgü ya da onay ifadeleriyle çevrelediklerini ortaya koymuyor.

Temel sorun, GPT ve Gemini serileri gibi tüketicilere yönelik ürünlerin, en geniş ücretli müşteri kesiminin—muhtemelen “en düşük ortak paydanın” yanı sıra en büyük ve en kârlı hedef kitlenin—ürünü kolayca anlayabilmesi ve satın almaya devam etmek istemesi için insansı sunum katmanlarına zorla büründürülmüş olması.

Ürünün insan olmadığını kabul edebilsek, en azından tüm bu kafa karıştırıcı “bağlamı” kapatmayı ve modellerin eğitilmiş bilgisine daha doğrudan erişmeyi deneyebilirdik.

* Elbette, bu bilgi kendi başına bile alana katkı sağlıyor.

İlk yayımlanma tarihi: 15 Ekim 2026 Perşembe