Neden AI Cevap Bilmediğini Kabul Etmeyecek?

Büyük dil modelleri souvent cevabı bilemezken bile kendinden emin cevaplar verir. Yeni bir araştırmaya göre, bu modeller genellikle sorunun içinden çıkılmaz olduğunu içten içe bilir, ancak yine de bir cevap üretmeye devam eder, böylece ne bildiklerini ve ne söylediklerini arasında gizli bir uçurum ortaya çıkar.

ChatGPT veya Qwen serisi gibi önde gelen Büyük Dil Modelleri ile makul bir süre geçiren herkes, modelin yanlış cevap verdiğini (bu, size nasıl bağımlı olduğunuzla ilgili olarak yerel olarak felaketle sonuçlanabilir) ve hata ortaya çıktığında sadece özür dilediğini deneyimlemiştir.

Önde gelen LLM’lerin bir cevaba sahip olmadığını kabul etmekte neden bu kadar zorlandıkları, küçük ancak büyüyen bir araştırma alanıdır. Bir kendinden emin yanlış cevap, özellikle ChatGPT gibi yüksek derecede sansürlü ve filtrelenmiş API tabanlı bir arayüze sahip modeller için özellikle zararlı olabilir, çünkü bu tür modeller NSFW veya diğer “kuralları ihlal eden” girişi veya çıktıyı agresif bir şekilde engeller.

Bu, kullanıcının modelin kararlı ve kesin olduğu izlenimine neden olabilir, ancak aslında ret, modelin içgörülerinden değil, geleneksel bir heuristik veya blocklist tabanlı filtreden kaynaklanmaktadır.

Meta’dan Haziran 2025 ‘AbstentionBench’ makalesinden – solda, şekil, AbstentionBench’de yakalanan başarısızlık türlerinin kapsamını vurgulamaktadır, bu, 35.000’den fazla cevaplanamaz soruyu test etmektedir; ortada, bir örnek, modellerin genellikle yeterli bilgiye sahip olmadıklarını kabul etmek yerine uydurulmuş cevaplar verdiğini göstermektedir ve sağda, abstention recall, modeller akıl yürütme yerine talimatları izlemek için ayarlandığında düşer. Kaynak: https://arxiv.org/pdf/2506.09038

Çin’den bir makale, LLM modellerinin aslında bir soruya cevap veremeyeceklerini bilgisayarın içten içe bildiğini, ancak yine de bir cevap üretmeye devam ettiğini iddia etmektedir.

Makale şöyle diyor:

‘[LLM’ler] bu sorulardaki eksiklikleri tanımlamak için yeterli bilişsel yeteneklere sahiptir. Ancak, uygun bir şekilde çekinme davranışını sergilemede başarısız olurlar, böylece iç bilişleri ve dış cevabı arasında bir uyumsuzluk ortaya çıkar.’

Araştırmacılar, LLM’lerin iç işlemlerini, cevaplanamayan soruların belirtilerini taramak için bilişsel izleme/sondaj kullanarak iki aşamalı bir yaklaşım geliştirdiler; ve sonra, modelin “yardımcı” doğasının, kullanıcının sorunlarını, yanlış bir cevap üreterek daha da kötüleştirmesini önlemek için müdahale etti.

Çalışma, modellerin cevaplanamayan matematik sorularını tanıyıp tanımadığını test etmek için kasıtlı olarak belirsiz matematik sorularını kullanır, ancak bu kurulum, görevi bir “hile” olarak çerçeveleme riskini taşır. Aslında, modeller, belirsiz ifade, alan bilgisi boşlukları gibi nedenlerle çekinmek için çok daha rutin nedenlerle karşılaşırlar.

Yeni çalışma, Cevaplanamayanı Cevaplamak Yanlış Demektir: Büyük Mantık Modellerindeki Çekilme Hatalarının Analizi ve Azaltılması olarak adlandırılmıştır ve Nanjing Üniversitesi’ndeki Devlet Anahtarı Yeni Yazılım Teknolojisi Laboratuvarı ve Ulusal Sağlık Verileri Bilimi Enstitüsü’nden dört araştırmacı tarafından yapılmıştır.

Yöntem

(Yazarların yaklaşımına karşı uygun rakipler olmadığı ve makalenin slightly geleneksel bir formata sahip olduğu için, bu formata mümkün olduğunca uymaya çalışacağız.)

Önceki yaklaşımlarla uyumlu olarak, yazarlar, LLM’leri Synthetic Unanswerable Math (SUM) veri kümesinden cevaplanamayan matematik sorularıyla sunmaya odaklandılar, beş model ailesini değerlendirdiler: DeepSeek serisinden R1-Distill-Llama-8B; R1-Distill-Qwen-7B, R1-Distill-Qwen-14B; ve Qwen serisinden Qwen3-8B ve Qwen3-14B.

Cevaplanamayan sorunlar SUM’de beş şekilde oluşturuldu: ana bilgilerin silinmesi; belirsizliklerin tanıtılması; gerçekçi olmayan koşulların dayatılması; ilgili olmayan nesnelerin referanslanması; veya sorunun tamamen kaldırılması.

Sonuç olarak, 1.000 böyle bir durum için analiz amacıyla seçildi, GPT-4o, ground-truth nedenlerini oluşturmak için kısa açıklamalar üretmek için kullanıldı.

Modelin cevaplanamayan sorulara verdiği cevaplar, 10.000 tokenlik bütçeyle standardize edilmiş promtlar kullanılarak değerlendirildi, bu sırada üç ana davranış modeli gözlemlendi: ilk olarak, model sorunun çözülemeyeceğini tanıdı ve çekinme gösterdi – genellikle belirsizlik ifadesiyle cevap verdi; ikincisi, eksik bilgileri uydurarak tam bir cevap üretti, örneğin, bir sonucu haklı çıkarmak için var olmayan bir $9,99 işleme ücreti tanıtımı; Üçüncüsü, bilişsel takıntı olarak adlandırılan, modelin, sorunun geçerli bir cevabı olmadığına dair içsel bir kabulü olmasına rağmen, geçersiz çözüm yollarıyla uzun bir akıl yürütme döngüsüne girdiği durum:

İmkansız bir soruya verilen çeşitli cevap sonuçları.

Makale, daha büyük modellerin cevaplanamayan sorulara daha sık çekinme gösterme eğiliminde olduğu bir eğilim sunar: cevaplanamayan matematik sorunlarına verilen cevapların dağılımı, hallucinated cevaplar ve takıntı davranışlarındaki düşüşü gösterir:

Farklı model ölçeklerinde cevaplanamayan matematik sorunlarına verilen cevapların dağılımı, doğru çekinmelerin, uydurulmuş cevapların ve bilişsel takıntının göreceli sıklığını gösterir.

Ancak bu değişim sınırlıdır ve doğru çekinme yoluyla çözülemeyen birçok durum bırakır, bu da artan kapasitenin güvenilir bir şekilde daha dikkatli bir davranış üretmediğini gösterir.

Çekilme Bilinci

Araştırmacılar, dil modellerinin bir sorunun gerçekten cevaplanamayacağını belirleyip belirleyemeyeceğini test etmek için, modelin akıl yürütme bölümünü yarıda kestiler ve ya final bir cevap ya da neden sorunun cevaplanamayacağına ilişkin bir açıklama istediler.

Modelin sürekli olarak akıl yürüttüğü durumlarda, “bekle” kelimesinde durduruldu ve bir cevap istendi; modelin hızlı bir şekilde uydurulmuş bir cevap ürettiği durumlarda, bir paragraf sınırında bir kesme noktası eklendi.

Soldaki grafik, modellerin akıl yürütme sırasında kesinti durumunda doğru çekinme sıklığını gösterir, takıntı durumları için daha yüksek oranlar gösterir; sağdaki grafik, modellerin çoğunun, final cevapları başarısız olsa bile, neden bir sorunun cevaplanamayacağına ilişkin bir açıklama verebileceğini gösterir.

Bu durumların çoğunda, model doğru bir çekinme veya açık bir açıklama sağladı, hatta önce yanlış bir cevap üretmiş olsa bile. Araştırmacılar, bu durumun, modelin genellikle sorunun problemli olduğunu akıl yürütme sırasında tanıyıp tanıyamadığını gösterir.

LLM’yi Anlamak

Araştırmacılar, dil modellerinin bir sorunun cevaplanabilir olup olmadığını içten içe takip edip etmediğini test etmek için, modellerin gizli aktivasyonlarını akıl yürütme sırasında küçük sınıflandırıcılar ile eğiterek, cevaplanabilir ve cevaplanamayan sorular arasındaki farkın modelin iç sinyallerinde zaten mevcut olup olmadığını kontrol ettiler.

Yüksek düzeyli kavramlar gibi doğruluk veya cinsiyet, model aktivasyonlarında lineer olarak gömülebilir, ‘cevaplanabilirlik’* benzer bir temsil için test edildi.

Basit lineer sınıflandırıcılar (sondalar), farklı model katmanlarındaki gizli aktivasyonlara, multi-head dikkat mekanizması kullanılarak, artıkların bağlantısı öncesinde eğitildi.

Her bir sonda, cevaplanabilir ve cevaplanamayan soruları ayırt etmek için, akıl yürütme sürecinden gelen iç aktivasyonlara dayanarak eğitildi. Giriş, SUM veri kümesinden 2.200 soru çiftinden oluşuyordu, 2.000’ü eğitim için ve 200’ü doğrulama için kullanıldı.

Çıktı zamanında, modelin tahmini, akıl yürütme dizisi boyunca görülen tokenler boyunca ortalama olarak hesaplandı, bu da sondanın, cevaplanabilirlik ile ilgili sinyallerin nasıl ortaya çıktığını izlemesini sağladı:

Cevaplanabilir ve cevaplanamayan soruları ayırt etmek için eğitilen lineer sondaların sınıflandırma doğruluğu, akıl yürütme sürecinin farklı noktalarında ölçüldü. Doğruluk genellikle akıl yürütme ilerledikçe iyileşir, daha büyük modeller son aşamalarda %85’in üzerine ulaşır.

Yukarıda gösterildiği gibi, sonda doğruluğu akıl yürütme ilerledikçe sürekli olarak iyileşir, çoğu model son adımlarda %80’in üzerinde sınıflandırma doğruluğuna ulaşır – bu, modelin dış davranışının bunu yansıtmamasına rağmen, iç temsilinin genellikle bir sorunun cevaplanabilir olup olmadığını gösteren net bir sinyal taşıdığına dair kanıtları sunar.

İnattı

Önceki sonuçlar, büyük dil modellerinin genellikle bir sorunun cevaplanamayacağını tanıdığına işaret etse de, modelin yine de bir cevap üretmeye devam ettiği belirtilmektedir.

Araştırmacılar, bu uyumsuzluğu araştırmak için, modellerin belirli noktalarda akıl yürütme sürecinde çekinme konusunda ne kadar güvendiklerini analiz ettiler: doğru çekinme; uydurulmuş cevap; ve bilişsel takıntı olmak üzere üç kategoriye ayrıldı.

Her kategori için eşit büyüklükte örnekler kullanıldı, güven, decoding adımları boyunca her bir çıktı tokenine atanmış ortalama maksimum olasılık olarak tanımlandı, önceki çalışmalardan formülasyon temel alınarak. Aşağıdaki grafikte gösterildiği gibi, uydurulmuş cevaplar ve bilişsel takıntı durumları, doğru çekinme durumlarına göre daha düşük çekinme güveni gösterdi:

Farklı cevap türleri için ‘Bilmiyorum’ cevabını üretme güveni seviyeleri.

Araştırmacılar ayrıca, modellerin akıl yürütme sırasında ‘Bilmiyorum’ cevabını ne sıklıkla ürettiğini ölçtüler. Aşağıdaki grafik, doğru çekinme durumlarında ‘Bilmiyorum’ cevabının daha sık üretildiğini, diğer iki kategori için daha az üretildiğini gösterir:

Farklı cevap türleri için ‘Bilmiyorum’ cevabının sıklığı, akıl yürütme sırasında durdurma noktalarında gösterilir.

Bu bulgular, araştırmacıların iddiasına göre, modellerin içten içe cevaplanamayan soruları tanıyıp tanıyamadıklarını, ancak bu bilinci eyleme geçirmekte yeterli güvenden yoksun olduklarını gösterir, böylece görevi tamamlama tercihini ortaya koyar.

Testler

Bu bulgulara dayanarak, araştırmacılar, çekinmeyi iyileştirmek için iki aşamalı bir yöntem geliştirdiler. İlk aşama, bilişsel izleme, modelin gizli durumlarını akıl yürütme sırasında izler, akıl yürütme sürecini doğal birimlere böler, örneğin klöz veya duraklama, ‘bekle’ gibi kelimelerle işaretlenir.

Her bir segmentin sonunda, cevaplanamayan soruların belirtilerini taramak için eğitilen hafif, lineer bir sonda, cevaplanamayan bir sorunun olasılığını tahmin eder. Bu olasılık bir eşiği geçtiğinde, süreç ikinci aşamaya geçer: akıl yürütme sırasında, modelin ‘yardımcı’ doğasının, kullanıcının sorunlarını, yanlış bir cevap üreterek daha da kötüleştirmesini önlemek için müdahale edilir.

Model, bir sorunun cevaplanamayacağını içten içe tanıyorsa, akıl yürütme, bu bilinci pekiştiren ve çekinme olasılığını artıran bir müdahale ile kesintiye uğrar. Aşağıdaki gibi, müdahale, modelin bir sorunun geçerli bir cevabı olmayabileceğini hatırlatan bir ‘yönlendirme promt’u temsil eder:

Akıl yürütme zamanı müdahalesini koşullandırmak için bir promt.

Yöntem ayrıca, akıl yürütme dizisinin gereksiz olarak devam etmesini önleyen bir erken çıkış mekanizması içerir, böylece modelin çekinmeyi meşru ve bazen tercih edilen bir seçim olarak görmesini teşvik eder.

Test aşaması için, araştırmacılar iki veri kümesi kullandı: Cevaplanamayan Matematik Kelime Problemi (UMWP) ve yukarıda bahsedilen SUM.

SUM’un test kümesi bu amaç için kullanıldı, 284 cevaplanamayan ve 284 cevaplanabilir el ile kontrol edilmiş sorular içeriyordu. UMWP, dört matematik kelime problemi kaynağından oluşuyordu: SVAMP; MultiArith; Grade School Math (GSM8K); ve ASDiv.

Tüm veri kümesi 5.200 problemi içeriyordu, 600’ü test için örneklendi, eşit olarak cevaplanamayan ve cevaplanabilir sorular arasında bölündü. UMWP’deki cevaplanamayan öğeler için GPT-4o, neden çözülemeyeceği konusunda ground-truth açıklamaları üretti.

Metriklar

Model performansı dört metrik kullanılarak ölçüldü: çekinme oranı, modelin cevaplanamayan sorulara doğru bir şekilde çekinerek “Bilmiyorum” cevabını verdiği oran; sebep doğruluğu, modelin neden bir sorunun çözülemeyeceğini geçerli bir açıklama ile verdiği oran; token kullanımı, akıl yürütme sırasında üretilen tokenlerin sayısı; ve cevap doğruluğu, modelin doğru final cevabı ürettigi cevaplanabilir soruların oranı.

Test Temelleri

Bu problème için standart temeller olmadığından, araştırmacılar yöntemlerini iki alternatife, Dynasor-CoT ve Dynamic Early Exit in Reasoning Models (DEER) ile karşılaştırdı, doğru çekinmenin, bir sorunun çözülemeyeceği durumlarda doğru cevap olarak ele alınması gerektiğini varsayarak.

Dynasor-CoT, modellerin ara cevaplar üretmesini sağlar ve aynı sonucu üç kez ardışık olarak ürettiğinde durur, mentre DEER, cümle düzeyinde güveni izler ve bir eşiğe ulaşıldığında akıl yürütmeyi durdurur.

Üçüncü bir temel, Vanilla olarak adlandırılır, değiştirilmemiş model çıktılarını ifade eder. Testler, yukarıda bahsedilen beş Qwen ve DeepSeek varyantını kullandı.

Birleşik sonuçlar aşağıdaki gibidir:

Farklı yöntemlerin, büyük akıl yürütme modelleri üzerindeki cevaplanabilir ve cevaplanamayan sorular üzerindeki karşılaştırması, her sütundaki en yüksek değerler kalın olarak gösterilir. Kaynak makale için daha iyi bir çözünürlük için lütfen orijinal makaleye bakınız.

Yeni yaklaşım, cevaplanamayan sorularda en yüksek çekinme oranları ve doğru akıl yürütme oranları üretti. Cevaplanabilir sorularda, doğruluk vanilla modellerinkine yakın kaldı ve bazen iyileşti, bu da normal problem çözmenin zarar görmediğini gösteriyor.

Token kullanımı, cevaplanamayan durumlarda %30-50, cevaplanabilir durumlarda ise hafif bir düşüş gösterdi, bu da daha verimli bir işlem olduğunu gösteriyor.

Çekilme oranı ile akıl yürütme doğruluğu arasında bir bağlantı görüldü, çünkü daha sık çekinen modeller daha iyi açıklamalar sağladı, bu da akıl yürütme kalitesinde bir iyileşme olduğunu gösteriyor.

Qwen3 modelleri genellikle distile edilmiş (kuantize edilmiş) sürümlerden daha iyi performans gösterdi, daha büyük modeller daha güçlü çekinme yeteneği sergiledi, bu da hem mimari hem de ölçek önemlidir.

Son olarak, araştırmacılar, yeni yöntemlerinin uydurulmuş cevapları ve takıntıları azalttığını, doğru çekinmeleri artırdığını, mentre temel yaklaşımların bazen daha fazla uydurulmuş cevaplar ürettiğini bildirdi.

Ayrıca, ‘Bilmiyorum’ cevaplarının güveni ve sıklığında kazançlar rapor ettiler, iç sinyallere dayalı izlemenin, davranışsal ipuçlarına dayalı stratejilerden daha etkili olduğunu kanıtladı.

Sonuç

LLM’lerin gerekli olduğunda bir soruya cevap vermeye çekinmemelerinin, kullanıcı deneyimi açısından en büyük sürtüşme noktalarından biri olduğu, özellikle de diğer arayüz özelliklerinin, AI’nin dikkatli cevaplar verebileceği izlenimini yarattığı için.

Doğrudan bir tür müdahalenin, modelin karakterinden doğrudan gelmediği takdirde, aşırı veya yetersiz kullanım endişesi vardır ve algılanan aktivasyonların gerçekten modelin yenilgiyi kabul etmesine ilişkin olup olmadığı belirsizdir.

Daha da önemlisi, bilişsel izleme için lineer sonda kullanımının lojistik maliyetinin önemli olmayabileceği ve daha basit, heuristik yöntemlerin, örneğin yasak içerikten kullanıcıları engelleyenler gibi, daha ucuz bir çözüm olabileceği, ancak tetikleyicilerin yeterince tanımlanabileceği durumlarda.

* Doğal olarak, bu, apparent ‘hesap verebilirlik’ synoniminin aksine, bir sorunun cevaplanabilir olup olmadığını tanımlar.

Çarşamba, 27 Ağustos 2025 tarihinde ilk kez yayınlandı.