Gerçek Neden RAG Boru Hattınız Hallüsinasyon Yapmaya Devam Ediyor

Bu ritüeli biliyorsunuz. Boru hattı bir müşterinin önünde hallüsinasyon yaratmış,所以 embedding modelini değiştirdiniz. Sonra LLM’yi yükselttiniz. Sonra, artan şekilde büyük harflerle, SADECE SAĞLANAN BAĞLAMI KULLANIN diyen bir sistem promt’u eklediniz. Ve bu sabah, var olmayan bir politika belgesini güvenle alıntıladı.

İyi şirketlersiniz. Stanford’un RegLab ve HAI araştırmacıları, LexisNexis ve Thomson Reuters (TRI ) tarafından satılan AI yasal araştırma araçlarını denetlediğinde, “hallüsinasyon-free” olarak pazarlanan ürünler için, retrieval-augmented generation sayesinde hallüsinasyon oranları %17 ile %34 arasında oldu. RAG gerçekten yardımcı oldu: ham GPT-4 çok daha fazla hallüsinasyon yaratmıştı. Ancak “azaltılmış” ve “elimine edilmiş” arasındaki fark, üretim sistemlerinin yaşadığı yerdir ve bu fark bir yapıya sahiptir.

RAG boru hattındaki hallüsinasyon genellikle tek bir başarısızlık değildir. Üçüncü bir komplocudur: geri alma başarısız olur, model bilinmeyenleri tahmin etmeye eğitilir ve boru hattında bu iki gerçeğin arasındaki boşluğu ölçen hiçbir şey yoktur. Model değiştirmek bunlardan hiçbirini çözmez.

Komplocu bir: geri alma daha sık başarısız olur

Buradaki en taze kanıt aynı zamanda en rahatsız edici olandır. Kasım 2025’te, 18 tıp uzmanını içeren bir ekip, gerçek hasta ve USMLE-stil sorgular上的 800 RAG çıktısı için 80.502 adet açıklama üretti. Standart RAG sadece eksik değil, aynı zamanda factuality’i %6 ve completeness’i %5 oranında, retrieval olmadan çalışan aynı modellere kıyasla düşürmüştü. Kök neden, LLM’nin tamamen dışında, üst akışta yer alıyordu: sadece %22’si en iyi 16 geri alınan pasaj, sorgu ile ilgiliydi.

Bu vấnımı, zor bir alan sorunu olarak görmezden gelmeden önce, Anthropic, geliştirirken bağlamsal geri alma tekniğini ölçtü ve standard embedding aramasının gereken parçayı ilk 20 sonuçta getiremediğini buldu. On sekizinci bir sorguda, temiz ve düzenlenmiş veriler üzerinde, hiçbir şey olağandışı değil.

Bu, RAG başarısızlıklarının kanonik mühendislik taksonomisinin, Barnett et al.’in yedi başarısızlık noktasının neden bu kadar önemli olduğunu açıklıyor: yedi başarısızlık noktasının üçü (eksik içerik, kaçırılan en iyi sıradaki belgeler ve bağlamsal birleştirme başarısızlıkları), dil modeli tek bir token üretmeden önce ortaya çıkar. Unite.AI, bu taksonomi ve bunlara karşılık gelen değerlendirme çerçevelerinin etraflıca bir açıklamasını yayınladı, bu nedenle burada yeniden inşa etmeyeceğim. Bu makale, teşvikler hakkında bir nokta ekliyor: gömme benzerliği, alaka düzeyinin bir proxy’sidir, garantisi değildir ve Google DeepMind’den recent teorik çalışmalar, tek vektör gömmelerinin, gerçekten alakalı belgelerin hangi kombinasyonlarını temsil edebileceği konusunda zor matematiksel sınırları olduğunu gösteriyor. Yanlış parçalar döndüren bir geri alıcı, tam da kosinüs benzerliği yaptığı şeyi yapıyor.

Komplocu iki: model bilinmeyenleri tahmin etmeye eğitildi

Şimdi, kusurlu bağlamı, dil modeline verin ve modelin eğitiminden neler öğrendiğini görün.

OpenAI, Eylül 2025’teki makalesinde Neden Dil Modelleri Hallüsinasyon Yapar直接 olarak cevapladı: standard eğitim ve değerlendirme, bilinmeyenleri tahmin etmeyi, belirsizliği kabul etmekten daha çok ödüllendirir. Benchmark’lar ikili doğruluğu puanlar, çekinmek sıfır puan alır ve böylece modeller, bir multiple-choice sınavındaki öğrenciler gibi, emin bir tahminin boş bir yanıttan daha iyi olduğunu öğrenirler. Makalenin kendi karşılaştırması somuttur: SimpleQA’da, bir akıl yürütme modeli %1 oranında çekinir ve %75 oranında yanlış olurken, farklı şekilde ayarlanmış bir kardeş model %52 oranında çekinir ve hata oranını %26’ya düşürür.

RAG’ye özgü benchmark’lar, bu teşviklerin boru hattı içindeki sonuçlarını gösterir. RGB benchmark, modellerin, sadece alakasız belgeler verildiğinde, cevap vermeyi reddetmelerini test etti. Test edilen tüm modellerin en iyi negatif reddetme oranı %45 idi, yani en iyi model bile, sadece çöp bağlamı verildiğinde, daha fazla zaman cevap verdi. ClashEval, ayna görüntüsünü buldu: geri alınan içerik, modelin zaten doğru olan bilgisine aykırı olduğunda, modeller %60’tan fazla zaman, yanlış bağlam lehine kendi doğru cevaplarını terk ettiler. Bağlılık her iki yönde de başarısız oluyor ve Salesforce’un FaithEval çalışması, daha büyük modellerin güvenilir şekilde daha sadık olmadığını ekliyor.

Anthropic’in yorumlanabilirlik ekibi, mekanizmayı izledi. Analizlerine göre, ret, modelin varsayılan devresidir; bir “bilinen varlık” özelliği, model bir şey tanıdığı zaman bu reddi bastırır. Hallüsinasyon, bu özelliğin yanlış ateşlediği zaman, model sorunun şeklini tanıyorsa, ancak maddeye sahip değilse ve boşluğu akıcı bir şekilde doldurur.

Ve eğer bunun, sınırın basitçe aşılacağından umutsuzluk içindeysanız: Vectara’nın hallüsinasyon sıralaması, modelin doğrudan önüne konan tek bir belgeyi özetlemeyi ölçer ve Mayıs 2026 güncellemesinde, GPT-4o hala %9,6’lık bir oranda özetler uydururken, Claude Opus 4 %12’lik bir oranda uyduruyor. Geri alma mükemmel olsa bile, üretim sızıntısı devam ediyor.

İstintifsel çözüm durumu daha da kötüleştirir

Bununla karşı karşıya kalan çoğu takım, hacme ulaşır.

Kanit, bunun tam tersi yönde ilerler: Chroma’nın bağlam çürümesi çalışması, 18 modeli, GPT-4.1, Claude 4 ve Gemini 2.5 dahil, test etti ve performansı, girdi uzunluğu arttıkça “giderek daha güvensiz” hale geldiğini buldu, tek bir saptırıcı belge, ölçülebilir şekilde doğruluğu azaltırken, dört saptırıcı önemli ölçüde azalttı. Daha önceki Lost in the Middle araştırması, ünlü U-eğrisini buldu: orta bağlamda gömülü bilgi, uzun bağlamlı modeller tarafından bile görmezden geliniyor. Ve yukarıdaki tıbbi denetim, bu dinamiklerin sonuna kadar nasıl göründüğünü gösteriyor: bir sistem, on altı pasajı geri alıyor, on iki veya daha fazlasının alakasız olduğu bir yığını modeline veriyor, sonra model, “Bilmiyorum” demeye asla eğitilmemiş bir şekilde, kümesini teslim ediyor.

Daha fazla geri alma, daha fazla precisyon olmadan, sadece saptırıcı üretir. Temellendirilmiş üretim için precisyon, geri alma oranından daha önemlidir ve bu konuda yakın bir yarış yoktur.

Komplocu üç: kimse boşluğu ölçmüyor

Barnett et al., operasyonel gerçeği bir cümleyle ifade etti: “RAG sistemi only validation, only çalıştırma sırasında mümkündür.” Bir RAG boru hattını, staging’de imzalayamazsınız, çünkü başarısızlık modları, korpusunuzun, sorgularınızın ve kullanıcılarınızın ortak bir özelliği olup, hiçbiri sabit kalmaz.

Ancak çoğu üretim boru hattı, en iyi durumda, uçtan uca cevap kalitesini izler, bu da yukarıdaki iki komplocuyu tek, açıklanamayan bir sayıya karıştırır. Standard ayrıştırma, bazen RAG üçlüsü olarak adlandırılır, bağlam alakalılığını (geri alma doğru malzemeyi buldu mu?), temellendirilmişliği (cevap, o malzemeye bağlı mı?) ve cevap alakalılığını (soruyla ilgili mi?) ayırır. RAGAS ve TruLens gibi çerçeveler bunu uygular. Samimi olmak için, üretim ekiplerinin bu tür değerlendirmeleri çalıştırdığını ölçen hiçbir nghiêm túc bir anket yoktur; var olan şey, uygulayıcı kaydıdır ve o da çoğunlukla “vibes” tarafından değerlendirmeyle ilgili bir açıklamayı içerir. Ekibiniz, geri alma başarısızlıklarını, bağlılık başarısızlıklarından ayıran bir panelden yoksunsa, her hallüsinasyon, model problemi gibi görünmeye devam edecek ve model şeklindeki düzeltmelere devam edeceksiniz.

Ne çalışıyor, sırayla

Geri almayı, üretimden ayrı olarak ölçün. Herkesin atladığı, benim görüşüme göre bu listedeki en yüksek etkiye sahip çözüm, çünkü modeli satın alma tartışmasını, bir teşhis haline dönüştürür. Bağlam alakalılığı kötü ise, hiçbir üretici sizi kurtaramaz. Temellendirilmişlik kötü ise, iyi bağlamla, hiçbir geri alıcı sizi kurtaramaz.

Presisyon yığınını oluşturun. Anthropic’in yayınladığı sayılar, her yerde temiz bir şekilde gösterilen yığınlanmış geri alma düzeltmelerinin en temiz demonstrasyonudur: bağlamsal parça gömmeleri, ilk 20 sonuçta geri alma başarısızlığını %5,7’den %3,7’ye, BM25 hibrit araması (klasik anahtar kelime eşleştirmesi ile birlikte vektör araması) %2,9’a, ve bir yeniden sıralayıcı (gerçek alakalılık için aday parçaları yeniden puanlayan ikinci aşama modeli) ekleyerek %1,9’a düşürdü, toplam %67’lik bir azalma. Unite.AI, iki aşama geri almanın neden ağırlığının üzerinde vurduğunu etraflıca açıkladı.

Çekinmeyi ödüllendirin. OpenAI’nin reçetesi, emin hataları, belirsizliği ifade etmekten daha çok cezalandırmaktır ve bunu yerel olarak bugün uygulayabilirsiniz: “Bilmiyorum” cevaplarını isteyin ve değerlendirin, ve üretilen her iddiayı, cevap gönderilmeden önce, geri alınan metin tarafından desteklenip desteklenmediğini doğrulayan bir zemin kontrolü (NLI) ekleyin. RAGTruth çalışması, küçük bir fine-tuned dedektörün, GPT-4 tabanlı promt’ları yakalarken, desteklenmeyen iddiaları yakalamada eşdeğer olabileceğini gösterdi.

Sorguları yeniden yazın ve kanıtları süzün. Tıbbi denetimde, sorgu reformülasyonu ve kanıt süzme, gerçeklik puanını %12’ye kadar geri kazandırdı. Ucuz, sıkıcı, etkili.

İstihbari geri almayı son olarak düşünün. Birden fazla adımda geri alma, bir sonraki parçayı almak için nedenler hakkında akıl yürütür ( burada bir primer ) ve gerçekten zorlu çok adımlı sorgulara yardımcı olur, ancak gecikme, maliyet ve yeni başarısızlık modları ekler. Bir taç taşı, bir temel değildir.

Model en az bozuk olan parçaydı

Açılıştaki ritüele geri bakın. Ritüelin her adımı, hallüsinasyonu, üreticideki bir kusur olarak ele aldı. Kanıt, üreticinin, eğitiminden dolayı yaptığını söylüyor, size geri alıcınızın verdiği malzemelerle, hiçbir ölçümün hangisinin başarısız olduğunu söyleyemeyecek şekilde, görmezden geliniyor.

RAG boru hattınız bozuk değil. İtaatkar. Tam da teşviklerinin ödüllendirdiği şeyi yapıyor ve geri almayı, üretimden ayrı olarak ölçmediğiniz ve “Bilmiyorum”u bir başarısızlık yerine bir puan kategorisi haline getirmedikçe, bu teşvikler diyor ki: tahmin et.