Düşünce Liderleri
Güvenilir RAG Nasıl Kurulur: Yedi Başarısızlık Noktası ve Değerlendirme Çerçevelerine Derinlemesine Bakış
Öne çıkan noktalarDeepEval, üretim dağıtımı öncesinde RAG gerilemelerini yakalamak için CI/CD…
Daha fazla göster
- DeepEval, üretim dağıtımı öncesinde RAG gerilemelerini yakalamak için CI/CD pipeline'larına entegre olur.
- RAGAS, insan verisi olmadan alım ve üretim hatalarını teşhis etmek için sentetik test setleri oluşturur.
- Arize Phoenix, bir vektör veritabanının bilgi kapsamındaki boşlukları ortaya çıkarmak için embedding kümelerini görselleştirir.
Bilgi Erişimiyle Desteklenen Üretim (RAG) modern AI mimarisi için kritiktir ve bağlam bilinci olan ajanlar oluşturmak için temel bir çerçeve olarak hizmet eder.
Ancak temel bir prototipten üretim için hazır bir sisteme geçmek, veri alma, bağlam birleştirme ve yanıt sentezleme konularında önemli engelleri aşmayı gerektirir.
Bu makale, RAG sistemlerindeki yedi tipik başarısızlık noktasına ve pratik kod örnekleri ile değerlendirme metriklerine derinlemesine bir bakış sunar.
RAG Başarısızlığının Anatomisi – 7 Başarısızlık Noktası (BN)
Araştırmacılar Barnett ve çalışma arkadaşlarına göre, Bilgi Erişimiyle Desteklenen Üretim (RAG) sistemleri boru hattı boyunca 7 spesifik başarısızlık noktası (BN) ile karşılaşır.
Aşağıdaki şema bu aşamaları gösterir:

Şekil A. RAG sistemi oluşturmak için gereken indeksleme ve sorgulama işlemleri. İndeksleme işlemi geliştirme zamanında, sorgulama ise çalışma zamanında yapılır. Bu çalışmada tanımlanan başarısızlık noktaları kırmızı kutular içinde gösterilir (kaynak)
Şimdi, her BN’yi, Şekil A‘daki sol üstten sağ alta doğru ilerleyen boru hattı sırasına göre inceleyelim.
BN1. Eksik İçerik
Eksik içerik, ilgili bilgi baştan beri vektör deposunda bulunmadığı için sistemin cevaplayamayacağı bir soru alması durumunda ortaya çıkar.
Başarısızlık, LLM’nin bilmediğini söylemek yerine inandırıcı ama yanlış bir cevap vermesiyle gerçekleşir.
BN2. Doğru Belge Üst Sıralara Giremedi
Bu, doğru bir belgenin vektör depolama alanında bulunması ancak erişim bileşeninin belgeyi LLM’ye bağlam olarak sunulan top-k belge arasına girecek kadar üst sıralara yerleştirememesi durumudur.
Sonuç olarak, doğru bilgi LLM’ye ulaşmaz.
BN3. Bağlamda Değil (Birleştirme Stratejisi Sınırlamaları)
Bu, doğru bir belgenin bulunup erişilmiş olmasına rağmen birleştirme sırasında dışlandığı durumdur.
Bu, çok fazla belge döndüğünde ve sistemin LLM’nin bağlam penceresi, token limitleri veya hız limitleri içinde sığdırmak için onları filtrelemesi gerektiğinde ortaya çıkar.
BN4. Çıkarılmadı
Bu, LLM’nin bağlamda doğru bilgiyi tanımlayamadığı durumdur, ancak doğru bilgi vektör depolama alanında bulunmakta ve başarıyla alınıp birleştirilmektedir.
Bu durum, bağlamın çok fazla gürültü veya LLM’yi şaşırtan çelişkili bilgiler içermesiyle ortaya çıkar.
BN5. Yanlış Format
Bu, depolama, alma, birleştirme ve LLM yorumunun başarılı olmasına rağmen LLM’nin istemde belirtilen belirli biçim talimatlarına uymadığı durumdur; örneğin bir tablo, madde işaretli liste veya JSON şeması istenmiş olabilir.
BN6. Uygunsuz Ayrıntı Düzeyi
LLM’nin çıktısı teknik olarak mevcuttur, ancak kullanıcının ihtiyaçlarına göre ya çok genel ya da çok karmaşıktır.
Örneğin, bir LLM, karmaşık bir profesyonel hedefe sahip bir kullanıcı sorusuna basit cevaplar üretir.
BN7. Eksik Cevaplar
Bu durumda LLM’nin çıktısı mutlaka yanlış değildir, ancak bağlamda bulunan önemli bilgiler eksiktir.
Örneğin, bir kullanıcı “A, B ve C belgelerindeki ana noktalar nelerdir?” gibi karmaşık bir soru sorduğunda, LLM yalnızca bir veya iki kaynağa cevap verir.
BN’ler RAG Boru Hattı Performansını Nasıl Etkiler
Her bir BN, RAG boru hattının performansını etkiler:
Veri Bütünlüğü ve Güvenilirlik Başarısızlıkları
Eksik veya yanlış bilgi mevcut olduğunda, sistem güvenilir bir bilgi kaynağı olmaktan çıkar. Birincil BN’ler şunları içerir:
- BN1 (Eksik İçerik): Cevap belgede ilk başta yoktur.
- BN4 (Çıkarılmadı): LLM, belgedeki doğru cevabı görmezden gelir.
- BN7 (Eksik): LLM, önemli parçaları eksik olan yarı doğru cevaplar verir.
Alma ve Verimlilik Darboğazları
RAG boru hattı, alma ve birleştirme aşamalarında kritik bilgileri kaçırdığında verimsiz olabilir. Birincil BN’ler şunları içerir:
- BN2 (Doğru Belge Üst Sıralara Giremedi): Gömme modeli, top-k gömmeleri seçemez.
- BN3 (Bağlamda Değil): Belgeleri LLM limitlerine sığdırmak için kısaltan betik, en önemli kısımları atlar.
Kullanıcı Deneyimi ve Biçim Hataları
Doğru olsa da, kötü okunabilirlik veya yanlış formatlı bir çıktı, kullanıcı deneyimini tehlikeye atabilir. Birincil BN’ler şunları içerir:
- BN5 (Yanlış Format): LLM, JSON gibi belirli bir çıktı formatını takip edemez.
- BN6 (Uygunsuz Ayrıntı Düzeyi): LLM, basit bir evet/hayır sorusuna uzun bir cevap veya karmaşık bir soruya çok kısa bir cevap üretir.
Değerlendirme Yığını: BN’leri Azaltmak İçin Çerçeveler
Değerlendirme metrikleri, bu BN’leri sistematik olarak azaltmak için tasarlanmıştır.
Bu bölüm, önemli değerlendirme metriklerini ve pratik kullanım örneklerini keşfeder.
Önemli RAG Değerlendirme Metrikleri:
- DeepEval
- RAGAS
- TruLens
- Arize Phoenix
- Braintrust
DeepEval – Dağıtımdan Önceki Birim Testi
DeepEval kriterlerine dayalı bir ağırlıklı puan hesaplar:
Bir LLM-as-a-judge (örneğin, GPT-4o), her kriteri LLM’nin çıktısına karşı değerlendirir:

DeepEval, G-eval adlı bir zincirleme düşünme (CoT) çerçevesini kullanır ve çıktıyı değerlendirmek için çok adımlı bir yaklaşım benimser:
- Kriter tanımla (örneğin, “tutarlılık”, “akıcılık” veya “ilgililik”).
- Değerlendirme adımları üretin (bir değerlendirici LLM kullanarak).
- Değerlendirme adımlarını takip et ve girdiyi ve LLM’nin çıktısını analiz et.
- Her kriter puanının beklenen ağırlıklı toplamını hesaplayın.
Pratikte Yaygın Bir Senaryo
- Durum: Karmaşık bir yazılım ürününün teknik belge asistanı (bot), mühendislik ekibi kod tabanını her güncellediğinde çalışıyor gibi görünür.
- Problem: Botun hâlâ kullanıcının sorusuna cevap verebildiğine dair nicel kanıt yoktur; yalnızca çalıştığını “düşünürsünüz”.
- Çözüm: GitHub Actions içinde bir PyTest işlevini CI/CD regresyon test paketi olarak entegre edin; DeepEval bir test örneği üzerinde
G-Evalve diğer metrikleri çalıştırsın:
- Beklenen Sonuç: Herhangi bir metriğin puanı eşiğin (0.85) altına düştüğünde, PyTest
AssertionErroroluşturur – CI derlemesi hemen başarısız olur ve fark edilmeyen bir performans gerilemesinin üretime ulaşması önlenir.
Artıları ve Eksileri
- Özelleştirilmiş önyargı ve toksisite kontrolleri dahil 50’den fazla metrik mevcuttur.
- Mevcut CI/CD boru hatlarına sorunsuz entegrasyon sağlar.
- Referans cevap gerekmez. Yalnızca istem ve sağlanan bağlam temelinde çıktıyı değerlendirin.
- Değerlendirme kalitesi, yargıç LLM’nin yeteneklerine bağlıdır.
- Üst düzey bir değerlendirici LLM kullanılıyorsa hesaplama maliyeti yüksektir.
Geliştirici Notu – DeepEval için Test Durumu
Bir diziLLMTestCasenesnesi, DeepEval tarafından çalıştırılan test durumunu tanımlar.Pratikte, bu test durumu, en önemli kullanıcı sorgularını, etiketlenmiş çıktıları ve erişilen bağlamı içermelidir.
Bunlar bir JSON veya CSV dosyasından alınabilir.
RAGAS – Saman İçinde İğne Optimizasyonu
Retrieval Augmented Generation Assessment (Ragas), sentetik test kümeleri oluşturarak insan tarafından etiketlenmiş veri seti olmadan RAG’ı değerlendirmeyi hedefler.
Sonra, başlıca metrikleri hesaplar:

Şekil B. Kesinlik, duyarlılık, kaynağa sadakat ve ilgililik metrikleriyle soru, bağlam ve cevabı birbirine bağlayan RAGAS değerlendirme üçgeni (oluşturan: Kuriko IWAI)
Başlıca metrikler üç gruba ayrılır:
- Bilgi erişimi hattı (Şekil B‘de siyah, kesintisiz çizgi): Bağlam kesinliği, bağlam duyarlılığı.
- Oluşturma boru hattı (Şekil B‘de siyah, noktalı çizgi): Kaynağa Sadakat, cevap alakalılığı.
- Referans veri (Şekil B‘de kırmızı kutu): Cevap anlamsal benzerliği, cevap doğruluğu.
Pratikte Yaygın Bir Senaryo
- Durum: Hukuki sözleşmeler için kullanılan RAG sistemi önemli hükümleri atlıyor. Sorunun aramadan (erişim bileşeni) mı yoksa okumadan (üretici) mı kaynaklandığından emin değilsiniz.
- Problem: En uygun top-k değerini (erişilen parça sayısını) bilmiyorsunuz.
- Çözüm: RAGAS’ı kullanın ve 100 soru-kanıt çiftinden oluşan sentetik bir test kümesi oluşturun. Ardından, RAG boru hattını test kümesi üzerinde çalıştırın ve bağlam duyarlılığını ve bağlam kesinliğini hesaplayın:
- Beklenen Sonuç: Metrik sonuçlarına bağlı olarak, eylem planı aşağıdaki gibi olabilir:
| Metrik | Puan | Tanılama | Eylem Planı |
| Bağlam Duyarlılığı | Düşük | Bilgi erişimi bileşeni doğru bilgiyi bulamadı. | – Üst-k’ı artır. – Hibrit arama (BM25 + Vektör) deneyin. |
| Bağlam Kesinliği | Düşük | Üst-k parçaları, LLM’yi karıştıran çok fazla gereksiz içerik ve gürültü içerir. | – Üst-k’ı azalt. – Yeniden sıralayıcı (örneğin, Cohere) uygulayın. |
| Kaynağa Sadakat | Düşük | Oluşturucu, verilere sahip olmasına rağmen hayal görüyor. | – Sistem istemini ayarlayın. – Bağlam penceresi limitlerini kontrol edin. |
Tablo 1. RAGAS Tanılama Eylem Planı – Puanları Sistem Ayarlarına Eşleme.
Artıları ve Eksileri
- Erken aşamada, referans veri seti olmadan mükemmeldir (Gördüğünüz gibi, RAGAS sentetik bir test kümesi oluşturabilir).
- Sentetik test kümesi, ince olgusal hataları kaçırabilir.
- Cevapları bireysel iddialara ayırmak için güçlü bir çıkarıcı modele ihtiyaç duyar (Örnekte
gpt-4okullandım).
TruLens – Geri Bildirim Döngüsü Uzmanı
TruLens, yalnızca son çıktıya değil, RAG işleminin iç mekanizmalarına odaklanır ve geri bildirim fonksiyonları kullanır.
Ayrıca, bir LLM tabanlı puanı kullanır ve bu, sorgu amacını ne kadar iyi karşıladığını 4 puanlık Likert ölçeği (0-3) ile yansıtır, bu da farklı arama sonuçlarının kalitesini sıralamak için üstündür.
Pratikte Yaygın Bir Senaryo
- Durum: Tıbbi danışman botu, bir kullanıcı sorusuna doğru cevap verir ancak onaylanmış PDF tabanında bulunmayan bir ek öneri ekler.
- Problem: Eklenen ipucu yararlı olabilir ancak bu kaynaklara dayanmamaktadır.
- Çözüm: TruLens’i kullanarak,
score > 0.8gibi bir eşik ile kaynaklara dayanmayı denetleyen bir geri bildirim fonksiyonu uygulayın:
- Beklenen Sonuçlar: LLM, erişilen parçalarda bulunmayan bilgileri içeren bir cevap ürettiğinde, TruLens bunu panonuzda işaretler.
Artıları ve Eksileri
- Ajanın nerede yanlış gittiğini belirlemek için akıl yürütme zincirini görselleştirir.
- Gerçek zamanlı halüsinasyonları yakalamak için kaynaklara dayanma denetimini yerleşik olarak sunar.
- Özel geri bildirim fonksiyonlarını tanımlamak için öğrenme eğrisi.
- Gösterge paneli basit betikler için ağır gelebilir.
Arize Phoenix – Başarısızlık Haritası
Arize Phoenix, LLM çıkışlarını değerlendirmek için açık kaynaklı bir gözlemlenebilirlik ve değerlendirme aracıdır, kompleks RAG sistemleri dahil.
Arize AI tarafından OpenTelemetry üzerine inşa edilen Phoenix, gözlemlenebilirlik üzerine odaklanır ve LLM değerlendirmesini MLOps’in bir alt kümesi olarak ele alır.
RAG değerlendirmesi bağlamında Phoenix, gömme analizi için Uniform Manifold Approximation and Projection (UMAP) kullanarak yüksek boyutlu vektör gömmelemelerini iki veya üç boyutlu uzaya indirgemede öne çıkar.
Bu gömme analizi, başarısız sorguların anlamsal olarak kümelenip kümelenmediğini matematiksel olarak ortaya koyar; böyle bir kümelenme vektör veritabanında bir boşluğa işaret eder.
Pratikte Yaygın Bir Senaryo
- Durum: Müşteri destek botu, iadeler için iyi çalışıyor ancak garanti taleplerine anlamsız cevaplar veriyor.
- Problem: Vektör veritabanında veri boşluğu (Günlüklerde bulunamıyor).
- Çözüm: Arize Phoenix’i kullanarak, kullanıcı sorgularını belge parçalarının üzerine yerleştiren, vektör veritabanının üç boyutlu haritası olan UMAP Gömme Görselleştirmesi (UEV) oluşturun:
- Beklenen Sonuç: Kullanıcı sorgularının, belgelerin bulunmadığı karanlık bir alana düştüğünü görselleştirerek, vektör mağazasına yüklenmeyen bazı belgeleri görebilirsiniz.
Artıları ve Eksileri
- Yerleşik OpenTelemetry desteği; mevcut kurumsal izleme yığınları ile entegre olur.
- Vektör mağazasının kör noktalarını görselleştirmek için en iyi araç.
- Puanlamaya daha az, gözlemlenebilirliğe daha fazla odaklanır.
- Küçük ölçekli uygulamalar veya tek ajanlı araçlar için aşırı olabilir.
Braintrust – İstem Gerilemesine Karşı Güvenlik Ağı
Braintrust, yüksek frekanslı iterasyon döngüleri için çapraz model karşılaştırması kullanır.
Pratikte Yaygın Bir Senaryo
- Durum: Bir mühendis ekibi, “Soruya cevap ver” (Durum A) istemini, daha karmaşık 500 kelimelik bir sistem talimatına (Durum B) yükseltir.
- Problem: Durum B için istemi iyileştirmek, Durum A’yı kazara bozabilir.
- Çözüm: Braintrust’i kullanarak, N adet kusursuz örnekten (örneğin
N = 50) oluşan bir referans veri kümesi oluşturun ve her defasında istemde tek bir kelime güncellediğinizde yan yana (SxS) karşılaştırma çalıştırın:
- Beklenen Sonuç: Referans veri kümesindeki
N = 50örneğin hangilerinin iyileştiğini veya kötüleştiğini gösteren bir fark raporu.
Artıları ve Eksileri
- Dağıtımdan önce test etmek için son derece hızlı.
- Teknik olmayan paydaşların çıktıyı gözden geçirmesi ve derecelendirmesi için harika bir arayüze sahiptir.
- Tescilli yazılım/SaaS odaklı (açık kaynaklı bileşenleri olmasına rağmen).
- DeepEval veya Ragas’a kıyasla daha az yerleşik ayrıntılı teknik metrik.
Sonuç
Doğru değerlendirme çerçeveleri ile ele alındığında, RAG, kullanıcı sorgusuyla en ilgili bağlamı LLM’ye sağlamak için rekabetçi bir araç olabilir.
Uygulama Stratejisi: Metrikleri Başarısızlık Noktalarına Eşleme
Her durumda uyacak bir çözüm olmasa da, Tablo 2 bu makalede ele aldığımız her BN için hangi değerlendirme metriklerinin uygulanacağını gösterir:
| BN | Değerlendirme Çerçevesi | Kullanılacak Özellik |
| BN1: Eksik İçerik | RAGAS | Kaynağa Sadakat / Cevap Doğruluğu |
| BN2: Doğru Belge Üst Sıralara Giremedi | TruLens | Bağlam Duyarlılığı / Kesinliği |
| BN3: Birleştirme | Arize Phoenix | Alma İzleme ve Gecikme Analizi |
| BN4: Çıkarılmadı | DeepEval | Kaynağa Sadakat / Bağlamsal Duyarlılığı |
| BN5: Yanlış Format | DeepEval | G-Eval (Özel Değerlendirme Ölçütleri) |
| BN6: Ayrıntı Düzeyi | Braintrust | El ile Derecelendirme ve Yan Yana Değerlendirme |
| BN7: Eksik | RAGAS | Cevap Alakalılığı |
Tablo 2. Başarısızlık Noktası Azaltma Matrisi – Hangi Araç Hangi BN’yi Çözer?
DeepEval ve RAGAS, veri bütünlüğü başarısızlıklarını (BN1, BN4, BN7) ölçmek için kaynağa sadakat metriklerini kullanabilir.
TruLens, bağlam kesinliği ve duyarlılığını kullanarak bağlamın çıktıyla ilgililiğini ölçer – böylece BN2‘yi etkili bir şekilde değerlendirir.
Arize Phoenix, alma işleminin görsel izlemesini sağlar, bu da bir belgenin birleştirme sırasında kaybolup kaybolmadığını görmek için kolaydır (BN3).
Kullanıcı deneyimi başarısızlıkları için, DeepEval özel metrikler oluştururken Braintrust referans veri kümesi karşılaştırmasında öne çıkar.












