Güvenilir RAG Nasıl Oluşturulur: 7 Başarısızlık Noktası ve Değerlendirme Çerçevelerine Derin Bir Dalış

Çekirdek Güçlendirme ile Oluşturulan (RAG) modern AI mimarisi için kritiktir ve bağlam bilinci olan ajanlar oluşturmak için temel bir çerçeve olarak hizmet eder.

Ancak temel bir prototipiden üretim için hazır bir sisteme geçmek, veri alma, bağlam birleştirme ve yanıt sentezleme konularında önemli engelleri aşmayı gerektirir.

Bu makale, tipik RAG başarısızlık noktalarına ve pratik kod örnekleri ile değerlendirme metriklerine derinlemesine bir bakış sunar.

RAG Bozukluğunun Anatomisi – 7 Başarısızlık Noktası (BN)

Araştırmacılara göre Barnett et al., Çekirdek Güçlendirme ile Oluşturulan (RAG) sistemleri boru hattı boyunca 7 spesifik başarısızlık noktası (BN) ile karşılaşır.

Aşağıdaki şema bu aşamaları gösterir:

Şekil A. RAG sistemi oluşturmak için gereken indeksleme ve sorgulama işlemleri. İndeksleme işlemi geliştirme zamanında, sorgulama ise çalışma zamanında yapılır. Bu çalışmada tanımlanan başarısızlık noktaları kırmızı kutular içinde gösterilir (kaynak)

Şimdi, her BN’yi, Şekil A‘daki sol üstten sağ alta doğru ilerleyen boru hattı sırasına göre inceleyelim.

BN1. Eksik İçerik

Eksik içerik, sistem bir soruya cevap veremeyeceği için ilgili bilginin vektör depolama alanında bulunmaması durumunda ortaya çıkar.

Başarısızlık, bir LLM’nin doğru cevap yerine inandırıcı ancak yanlış bir cevap verdiğinde gerçekleşir.

BN2. En Yüksek Dereceye Sahip Belgeler Kaçırıldı

Bu, doğru bir belgenin vektör depolama alanında bulunması ancak alıcının onu üst-k belgelere dahil etmek için yeterli derecede yüksek sıralamaması durumudur.

Sonuç olarak, doğru bilgi LLM’ye ulaşmaz.

BN3. Bağlamda Değil (Birleştirme Stratejisi Sınırlamaları)

Bu, doğru bir belgenin bulunması ve alındığı ancak birleştirme sırasında dışlandığı durumdur.

Bu, çok fazla belge döndüğünde ve sistemin LLM’nin bağlam penceresi, token limitleri veya hız limitleri içinde sığdırmak için onları filtrelemesi gerektiğinde xảyabilir.

BN4. Çıkarılmadı

Bu, LLM’nin bağlamda doğru bilgiyi tanımlayamadığı durumdur, ancak doğru bilgi vektör depolama alanında bulunmakta ve başarıyla alınıp birleştirilmektedir.

Bu, bağlamın çok gürültülü veya çelişkili bilgiler içerdiğinde ve LLM’yi karıştırdığında xảyabilir.

BN5. Yanlış Format

Bu, depolama, alma, birleştirme ve LLM yorumunun başarılı olmasına rağmen LLM’nin.prompt’ta belirtilen belirli format talimatlarına uymadığı durumdur.

BN6. Yanlış Özgüllük

LLM’nin çıktısı teknik olarak mevcuttur, ancak kullanıcının ihtiyaçlarına göre ya çok genel ya da çok karmaşıktır.

Örneğin, bir LLM, karmaşık bir profesyonel hedefe sahip bir kullanıcı sorusuna basit cevaplar üretir.

BN7. Eksik Cevaplar

Bu, LLM’nin çıktısının yanlış olmamasına rağmen bağlamda mevcut olan önemli bilgi parçalarını eksik olduğu durumdur.

Örneğin, bir kullanıcı “A, B ve C belgelerindeki ana noktalar nelerdir?” gibi karmaşık bir soru sorduğunda, LLM yalnızca bir veya iki kaynağa cevap verir.

BN’ler RAG Boru Hattı Performansını Nasıl Etkiler

Her bir BN, RAG boru hattının performansını etkiler:

Veri Bütünlüğü ve Güvenilirlik Başarısızlıkları

Eksik veya yanlış bilgi mevcut olduğunda, sistem güvenilir bir bilgi kaynağı olmaktan çıkar. Birincil BN’ler şunları içerir:

• BN1 (Eksik İçerik): Cevap belgede ilk başta yoktur.
• BN4 (Çıkarılmadı): LLM, belgedeki doğru cevabı görmezden gelir.
• BN7 (Eksik): LLM, önemli parçaları eksik olan yarı doğru cevaplar verir.

Alma ve Verimlilik Darboğazları

RAG boru hattı, alma ve birleştirme aşamalarında kritik bilgileri kaçırdığında verimsiz olabilir. Birincil BN’ler şunları içerir:

• BN2 (En Yüksek Dereceye Sahip Belgeler Kaçırıldı): Gömme modeli, üst-k gömmelemelerini seçemez.
• BN3 (Bağlamda Değil): Belgeleri LLM limitlerine sığdırmak için kısaltan betik, en önemli kısımları atlar.

Kullanıcı Deneyimi ve Biçim Hataları

Doğru olsa da, kötü okunabilirlik veya yanlış formatlı bir çıktı, kullanıcı deneyimini tehlikeye atabilir. Birincil BN’ler şunları içerir:

• BN5 (Yanlış Format): LLM, JSON gibi belirli bir çıktı formatını takip edemez.
• BN6 (Yanlış Özgüllük): LLM, basit bir evet/hayır sorusuna uzun bir cevap veya karmaşık bir soruya çok kısa bir cevap üretir.

Değerlendirme Yığını: BN’leri Azaltmak İçin Çerçeveler

Değerlendirme metrikleri, bu BN’leri sistematik olarak azaltmaya tasarlanmıştır.

Bu bölüm, önemli değerlendirme metrikelerini ve pratik kullanım örneklerini keşfeder.

Önemli RAG Değerlendirme Metrikaları:

• DeepEval
• RAGAS
• TruLens
• Arize Phoenix
• Braintrust

DeepEval – Dağıtımdan Önceki Birim Testi

DeepEval kriterlerine dayalı bir ağırlıklı puan hesaplar:

Bir LLM-as-a-judge (örneğin, GPT-4o), her kriteri LLM’nin çıktısına karşı değerlendirir:

DeepEval, G-eval adlı bir zincirleme düşünme (CoT) çerçevesini kullanır ve çıktıyı değerlendirmek için çok adımlı bir yaklaşım benimser:

1. Kriter tanımla (örneğin, “bağlam”, “akışkanlık” veya “alakalılık”).
2. Değerlendirme adımları üret (değerlendirici LLM kullanarak).
3. Değerlendirme adımını takip et ve girdiyi ve LLM’nin çıktısını analiz et.
4. Her kriterin puanının ağırlıklı toplamını hesapla.

Pratikte Common Senaryo

• Durum: Karmaşık bir yazılım ürünü için teknik bir belge asistanı (bot) her zaman çalışıyor gibi görünüyor.
• Problem: Kullanıcı sorgusuna cevap verebileceğinden emin olmak için nicel bir kanıt yok.
• Çözüm: Bir PyTest işlevini CI/CD geriye dönük test paketi olarak entegre edin ve Github Action’da DeepEval’i G-Eval ve diğer metriklere çalıştırın:

• Beklenen Sonuç: Herhangi bir metriğin puanı eşiğin (0.85) altına düştüğünde, PyTest AssertionError oluşturur – derleme başarısız olur ve sessiz bir geriye dönük durum üretimine ulaşmasını engeller.

Geliştirici Notu – DeepEval için Test Durumu
Bir dizi LLMTestCase nesnesi, DeepEval tarafından çalıştırılan test durumunu tanımlar.

Pratikte, bu test durumu, en önemli kullanıcı sorguları ve alındıktan sonra etiketlenmiş çıktılar ile birlikte sağlanan bağlamı içermelidir.

Bunlar bir JSON veya CSV dosyasından alınabilir.

RAGAS – Saman İçinde İğne Optimizasyonu

RAGAS, sentetik test kümeleri oluşturarak insan tarafından etiketlenmiş veri seti olmadan RAG’ı değerlendirmeyi hedefler.

Sonra, bayrak metrikilerini hesaplar:

Şekil B. RAGAS değerlendirme üçgen diyagramı, Soru, Bağlam ve Cevap arasında Doğru, Geri Çağırma, Bağlılık ve Alakalılık metrikaları ile bağlanır (Kuriko IWAI tarafından oluşturuldu)

Bayrak metrikileri üç gruba ayrılır:

• Alma boru hattı (Şekil B’de siyah, kesintisiz çizgi): Bağlam doğruluğu, bağlam geri çağırma.
• Oluşturma boru hattı (Şekil B’de siyah, noktalı çizgi): Bağlılık, cevap alakalılığı.
• Temel gerçeklik (Şekil B’de kırmızı kutu): Cevap anlamsal benzerliği, cevap doğruluğu.

Pratikte Common Senaryo

• Durum: Yasal sözleşmeler için RAG sistemi, ana hükümleri kaçırıyor.
• Problem: Arama (Alıcı) mı yoksa Okuma (Oluşturucu) mı sorunun kaynağındadır?
• Çözüm: RAGAS’ı kullanın ve 100 soru-evidence çiftinden oluşan sentetik bir test kümesi oluşturun. Ardından, RAG boru hattını test kümesi üzerinde çalıştırın ve bağlam geri çağırma ve bağlam doğruluğu hesaplayın:
• Beklenen Sonuç: Metrik sonuçlarına bağlı olarak, eylem planı aşağıdaki gibi olabilir:

Tablo 1. RAGAS Tanılama Eylem Planı – Puanları Sistem Ayarlarına Eşleme.

TruLens – Geri Bildirim Döngüsü Uzmanı

TruLens, RAG işleminin iç mekanizmalarına odaklanır ve geri bildirim fonksiyonları kullanır.

Ayrıca, bir LLM tabanlı puanı kullanır ve bu, sorgu amacını ne kadar iyi karşıladığını 4 puanlık Likert ölçeği (0-3) ile yansıtır, bu da farklı arama sonuçlarının kalitesini sıralamak için üstündür.

Pratikte Common Senaryo

• Durum: Tıbbi danışman botu, bir kullanıcı sorusuna doğru cevap verir ancak onaylanmış PDF tabanında bulunmayan bir pro-ipucu ekler.
• Problem: Eklenen ipucu yararlı olabilir ancak dayanaksızdır.
• Çözüm: TruLens’i kullanarak, score > 0.8 gibi bir eşik ile zemine bağlı bir geri bildirim fonksiyonu uygulayın:

• Beklenen Sonuçlar: LLM, alındıktan sonra bulunan parçalarda bulunmayan bilgileri içeren bir cevap ürettiğinde, TruLens bunu panonuzda işaretler.

Arize Phoenix – Sessiz Başarısızlık Haritası

Arize Phoenix, LLM çıkışlarını değerlendirmek için açık kaynaklı bir gözlemlenebilirlik ve değerlendirme aracıdır, kompleks RAG sistemleri dahil.

Arize AI tarafından OpenTelemetry üzerine inşa edilen Phoenix, gözlemlenebilirlik üzerine odaklanır ve LLM değerlendirmesini MLOps’in bir alt kümesi olarak ele alır.

RAG değerlendirmesi bağlamında Phoenix, gömme analizi için Uniform Manifold Approximation and Projection (UMAP) kullanarak yüksek boyutlu vektör gömmelemelerini 2B/3B uzayına azaltmada excels.

Bu gömme analizi, başarısız sorguların anlamsal olarak bir arada gruplandıklarını, bu da vektör veritabanında bir boşluğu gösterir.

Pratikte Common Senaryo

• Durum: Müşteri destek botu, iadeler için iyi çalışıyor ancak garanti iddialarına anlamsız cevaplar veriyor.
• Problem: Vektör veritabanında veri boşluğu (Günlüklerde bulunamıyor).
• Çözüm: Arize Phoenix’i kullanarak, belge parçalarını vektör veritabanı üzerine bindiren 3B Haritalama Görselleştirme (UEV) oluşturun:
• Beklenen Sonuç: Kullanıcı sorgularının, belgelerin bulunmadığı karanlık bir alana düştüğünü görselleştirerek, vektör mağazasına yüklenmeyen bazı belgeleri görebilirsiniz.

Braintrust – İstem Geri Bildirim Güvenliği

Braintrust, yüksek frekanslı iterasyon döngüleri için çapraz model karşılaştırması kullanır.

Pratikte Common Senaryo

• Durum: Bir mühendis ekibi, “Soruya cevap ver” (Durum A) istemini, daha karmaşık 500 kelimelik bir sistem talimatına (Durum B) yükseltir.
• Problem: Durum B için istemini geliştirmek, Durum A’yı kazara bozar.
• Çözüm: Braintrust’i kullanarak, mükemmel örneklerin (N = 50) bir altın veri kümesini oluşturun ve her defasında istemde tek bir kelime güncellediğinizde yan yana (SxS) karşılaştırma çalıştırın:

• Beklenen Sonuç: Her bir altın veri kümesi (N = 50) için hangi durumların daha iyi veya daha kötü hale geldiğini gösteren bir fark raporu.

Sonuç

Doğru değerlendirme çerçeveleri ile ele alındığında, RAG, kullanıcı sorgusuna en alakalı bağlamı sağlamak için rekabetçi bir araç olabilir.

Uygulama Stratejisi: Metrikleri Başarısızlık Noktalarına Eşleme

Her durumda uyacak bir çözüm olmasa da, Tablo 2 bu makalede ele aldığımız her BN için hangi değerlendirme metriklerinin uygulanacağını gösterir:

Tablo 2. Başarısızlık Noktası Azaltma Matrisi – Hangi Araç Hangi BN’yi Çözer?

DeepEval ve RAGAS, veri bütünlüğü başarısızlıklarını (BN1, BN4, BN7) ölçmek için bağlılık metrikelerini kullanabilir.

TruLens, bağlam doğruluğu / geri çağırma oranını kullanarak çıktının bağlamına alakalılığını ölçer – böylece BN2‘yi etkili bir şekilde değerlendirir.

Arize Phoenix, alma işleminin görsel izlemesini sağlar, bu da bir belgenin birleştirme sırasında kaybolup kaybolmadığını görmek için kolaydır (BN3).

Kullanıcı deneyimi başarısızlıkları için, DeepEval özel metrikler oluştururken Braintrust temel gerçeklik veri kümesi karşılaştırmasında excels.