Az Daha Fazla: Neden Daha Az Belge Almak AI Cevaplarını Geliştirebilir

Retrievallı Artırılmış Oluşturma (RAG) , bir dil modelini dış bir bilgi kaynağı ile birleştiren bir yaklaşımdır. Basit olarak ifade etmek gerekirse, AI önce bir kullanıcı sorgusu ile ilgili ilgili belgeleri (makaleler veya web sayfaları gibi) arar ve sonra bu belgeleri daha doğru bir cevap oluşturmak için kullanır. Bu yöntem, büyük dil modellerinin (LLM’ler) gerçek verilere dayalı cevaplar vermesini ve hayal güçlerini azaltmasını sağlamak için övgü almıştır.

İnsanların doğal bir şekilde düşündüğü gibi, AI’nin daha fazla belge alması, cevabının daha iyi bilgilendirileceğini düşünülebilir. Ancak, yakın zamanda yapılan bir araştırma, beklenmedik bir sonucu ortaya koyuyor: AI’ye bilgi verirken, bazen daha azın daha fazla olması gerekiyor.

Daha Az Belge, Daha İyi Cevaplar

Yeni bir çalışma, araştırmacılar tarafından RAG sisteminin performansını nasıl etkilediğini keşfetmek için yapıldı. Önemli olan, toplam metin miktarının sabit tutulması – yani daha az belge verildiğinde, bu belgeler aynı uzunluğu korumak için slightly genişletildi. Bu şekilde, herhangi bir performans farkı, belge sayısından ziyade sadece daha kısa bir girişe bağlanamaz.

Araştırmacılar, her biri aslen 20 Wikipedia paragrafı ile eşleştirilmiş bir soru-cevap verisi (MuSiQue) kullandılar – ancak sadece birkaç tanesi aslında cevabı içeriyordu, geri kalanı ise distraktörlerdi. Belgelerin sayısını 20’den sadece 2-4 gerçekten ilgili olanlara indirerek ve bunları biraz daha fazla bağlam ile doldurarak, AI’nin daha az malzeme ile çalışması, ancak aynı zamanda aynı miktarda kelime okumak zorunda kalması için senaryolar oluşturdular.

Sonuçlar çarpıcıydı. Çoğu durumda, AI modelleri daha fazla belge yerine daha az belge verildiğinde daha doğru cevaplar verdi. Performans önemli ölçüde iyileşti – bazı durumlarda, sistem sadece birkaç destekleyici belgeyi kullandığında, tam koleksiyon yerine %10’a kadar doğruluk (F1 puanı) artışı gözlendi. Bu karşıt sezgisel artış, Meta’nın Llama’sı ve diğerleri de dahil olmak üzere birkaç farklı açık kaynaklı dil modelinde gözlemlendi, bu da bu olgunun tek bir AI modeline bağlı olmadığını gösteriyor.

Bir model (Qwen-2) , çoklu belgeleri kayıp olmadan işleyebilen dikkat çekici bir istisnaydı, ancak neredeyse tüm test edilen modeller genel olarak daha az belge ile daha iyi performans gösterdi. Diğer bir deyişle, anahtar ilgili parçaların ötesinde daha fazla referans materyali eklemek, performanslarını daha sık bozdu rather than iyileştirdi.

Kaynak: Levy et al.

Bu neden böyle bir sürpriz? Tipik olarak, RAG sistemleri, daha geniş bir bilgi yığınına ulaşmanın AI’ye yalnızca fayda sağlayacağı varsayımı altında tasarlanır – eğer cevap ilk birkaç belgede değilse, onuncu veya yirminci belgede olabilir.

Bu çalışma, bu senaryoyu tersine çeviriyor ve keyfi olarak ek belgelerin sistemin performansını olumsuz etkileyebileceğini gösteriyor. Toplam metin uzunluğu sabit tutulsa bile, birçok farklı belgenin (her biri kendi bağlamı ve tuhaflıkları ile) varlığı, AI için soru-cevap görevini daha zor hale getirdi. Görünüşe göre, belirli bir noktadan sonra, her ek belge daha fazla gürültüdan sinyal içeriyor, modeli karıştırıyor ve doğru cevabı çıkarmasını engelliyordu.

RAG’de Neden Daha Azın Daha Fazlası Olabilir

Bu “daha azın daha fazlası” sonucu, AI dil modellerinin bilgiyi nasıl işlediğini düşününce mantıklı hale geliyor. AI’ye sadece en ilgili belgeler verildiğinde, gördüğü bağlam odaklanmış ve dikkati dağıtıcı unsurlardan arınmıştır – tıpkı sadece doğru sayfaları incelemesi gereken bir öğrenci gibi.

Çalışmada, modeller, sadece destekleyici belgeler verildiğinde ve alakasız materyal kaldırıldığında önemli ölçüde daha iyi performans gösterdi. Kalan bağlam sadece daha kısa değildi, aynı zamanda daha temizdi – sadece cevaba doğrudan işaret eden gerçekleri içeriyordu ve başka bir şey içermiyordu. Daha az belge ile uğraşmak zorunda kalan model, tüm dikkatini ilgili bilgilere odaklayabiliyordu, bu da yanlış yönlendirilme veya karışıklık olasılığını azaltıyordu.

Öte yandan, birçok belge alındığında, AI, ilgili ve alakasız içerik karışımı içinde cevabı aramak zorunda kaldı. Bu ek belgeler genellikle “benzer ancak ilgili değil” tipteydi – konu veya anahtar kelimeler ile sorgu arasında paylaşılan bir şey olabilirdi, ancak aslında cevabı içermiyordu. Bu tür içerik modeli yanlış yönlendirebilirdi. AI, doğru cevaba yol açmayan belgeler arasında bağlantı kurmaya çalışırken zaman harcayabilirdi veya daha da kötüsü, birden fazla kaynaktan yanlış bir şekilde bilgi birleştirebilirdi. Bu, hayal gücünün artması riskini artırıyordu – AI’nin tek bir kaynaktan değil, gerçekçi görünen ancak dayanaksız bir cevap üretmesi.

Aslında, fazla belge vermenin faydalı bilgiyi sulandırabileceği ve çelişkili ayrıntılar ekleyebileceği anlamına gelir, bu da AI’nin neyin doğru olduğunu belirlemesini daha zor hale getirir.

İlginç bir şekilde, araştırmacılar, ek belgelerin açıkça alakasız olduğu durumlarda (örneğin, rastgele ilgili olmayan metin), modellerin bunları daha iyi ignor edebildiğini buldular. Gerçek sorun, dikkat dağıtıcı veriden geliyor: tüm alınan metinler benzer konularda olduğunda, AI tümünü kullanması gerektiğini varsayar ve hangi ayrıntıların gerçekten önemli olduğunu ayırt etmekte zorlanabilir. Bu, çalışmanın “gerçek distraktörlerin rastgele distraktörlerden daha fazla karışıklık gâyabileceği” gözlemiyle uyumlu. AI, açık saçık saçmalıkları filtreleyebilir, ancak ince şekilde konu dışı bilgiler bir tuzak – ilgili gibi görünür ve cevabı raydan çıkarır. Sadece gerçekten gerekli olan belgeleri azaltarak, bu tür tuzakları kurmaktan kaçınırız.

Pratik bir fayda da vardır: daha az belge almak ve işlemek, bir RAG sisteminin hesaplamalı yükünü azaltır. Her bir alınan belge, analiz edilmelidir (model tarafından gömülür, okunur ve dikkat gösterilir), bu da zaman ve hesaplama kaynakları kullanır. Gereksiz belgeleri ortadan kaldırmak, sistemi daha verimli hale getirir – cevapları daha hızlı ve daha düşük maliyetle bulabilir. Doğruluk iyileştiğinde, daha iyi cevaplar ve daha ince, daha verimli bir süreç kazanırız.

Kaynak: Levy et al.

RAG’yi Yeniden Düşünmek: Gelecek Yönleri

Bu yeni kanıtlar, kalitenin nicelikten daha önemli olabileceğini gösteriyor ve dış bilgiye dayanan AI sistemlerinin geleceği için önemli sonuçlar içeriyor. RAG sistemleri tasarımcılarının, sadece nicelik yerine akıllıca belge filtreleme ve sıralama yöntemlerine öncelik vermeleri gerektiğini öne sürüyor. 100 olası pasajı almak ve cevabın orada bir yerlerde olmasını ummak yerine, sadece en ilgili olanları almak daha akıllıca olabilir.

Çalışmanın yazarları, modelin sağladığı bilginin “alaka ve çeşitlilik arasında bir denge” kurması gerektiğini vurguluyor. Diğer bir deyişle, konuyu cevaplamak için yeterli kapsama sahip olmak istiyoruz, ancak aynı zamanda temel gerçeklerin gereksiz metin denizinde boğulmamasını istemiyoruz.

İlerleyen zamanlarda, araştırmacılar, AI modellerinin birden fazla belgeyi daha nazikçe işleme tekniklerini keşfedeceklerdir. Bir yaklaşım, gerçekten değer katan belgeleri tanımlayabilen ve hangilerinin sadece çatışma getirdiğini ayırt edebilen daha iyi alıcı sistemler veya yeniden sıralayıcılar geliştirmektir. Bir başka açı, dil modellerini kendilerini geliştirmektir: eğer bir model (Qwen-2 gibi) birçok belge ile başa çıkabiliyorsa ve doğruluğunu kaybetmiyorsa, nasıl eğitildiği veya yapılandırıldığını incelemek, diğer modelleri daha güçlü hale getirmek için ipuçları sunabilir. Belki gelecekteki büyük dil modelleri, iki kaynağın aynı şeyi söylediğini (veya birbirini çeliştirdiğini) tanıyabilen ve buna göre odaklanabilen mekanizmaları içereceklerdir. Hedef, modellerin zengin bir kaynak çeşitliliğinden yararlanmasını sağlamak, ancak karışıklığa düşmemektir – efektif olarak her iki dünyanın (bilgi genişliği ve odak berraklığı) en iyisini elde etmektir.

Ayrıca, AI sistemlerinin daha büyük bağlam pencereleri (AI oyununu yeniden değiştiren Gemini 2.5 Pro gibi) kazandıkça, basitçe daha fazla veri.dump etmek bir çözüm değildir. Daha büyük bir bağlam, otomatik olarak daha iyi anlama anlamına gelmez. Bu çalışma, AI’nin teknik olarak 50 sayfa aynı anda okuyabilse bile, 50 sayfa karışık kaliteli bilgi verilmesinin iyi bir sonuç vermeyebileceğini gösteriyor. Model, dikkatlice seçilmiş, ilgili içerikle çalışmaya devam ediyor, değilse keyfi bir veri.dump ile.

Aslında, akıllı alıntı, devasa bağlam pencereleri çağındaki daha da önemli hale gelebilir – bu, ek kapasitenin değerli bilgiler için kullanıldığını, gürültü için değil, garantileyebilmek için.

Çalışmanın bulguları, “Daha Fazla Belge, Aynı Uzunluk” adlı makale, AI araştırmalarındaki varsayımlarımızı yeniden değerlendirmemizi teşvik ediyor. Bazen, AI’ye tüm verimizi vermenin sandığımız kadar etkili olmadığı ortaya çıkıyor. En ilgili bilgi parçalarına odaklanarak, sadece AI tarafından üretilen cevapların doğruluğunu artırmiyoruz, aynı zamanda sistemleri daha verimli ve daha güvenilir hale getiriyoruz. Bu, karşıt sezgisel bir ders, ancak gelecekteki RAG sistemleri hem daha akıllı hem de daha ince olabilir – dikkatli bir şekilde daha az, daha iyi belgeleri almayı seçerek.