RAG Evrimi – Agentic RAG’a Giriş

RAG (Retrieval-Augmented Generation) Nedir?

Retrieval-Augmented Generation (RAG), büyük dil modellerinin (LLM’ler) gücünü dış veri alma ile birleştiren bir tekniktir. Bu, oluşturulan yanıtların kalitesini ve alaka düzeyini artırır.. Geleneksel LLM’ler, önceden eğitilmiş bilgi tabanlarını kullanırken, RAG boru hatları çalışma zamanında dış veritabanlarına veya belgelerine sorgu gönderir ve ilgili bilgileri alır. Bu, özellikle karmaşık, spesifik veya belirli bir zaman dilimine dayalı sorular için faydalıdır.

Şu Anki RAG Manzarası

Büyük dil modelleri, bilgiye erişimi ve işleyişi tamamen değiştirdi. Ancak, yalnızca dahili ön girdi bilgisine dayanmak, özellikle karmaşık sorular için yanıtların esnekliğini sınırlayabilir. RAG, LLM’lerin dış kaynaklardan veri almasına ve daha doğru yanıtlar üretmesine olanak tanır.

Bilgi alma ve doğal dil işleme alanındaki son gelişmeler, özellikle LLM ve RAG’de, yeni verimlilik ve sofistikelik alanları açmıştır. Bu gelişmeler aşağıdaki geniş konturlarla değerlendirilebilir:

1. Geliştirilmiş Bilgi Alma: RAG sistemlerinde bilgi almanın iyileştirilmesi önemlidir. Son çalışmalar, precisa arama için çeşitli vektörler, yeniden sıralama algoritmaları ve hibrit arama yöntemleri geliştirdi.
2. Anlamsal Önbelleğe Alma: Bu, hesaplama maliyetini azaltırken tutarlı yanıtları korumanın bir yolu olarak ortaya çıktı. Mevcut sorgulara verilen yanıtlar, anlamsal ve pragmatik bağlamıyla birlikte önbelleğe alınarak, daha hızlı yanıt süreleri ve tutarlı bilgiler sağlanır.
3. Çoklu Ortam Entegrasyonu: Metin tabanlı LLM ve RAG sistemlerinin yanı sıra, bu yaklaşım görseller ve diğer modelleri de kapsar. Bu, daha çeşitli kaynak materyallerine erişim sağlar ve yanıtları daha sofistike ve doğru hale getirir.

Geleneksel RAG Mimarileri ile İlgili Zorluklar

RAG, farklı gereksinimleri karşılamak için gelişirken, geleneksel RAG mimarileri önünde hala zorluklar vardır:

• Özetleme: Büyük belgeleri özetlemek zor olabilir. Belgeler uzun olduğunda, geleneksel RAG yapısı önemli bilgileri gözden kaçırabilir çünkü yalnızca en üst K parçaları alır.
• Belge Karşılaştırması: Etkili belge karşılaştırması hala bir zorluktur. RAG çerçevesi, her belgeden rastgele en üst K parçayı seçtiğinden, genellikle eksik bir karşılaştırma ile sonuçlanır.
• Yapısal Veri Analizi: Yapısal sayısal veri sorgularını işlemek, örneğin bir çalışanın nerede yaşadığına bağlı olarak ne zaman izin alacağını belirlemek zor olabilir. Bu modellerle kesin veri noktası alımı ve analizi doğru değildir.
• Çok Parçalı Sorguları İşleme: Birden fazla parçaya sahip sorulara yanıt vermek hala sınırlıdır. Örneğin, büyük bir organizasyondaki tüm alanlarda ortak izin modellerini belirlemek, K parçalarla sınırlı olduğunuz için tam bir araştırma yapmayı zorlaştırır.

 Agentic RAG’a Doğru Hareket

Agentic RAG, karmaşık soruları yanıtlamak için akıllı ajanlar kullanır. Bu ajanlar, dikkatli planlama, çok adımlı akıl yürütme ve dış araçların entegrasyonu gerektirir.

Agentic RAG, klasik RAG çerçevesine ajanlar ekleyerek sistemlerin işlevselliğini ve yeteneklerini artırır. Bu ajanlar, temel bilgi alma ve oluşturma ötesinde, RAG boru hattının çeşitli bileşenlerini düzenler ve kontrol eder.

Üç Temel Agentic Strateji

Routers, sorguları ilgili modüllere veya veritabanlarına yönlendirir. Routers, büyük dil modellerini kullanarak sorgu bağlamına dayanarak dinamik kararlar alır ve hangi motorun çağrılması gerektiğini belirler.

Sorgu dönüşümleri, kullanıcı sorgusunu talep edilen bilgiyle en iyi şekilde eşleştirmek için yeniden ifade etme işlemlerini içerir. Bu, yeniden ifade etme, genişletme veya karmaşık soruları daha kolay yönetilebilen daha basit alt sorulara ayırma olabilir.

Ayrıca, birden fazla veri kaynağını kullanarak karmaşık bir sorguya yanıt vermek için alt sorgu sorgu motoruna ihtiyaç vardır.

İlk olarak, karmaşık soru daha basit sorulara bölünür ve her bir veri kaynağına gönderilir. Ardından, tüm ara yanıtlar toplanır ve birleştirilerek tutarlı bir sonuç oluşturulur.

RAG Boru Hatları için Agentic Katmanlar

• Yönlendirme: Soru, ilgili bilgi tabanlı işleme göre yönlendirilir. Örneğin, kullanıcı belirli kitap kategorileri için öneriler almak isterse, sorgu bu kategoriler hakkında bilgi içeren bir bilgi tabanına yönlendirilir.
• Sorgu Planlama: Sorgu, alt sorgulara bölünür ve ilgili boru hatlarına gönderilir. Ajan, her bir öğe için alt sorgular oluşturur ve bunları ilgili bilgi tabanlarına gönderir.
• Araç Kullanımı: Dil modeli, bir API veya dış aracı ile iletişim kurar, bu işlemin ne anlama geldiğini, hangi platformda gerçekleşeceğini ve ne zaman gerekli olacağını bilir. Örneğin, bir kullanıcı belirli bir gün için hava tahmini isterse, LLM hava API’si ile iletişim kurar, konumu ve tarihi belirler ve API’den gelen yanıtı parse ederek doğru bilgiyi sağlar.
• ReAct, düşünme ve eylem ile planlama, araç kullanımı ve gözlemi birleştiren bir işlemdir.
  Örneğin, bir uçtan uca seyahat planı tasarlamak için sistem, kullanıcı taleplerini dikkate alır ve rotayı, turistik cazibe merkezlerini, restoranları ve konaklamayı API’leri çağırarak alır. Ardından sistem, sonuçları doğruluk ve alaka açısından kontrol eder ve kullanıcı talebine ve zamanlamasına uygun bir seyahat planı oluşturur.
• Planlı Dinamik Sorgu: Ajan, ardışık olarak değil, aynı anda birden fazla eylem veya alt sorguyu gerçekleştirir ve ardından bu sonuçları birleştirir.
  Örneğin, iki şirketin mali sonuçlarını karşılaştırmak ve belirli bir metriğin farkını belirlemek istiyorsanız, ajan her iki şirketin verilerini paralel olarak işler ve ardından bulguları birleştirir; LLMCompiler, fonksiyonların paralel çağırılmasının böyle bir verimli düzenlenmesini sağlayan bir çerçevedir.

Agentic RAG ve LLMaIndex

 LLMaIndex, RAG boru hatlarının oldukça etkili bir uygulamasını temsil eder. Bu kütüphane, yapılandırılmış organizasyonel verileri üretken AI modellerine entegre etme konusundaki eksik parçayı doldurur ve araçlar için veri işleme ve alma konularında kolaylık sağlar.

LlamaParse belgeleri işler.

Llama Cloud, en az manuel emekle RAG boru hatlarını dağıtabilen bir entreprise hizmeti sunar.

LLMaIndex, birden fazla LLM ve vektör depolama kullanarak, Python ve TypeScript’te RAG ile uygulamalar oluşturmak için entegre bir yol sağlar. Özellikleri, şirketlerin AI’yi veri odaklı karar vermeye entegre etmek isteyenler için çok talep gören bir temel oluşturur.

LLMaIndex ile Agentic RAG Uygulamasının Ana Bileşenleri

Agentic RAG’ın bazı bileşenlerine ve LlamaIndex’te nasıl uygulandığına daha yakından bakalım.

1. Araç Kullanımı ve Yönlendirme

Yönlendirme ajanı, sorgu türüne dayanarak hangi LLM veya aracın kullanılacağını seçer. Bu, kullanıcı bir özet mi yoksa ayrıntılı bir özeti mi istediğine bağlı olarak bağlam duyarlı kararlar almayı içerir. LlamaIndex’teki Router Sorgu Motoru gibi örnekler, sorgulara verilen yanıtları en üst düzeye çıkarmak için araçları dinamik olarak seçer.

2. Uzun Süreli Bağlam Koruma

Hafızanın en önemli görevi, birden fazla etkileşim boyunca bağlamı korumasıdır. Agentic RAG’deki ajanlar, sürekli olarak etkileşimlerin sonuçlarını bilincinde olarak tutarlı ve bağlamsal yanıtlar üretir.

LlamaIndex, bağlamsal sohbetler ve tek atışlı sorgular için hafızaya sahip bir sohbet motoru da içerir. Uzun tartışmalar sırasında, bu hafızanın LLM bağlam penceresi taşması önlemek için sıkı bir şekilde kontrol edilmesi gerekir ve özetlenmiş bir forma indirgenmelidir.

3. Planlama için Alt Sorgu Motorları

Sık sık, karmaşık bir sorguyu daha küçük, yönetilebilir işlere ayırmak gerekir. Alt sorgu sorgu motoru, LlamaIndex’in ajan olarak kullandığı bir temel işlevdir ve büyük bir sorguyu daha küçük olanlara böler, bunları sırayla çalıştırır ve ardından tutarlı bir yanıt oluşturur.

4. Yansıtma ve Hata Düzeltme

Yansıtıcı ajanlar, çıktıları üretir, ancak sonra çıktının kalitesini kontrol eder ve gerektiğinde düzeltmeler yapar. Bu beceri, doğruluk ve kişinin niyet ettiği şeyi elde etmek için çok önemlidir. LlamaIndex’in kendi yansıtıcı iş akışına teşekkürler, bir ajan performansı gözden geçirir, ya yeniden dener ya da belirli kalite seviyelerine ulaşmayan faaliyetleri ayarlar. Kendi kendini düzeltme yeteneği sayesinde, Agentic RAG, özellikle güvenilirliğin kardinal olduğu entreprise uygulamaları için biraz güvenilir olur.

5. Karmaşık Ajansik Akıl Yürütme:

Ağaç tabanlı keşif, ajanların bir şeyi başarmak için birden fazla yolu araştırmaları gereken durumlarda uygulanır. Sıralı karar almaya kıyasla, ağaç tabanlı akıl yürütme, bir ajanın birden fazla stratejiyi aynı anda değerlendirmesini ve gerçek zamanlı olarak güncellenen değerlendirme kriterlerine göre en umut verici olanı seçmesini sağlar.

LlamaCloud ve LlamaParse

Llama Cloud, LlamaIndex ortamında büyük bir adımdır ve entreprise düzeyinde RAG boru hatlarını en az manuel emekle dağıtmak için tasarlanmış yönetilen hizmetler sunar. Bu çözüm, AI mühendislerinin ana iş mantığını geliştirmeye odaklanmasını sağlar ve veri işlemenin karmaşık sürecini azaltır.

LlamaParse, LlamaIndex’teki alıma ve alma boru hatlarına uygun bir şekilde entegre edilen bir başka parçalama motorudur. Bu, gömülü nesneler gibi tablolar ve şekiller içeren karmaşık, yarı yapılandırılmış belgeleri işleyen en önemli bileşenlerden biridir. Başka bir önemli yapı taşı, kolayca veri yüklemek, işlemek ve depolamak için merkezi bir veri deposu olan LlamaHub veya LlamaParse çıkışları gibi çeşitli veri kaynaklarından veri yüklemek, işlemek ve depolamak için yönetilen alıma ve alma API’sidir. Ayrıca, çeşitli veri depolama entegrasyonlarını destekler.

Sonuç

Agentic RAG, ajanlara daha fazla zeka kazandırarak bilgi işlemede bir değişimi temsil eder. Agentic RAG, daha doğru ve rafine bir sonuç sağlamak için çeşitli süreçlerle veya API’lerle birleştirilebilir. Örneğin, belge özetleme için, agentic RAG kullanıcı amacını değerlendirir ve ardından bir özet oluşturur veya ayrıntıları karşılaştırır. Müşteri desteği sunarken, agentic RAG, artan karmaşıklığa sahip müşteri sorgularına doğru ve bireysel olarak yanıt verebilir. Agentic RAG, üretken modellerden daha ince ayarlı sistemlere doğru bir değişimi vurgular ve bu sistemler diğer tür kaynakları kullanarak güçlü ve doğru bir sonuç elde eder. Ancak, şu anda üretken ve zeki olan bu modeller ve Agentic RAG’ler, daha fazla verinin boru hatlarına eklendiği medida daha yüksek bir verimliliğe doğru bir arayış içindedir.