تطور RAG – مقدمة إلى RAG العامل

ما هو RAG (التنميط المعزز بالاسترجاع)؟

التنميط المعزز بالاسترجاع (RAG) هو تقنية تجمع بين قوة النماذج اللغة الكبيرة (LLMs) مع استرجاع البيانات الخارجية لتحسين جودة الاستجابات المتولدة وملاءمتها. النماذج اللغة التقليدية تستخدم قواعدها المعرفية المسبقة التدريب، في حين أن أنابيب RAG سوف تستفسر قواعد بيانات خارجية أو وثائق في وقت التشغيل وستسترجع المعلومات ذات الصلة لاستخدامها في توليد استجابات أكثر دقة وغنية سياقيا. هذا مفيد بشكل خاص في الحالات التي تكون فيها الأسئلة معقدة أو محددة أو قائمة على إطار زمني معين، حيث إن الاستجابات من النموذج تكون مفهرسة وغنية بمعلومات محددة بالdomain حديثة.

المناظير الحالية ل RAG

النماذج اللغة الكبيرة قد غيرت تماما كيف نصل إلى المعلومات ونعالجها. الاعتماد فقط على المعرفة المسبقة الداخلية قد يحد من مرونة إجاباتها – خاصة للأسئلة المعقدة. التنميط المعزز بالاسترجاع يعالج هذه المشكلة من خلال السماح للنماذج اللغة الكبيرة بالحصول على البيانات وتحليلها من مصادر خارجية متاحة لتحقيق استجابات أكثر دقة وعمق.

التطورات الحديثة في استرجاع المعلومات ومعالجة اللغة الطبيعية، خاصة في النماذج اللغة الكبيرة و RAG، تفتح أبوابا جديدة للكفاءة والتعقيد. يمكن تقييم هذه التطورات على المخططات العريضة التالية:

1. تحسين استرجاع المعلومات: تحسين استرجاع المعلومات في أنظمة RAG مهم جدا لكي تعمل بفعالية. تم تطوير أعمال حديثة لتحسين البحث الدقيق من خلال تطوير متجهات و خوارزميات إعادة ترتيب وطرق بحث هجينة.
2. التخزين الدلالي: هذا يعتبر أحد الطرق الرئيسية التي يتم من خلالها تقليل التكلفة الحسابية دون الحاجة إلى التضحية بالاستجابات المتسقة. هذا يعني أن استجابات الاستفسارات الحالية يتم تخزينها مع السياق الدلالي والبراغماتي المرفق بها، مما يؤدي إلى تسريع أوقات الاستجابة وتقديم معلومات متسقة.
3. التكامل متعدد الوسائط: إلى جانب أنظمة RAG و LLMs القائمة على النص، يغطي هذا النهج أيضا الجوانب البصرية ووسائط أخرى من الإطار. هذا يسمح بالوصول إلى مجموعة أكبر من المواد المصدر ويؤدي إلى استجابات أكثر تعقيدا و دقة بشكل متزايد.

التحديات مع الهياكل التقليدية ل RAG

في حين أن RAG يتطور لتلبي احتياجات مختلفة، لا تزال هناك تحديات تقف أمام الهياكل التقليدية ل RAG:

• التلخيص: تلخيص وثائق طويلة قد يكون صعبا. إذا كانت الوثيقة طويلة، قد يتجاهل الهيكل التقليدي ل RAG معلومات هامة لأنها تحصل فقط على الجزء العلوي K.
• مقارنة الوثائق: مقارنة الوثائق بشكل فعال لا تزال تحديا. يؤدي إطار RAG غالبا إلى مقارنة غير كاملة لأنها تختار الجزء العلوي K من كل وثيقة بشكل عشوائي.
• تحليل البيانات المنظمة: من الصعب التعامل مع استفسارات البيانات العددية المنظمة، مثل تحديد متى سيأخذ موظف إجازته التالية بناء على مكان إقامته. لا تتم استرجاع النقاط البيانية الدقيقة وتحليلها بدقة مع هذه النماذج.
• التعامل مع الاستفسارات المتعددة الأجزاء: الإجابة على الأسئلة التي تحتوي على عدة أجزاء لا تزال مقيدة. على سبيل المثال، العثور على أنماط إجازة مشتركة عبر جميع المناطق في منظمة كبيرة يصعب عندما يتم تقييدك بالجزء K، مما يحد من البحث الشامل.

الانتقال إلى RAG العامل

RAG العامل يستخدم وكلاء ذكاء اصطناعي للاجابة على أسئلة معقدة تتطلب التخطيط الدقيق والاستدلال المتعدد والتفاعل مع أدوات خارجية. هذه الوكلاء يؤدون مهام باحث ماهر، يتجولون ببراعة عبر مجموعة من الوثائق، يقارنون البيانات، يلخصون النتائج، وينتجون استجابات شاملة ودقيقة.

تم دمج مفهوم الوكلاء في الإطار الكلاسيكي ل RAG لتحسين وظائف النظام وسماته، مما أدى إلى إنشاء RAG العامل. هذه الوكلاء تتولى مهام إضافية وتفكير خارج ما هو أساسي لاسترجاع المعلومات وإنشاء المعلومات، بالإضافة إلى تنسيق وسيطرة مكونات أنابيب RAG.

الاستراتيجيات الثلاث الرئيسية لل RAG العامل

الروتر يرسل الاستفسارات إلى الوحدات أو قواعد البيانات المناسبة بناء على نوعها. الروتر يتخذ القرارات ديناميكيا باستخدام نماذج اللغة الكبيرة التي يتم فيها وضع سياق الطلب، لاتخاذ قرار حول محرك الاختيار الذي يجب إرسالها إليه لتحسين الدقة والكفاءة في خط أنابيبك.

تحويل الاستفسار هو عملية متضمنة في إعادة صياغة استفسار المستخدم ليتوافق بشكل أفضل مع المعلومات المطلوبة أو، العكس، ليتوافق بشكل أفضل مع ما تقدمه قاعدة البيانات. يمكن أن يكون هذا إعادة صياغة أو توسيع أو كسر أسئلة معقدة إلى أسئلة فرعية أبسط يمكن التعامل معها بسهولة.

كما أنه يتطلب محرك استفسار للأسئلة الفرعية لتلبية تحدي الإجابة على استفسار معقد باستخدام عدة مصادر بيانات.

أولا، يتم تقسيم السؤال المعقد إلى أسئلة أبسط لكل من مصادر البيانات. ثم يتم جمع جميع الإجابات الوسيطة وتركيب إجابة نهائية.

طبقات RAG العامل لأنابيب RAG

• التوجيه: يتم توجيه السؤال إلى معالجة القاعدة المعرفية ذات الصلة بناء على الأهمية. مثال: عندما يريد المستخدم الحصول على توصيات لفئات معينة من الكتب، يمكن توجيه الاستفسار إلى قاعدة معرفية تحتوي على معرفة حول تلك الفئات من الكتب.
• تخطيط الاستفسار: يتضمن هذا تحليل الاستفسار إلى استفسارات فرعية ثم إرسالها إلى خطوط أنابيبها الفردية. الوكيل ينتج استفسارات فرعية لجميع العناصر، مثل السنة في هذه الحالة، ويرسلها إلى قواعد البيانات الخاصة بها.
• استخدام الأدوات: يتحدث نموذج اللغة إلى واجهة برمجة تطبيقات أو أداة خارجية، مع معرفة ما يعنيه ذلك، وعلى منصة الاتصال المحددة، وعندما يكون من الضروري القيام بذلك. مثال: عند طلب المستخدم للحصول على توقعات الطقس لموعد معين، يتحدث نموذج اللغة إلى واجهة برمجة تطبيقات الطقس، ويحدد الموقع والتاريخ، ثم يفسر الإرجاع القادم من واجهة برمجة التطبيقات لتقديم المعلومات الصحيحة.
• التفاعل والتفكير هو عملية تكرارية من التفكير والعمل معا مع التخطيط، استخدام الأدوات، والمراقبة.
  على سبيل المثال، لتصميم خطة رحلة نهاية الأسبوع من البداية إلى النهاية، سوف يعتبر النظام طلبات المستخدم ويحصل على تفاصيل حول الطريق، المعالم السياحية، المطاعم، والمبيت عن طريق الاتصال بواجهات برمجة التطبيقات. ثم سوف يتحقق النظام من النتائج فيما يتعلق بالدقة والملاءمة، وينتج خطة سفر مفصلة تتعلق بطلب المستخدم وجدوله.
• تخطيط الاستفسار الديناميكي: بدلا من التنفيذ بشكل متسلسل، ينفذ الوكيل العديد من الإجراءات أو الاستفسارات بشكل متوازي ثم يجمع هذه النتائج.
  على سبيل المثال، إذا كنت تريد مقارنة النتائج المالية لشركتين وتحديد الفرق في بعض المقاييس، فإن الوكيل سوف يعالج بيانات كلا الشركتين بشكل متوازي قبل جمع النتائج؛ إطار LLMCompiler هو واحد من هذه الإطارات التي تؤدي إلى تنسيق فعال للدوائر المتوازي لاستدعاء الوظائف.

RAG العامل و LLMaIndex

LLMaIndex يمثل تنفيذا فعالا لأنابيب RAG. يملأ المكتبة ببساطة الجزء الناقص في دمج البيانات المنظمة في نماذج الذكاء الاصطناعي من خلال توفير راحة لاستخدام الأدوات في معالجة و استرجاع البيانات، بالإضافة إلى واجهات لعدة مصادر بيانات. المكونات الرئيسية ل LlamaIndex موضحة أدناه.

LlamaParse يفسر الوثائق.

سحابة Llama للخدمة المؤسسية مع أنابيب RAG المثبتة بأقل قدر من العمل اليدوي.

باستخدام عدة نماذج LLMs و تخزين المتجهات، يوفر LLMaIndex طريقة متكاملة لإنشاء تطبيقات في Python و TypeScript مع RAG. سماته تجعله هيكلا مطلوبا للغاية من قبل الشركات الراغبة في استغلال الذكاء الاصطناعي لاتخاذ قرارات مدفوعة بالبيانات.

المكونات الرئيسية لتنفيذ RAG العامل مع LLMaIndex

دعونا نناقش بعض مكونات RAG العامل وأنه يُطبق في LLMaIndex.

1. استخدام الأدوات والتوجيه

وكلاء التوجيه يختارون أفضل نموذج لغة أو أداة لاستخدامها لاستفسار معين بناء على نوع الاستفسار. هذا يؤدي إلى قرارات حساسة للسياق مثل ما إذا كان المستخدم يرغب في نظرة عامة أو ملخص مفصل. أمثلة على هذه المناهج هي محرك استفسار الروتر في LLMaIndex، الذي يختار أدوات ديناميكيا لتعظيم الاستجابات للاستفسارات.

2. الحفظ السياقي على المدى الطويل

في حين أن مهمة الذاكرة الأكثر أهمية هي الحفاظ على السياق على مدى تفاعلات متعددة، في المقابل، وكلاء RAG العامل المجهزين بالذاكرة يبقون على علم دائم بالتفاعلات التي تؤدي إلى استجابات متسقة وغنية بالسياق.

LLMaIndex يتضمن أيضا محرك محادثة يملك ذاكرة لمحادثات سياقية و استفسارات واحدة. من أجل تجنب فيضان نافذة السياق لنموذج اللغة، يجب أن تكون هذه الذاكرة تحت سيطرة مشددة خلال مناقشات طويلة، و تقليلها إلى صيغة ملخصة.

3. محركات الاستفسار الفرعي للتخطيط

في كثير من الأحيان، يجب كسر استفسار معقد إلى مهام صغيرة وقابلة للإدارة. محرك استفسار الفرعي هو واحدة من الوظائف الأساسية التي يتم استخدام LLMaIndex كوكلاء لها، حيث يتم كسر استفسار كبير إلى استفسارات أصغر، وتنفيذها بشكل متسلسل، ثم دمجها لتشكيل إجابة متسقة.

4. التأمل وتصحيح الأخطاء

الوكلاء التأملين ينتجون مخرجات ثم يتحققون من جودة هذه المخرجات لتصحيحها إذا لزم الأمر. هذه المهارة هي من أهم المهارات لضمان الدقة و أن ما يخرج هو ما قصده الشخص. بفضل سير العمل التأملي ل LLMaIndex، سوف يراجع الوكيل أداءه إما عن طريق إعادة المحاولة أو تعديل الأنشطة التي لا تتوافق مع مستويات الجودة المعينة. لكن نظرا لأنها تتصرف بشكل tự động، فإن RAG العامل يعتبر إلى حد ما موثوق به لتطبيقات المؤسسات التي يكون فيها الاعتماد أمرا حاسما.

5. التفكير العامل المعقد:

استكشاف شجري يتم تطبيقه عندما يجب على الوكلاء استكشاف عدد من المسارات الممكنة لتحقيق شيء ما. على عكس اتخاذ القرارات التسلسلي، يسمح التفكير الشجري للوكيل بمراعاة استراتيجيات متعددة في نفس الوقت واختيار الأكثر وعدا بناء على معايير التقييم التي يتم تحديثها في الوقت الفعلي.

LlamaCloud و LlamaParse

مع مجموعة خدماتها الإدارية المصممة لتعزيز السياق في تطبيقات LLM و RAG على مستوى المؤسسة، فإن LlamaCloud هو قفزة كبيرة في بيئة LLMaIndex. هذه الحلول تمكن مهندسي الذكاء الاصطناعي من التركيز على تطوير المنطق التجاري الأساسي من خلال تقليل عملية معالجة البيانات المعقدة.

محرك تحليل آخر متاح هو LlamaParse، الذي يدمج بسهولة مع خطوط أنابيب الاستهلاك والاسترجاع في LLMaIndex. هذا يشكل واحدة من أهم العناصر التي تتعامل مع وثائق معقدة شبه منظمات تحتوي على كائنات مدمجة مثل الجداول والرسومات. كتلة بناء مهمة أخرى هي واجهة استهلاك و استرجاع الإدارة، التي توفر عدة طرق لتحميل و معالجة و تخزين البيانات بسهولة من مجموعة كبيرة من المصادر، مثل مستودع البيانات المركزي ل LlamaHub أو مخرجات LlamaParse. بالإضافة إلى ذلك، تدعم تكاملات متعددة لتحميل البيانات.

الختام

RAG العامل يمثل تحولا في معالجة المعلومات من خلال إدخال المزيد من الذكاء في الوكلاء أنفسهم. في العديد من الحالات، يمكن دمج RAG العامل مع العمليات أو واجهات برمجة التطبيقات المختلفة لتحقيق نتيجة أكثر دقة و راقية. على سبيل المثال، في حالة تلخيص الوثائق، سوف يقيّم RAG العامل غرض المستخدم قبل صياغة تلخيص أو مقارنة تفاصيل. عند تقديم الدعم للعملاء، يمكن ل RAG العامل أن يرد بدقة وفرديا على استفسارات العملاء المتزايدة التعقيدا، ليس فقط بناء على نموذج التدريب الخاص به، ولكن أيضا بناء على الذاكرة المتاحة والمصادر الخارجية على حد سواء. RAG العامل يبرز تحولا من النماذج التوليدية إلى أنظمة أكثر دقة تعتمد على أنواع أخرى من المصادر لتحقيق نتيجة قوية ودقيقة. ومع ذلك، كونها توليدية وذكية كما هي الآن، هذه النماذج و RAGs العاملية هي في رحلة لتحقيق كفاءة أعلى مع إضافة المزيد والمزيد من البيانات إلى الأنابيب.