قادة الفكر
تطور RAG – مقدمة في RAG العامل
ما هو RAG (التنمية المعززة بالاسترجاع)؟
التنمية المعززة بالاسترجاع (RAG) هي تقنية تجمع بين نقاط قوة النماذج اللغوية الكبيرة (LLMs) مع استرجاع البيانات الخارجية لتحسين جودة الاستجابات المُحسنة وملاءمتها. النماذج اللغوية التقليدية تستخدم قواعد المعرفة المُتدربة مسبقًا ، في حين أن خطوط أنابيب RAG ستستفسر قواعد بيانات خارجية أو وثائق في وقت التشغيل وستسترجع المعلومات ذات الصلة لاستخدامها في توليد استجابات أكثر دقة وغنى سياقيًا. هذا مفيد بشكل خاص في الحالات التي يكون فيها السؤال معقدًا أو محددًا أو يعتمد على إطار زمني معين ، حيث إن الاستجابات من النموذج تكون محددة ومحسنة بمعلومات محددة بالسياق ومحدّثة.
المنظر الحالي ل RAG
النماذج اللغوية الكبيرة قد غيرت تمامًا كيف نصل إلى المعلومات ونعالجها. الاعتماد فقط على المعرفة الداخلية المُدخلة مسبقًا قد يحد من مرونة إجاباتها – خاصة对于 الأسئلة المعقدة. التنمية المعززة بالاسترجاع تحل هذه المشكلة من خلال السماح للنماذج اللغوية الكبيرة بالحصول على البيانات وتحليلها من مصادر خارجية متاحة لتحقيق استجابات أكثر دقة وعمق.
التطورات الحديثة في استرجاع المعلومات ومعالجة اللغة الطبيعية ، خاصة النماذج اللغوية الكبيرة و RAG ، تفتح أبوابًا جديدة للكفاءة والتعقيد. يمكن تقييم هذه التطورات على النحو التالي:
- تحسين استرجاع المعلومات: تحسين استرجاع المعلومات في أنظمة RAG أمر بالغ الأهمية للعمل بكفاءة. تم تطوير الأعمال الحديثة لمختلف المتجهات وخيارات إعادة ترتيب والأساليب البحثية الهجينة لتحسين البحث الدقيق.
- التخزين الدلالي: يعد هذا واحدًا من الطرق الرئيسية التي يتم من خلالها خفض التكلفة الحسابية دون الحاجة إلى التخلي عن الاستجابات الثابتة. هذا يعني أن الاستجابات للاستفسارات الحالية يتم تخزينها مع السياق الدلالي والبراغماتي المرفق ، مما يؤدي إلى سرعة استجابة أكبر وتقديم معلومات متسقة.
- التكامل المتعدد الوسائط: إلى جانب أنظمة LLM و RAG القائمة على النص ، يغطي هذا النهج أيضًا الوسائط البصرية ووسائط أخرى من الإطار. هذا يسمح بالوصول إلى مجموعة أكبر من المواد المصدر وينتج استجابات أكثر تعقيدًا وزيادة في الدقة.
التحديات مع الهياكل التقليدية ل RAG
بينما تطور RAG لتلبية الاحتياجات المختلفة ، لا تزال هناك تحديات تقف أمام الهياكل التقليدية ل RAG:
- التلخيص: قد يكون تلخيص الوثائق الكبيرة صعبًا. إذا كانت الوثيقة طويلة ، قد يتجاهل الهيكل التقليدي ل RAG المعلومات المهمة لأنها تحصل فقط على الجزء الأعلى K.
- مقارنة الوثائق: لا يزال مقارنة الوثائق تحديًا. غالبًا ما يؤدي إطار RAG إلى مقارنة غير كاملة لأنها تختار الجزء الأعلى K من كل وثيقة بشكل عشوائي.
- تحليل البيانات المهيكلة: من الصعب التعامل مع استفسارات البيانات العددية المهيكلة ، مثل تحديد متى سيأخذ موظف إجازته التالية بناءً على مكان إقامته. لا تتم استرجاع النقاط الدقيقة وتحليلها بدقة مع هذه النماذج.
- التحكم في الاستفسارات المتعددة الأجزاء: لا يزال الإجابة على الأسئلة التي تتكون من عدة أجزاء محدودة. على سبيل المثال ، العثور على أنماط الإجازة الشائعة عبر جميع المناطق في منظمة كبيرة هو تحدي عندما يتم تقييدها بالجزء K ، مما يحد من البحث الشامل.
الانتقال إلى RAG العامل
RAG العامل يستخدم وكلاء ذكاء للاستجابة للأسئلة المعقدة التي تتطلب التخطيط العناية ، والاستدلال المتعدد الخطوات ، وتكامل الأدوات الخارجية. يعمل هذه الوكلاء كباحثين ماهرين ، يتنقلون ببراعة عبر مجموعة من الوثائق ، ومقارنة البيانات ، و تلخيص النتائج ، وإنتاج استجابات شاملة ودقيقة.
يتم تضمين مفهوم الوكلاء في الإطار الكلاسيكي ل RAG لتحسين وظائف النظام وملاءمته ، مما يؤدي إلى إنشاء RAG العامل. يقوم هذه الوكلاء بالمهام الإضافية والاستدلالات المتعددة الخطوات ، بالإضافة إلى توجيه وتحكم المكونات المختلفة من خط أنابيب RAG.
الاستراتيجيات العاملية الثلاثة الأساسية
ترسل الموجهات الاستفسارات إلى الوحدات أو قواعد البيانات المناسبة وفقًا لنوعها. تتخذ الموجهات قرارات ديناميكية باستخدام نماذج اللغة الكبيرة على سياق الطلب ، لاتخاذ قرار بشأن محرك الاختيار الذي يجب إرساله إليه لتحسين الدقة والكفاءة من خط أنابيبك.
التحويلات الاستفسارية هي العمليات المشاركة في إعادة صياغة استفسار المستخدم لتطابق المعلومات المطلوبة أو ، عكس ذلك ، لتطابق ما تقدمه قاعدة البيانات. يمكن أن يكون ذلك واحدًا من التالي: إعادة صياغة ، توسيع ، أو كسر الأسئلة المعقدة إلى أسئلة فرعية أبسط يمكن التعامل معها بسهولة.
كما يتطلب ذلك محرك استفسار فرعي للتعامل مع تحدي الإجابة على سؤال معقد باستخدام عدة مصادر بيانات.
أولاً ، يتم تقسيم السؤال المعقد إلى أسئلة أبسط لكل من مصادر البيانات. ثم يتم جمع جميع الإجابات الوسيطة ودمجها في نتيجة نهائية.
طبقات RAG العاملية لخطوط الأنابيب
- التوجيه: يتم توجيه الاستفسار إلى المعالجة القائمة على المعرفة ذات الصلة. على سبيل المثال: عندما يريد المستخدم الحصول على توصيات لفئات معينة من الكتب ، يمكن توجيه الاستفسار إلى قاعدة معرفة تحتوي على معرفة حول تلك الفئات من الكتب.
- تخطيط الاستفسار: يتضمن هذا التخفيض من الاستفسار إلى استفسارات فرعية وإرسالها إلى خطوط الأنابيب الفردية. ينتج الوكيل استفسارات فرعية لجميع العناصر ، مثل السنة في هذه الحالة ، ويرسلها إلى قواعد البيانات الخاصة بها.
- استخدام الأداة: يتحدث نموذج اللغة إلى واجهة برمجة تطبيقات أو أداة خارجية ، مع العلم بما يعنيه ذلك ، وعلى منصة nào يجب أن تتم الاتصالات ، وعندما يكون من الضروري القيام بذلك. على سبيل المثال ، عند طلب مستخدم للحصول على توقعات الطقس لموعد معين ، يتحدث نموذج اللغة إلى واجهة برمجة تطبيقات الطقس ، ويحدد الموقع والتاريخ ، ثم يفسر الإرجاع القادم من واجهة برمجة التطبيقات لتزويد المعلومات الصحيحة.
- إعادة التفاعل هو عملية تكرارية من التفكير والعمل مقترنة بالتخطيط ، باستخدام الأدوات ، والمراقبة. على سبيل المثال ، لتصميم خطة رحلة من النهاية إلى النهاية ، سيتعامل النظام مع طلبات المستخدم وستحصل على تفاصيل حول المسار ، والمعالم السياحية ، والمطاعم ، والإقامة عن طريق الاتصال بواجهات برمجة التطبيقات. ثم سيتحقق النظام من النتائج فيما يتعلق بالدقة والملاءمة ، وسينتج خطة سفر مفصلة متعلقة بطلب المستخدم وجدوله.
- التخطيط الديناميكي للاستفسار: بدلاً من تنفيذها بشكل متسلسل ، ينفذ الوكيل العديد من الإجراءات أو الاستفسارات الفرعية بشكل متزامن ، ثم يجمع بين هذه النتائج. على سبيل المثال ، إذا أردنا مقارنة النتائج المالية لشركتين وتحديد الفرق في بعض المقاييس ، فإن الوكيل سيعالج البيانات لكلا الشركتين بشكل متوازي قبل جمع النتائج ؛ LLMCompiler هو إطار مثل هذا الذي يؤدي إلى مثل هذا التوجيه الفعال للمكالمات المتوازية للوظائف.
RAG العامل و LLMaIndex
يعتبر LLMaIndex تنفيذًا فعالًا جدًا لخطوط أنابيب RAG. يملأ المكتبة ببساطة الشق المفقود في دمج البيانات التنظيمية المهيكلة في نماذج الذكاء الاصطناعي التوليدي من خلال توفير وسائل الراحة للأدوات في معالجة واسترجاع البيانات ، بالإضافة إلى واجهات لعدد من مصادر البيانات. يتم وصف المكونات الرئيسية ل LlamaIndex أدناه.
LlamaParse يفسر الوثائق.
Llama Cloud هو خدمة مؤسسية مع خطوط أنابيب RAG التي تم نشرها بأقل قدر من العمل اليدوي.
باستخدام العديد من نماذج LLMs وتخزين المتجهات ، يوفر LlamaIndex طريقة متكاملة لإنشاء تطبيقات في Python وTypeScript مع RAG. تتميز هذه الخصائص بكونها هيكلاً متطلبًا بشدة من قبل الشركات الراغبة في الاستفادة من الذكاء الاصطناعي لاتخاذ قرارات مدفوعة بالبيانات.
المكونات الرئيسية لتنفيذ RAG العامل مع LLMaIndex
دعونا نناقش بعض مكونات RAG العاملية وكيف يتم تنفيذها في LlamaIndex.
1. استخدام الأداة والتوجيه
يختار وكيل التوجيه أفضل نموذج LLM أو أداة للاستخدام لاستفسار معين ، بناءً على نوع الاستفسار. هذا يؤدي إلى قرارات حساسة سياقيًا مثل ما إذا كان المستخدم يريد نظرة عامة أو تلخيصًا مفصلًا. أمثلة على هذه النهج هي محرك استفسار التوجيه في LlamaIndex ، الذي يختار أدوات تزيد من استجابات الاستفسارات ديناميكيًا.
2. الاحتفاظ بالسياق على المدى الطويل
بينما يكون مهمة الذاكرة الأكثر أهمية هي الاحتفاظ بالسياق على مدى عدة تفاعلات ، على النقيض من ذلك ، يبقى وكلاء RAG العامل على دراية دائمة بالتفاعلات التي تؤدي إلى استجابات متسقة وذات سياق.
يحتوي LlamaIndex أيضًا على محرك دردشة يمتلك ذاكرة لتحديثات المحادثة والاستفسارات الفردية. من أجل تجنب فيضان نافذة السياق LLM ، يجب أن تكون هذه الذاكرة تحت سيطرة مشددة أثناء المناقشات الطويلة ، وتنقص إلى شكل ملخص.
3. محركات الاستفسار الفرعية للتخطيط
في كثير من الأحيان ، يجب كسر استفسار معقد إلى مهام صغيرة وقابلة للإدارة. محرك استفسار فرعي هو واحدة من الوظائف الأساسية التي يتم استخدام LlamaIndex كوكيل ، حيث يتم كسر استفسار كبير إلى استفسارات أصغر ، وتنفيذها بشكل متسلسل ، ثم دمجها في استجابة متسقة.
4. التأمل وتصحيح الأخطاء
ينتج الوكلاء التأملون مخرجات ثم يتحققون من جودة هذه المخرجات لتصحيحها إذا لزم الأمر. هذه المهارة هي من أهم المهارات لضمان الدقة ومطابقة ما يخرج مع ما قصده الشخص. بفضل سير العمل التأملي لـ LlamaIndex ، سيتحقق الوكيل من أدائه إما عن طريق إعادة المحاولة أو تعديل الأنشطة التي لا تتوافق مع مستويات الجودة المعينة. ولكن نظرًا لأنها تتم تصحيحها ذاتيًا ، فإن RAG العامل هو إلى حد ما موثوق به لتطبيقات المؤسسات التي تكون فيها الموثوقية أساسية.
5. التفكير العامل المعقد:
يطبق الاستكشاف القائم على الشجرة عندما يتعين على الوكلاء استكشاف عدد من المسارات المحتملة لتحقيق شيء ما. على عكس اتخاذ القرارات المتسلسلة ، يسمح التفكير القائم على الشجرة للوكيل بمراعاة العديد من الاستراتيجيات في نفس الوقت واختيار الأكثر وعدًا بناءً على معايير التقييم المحدّثة في الوقت الفعلي.
LlamaCloud و LlamaParse
مع مجموعة واسعة من الخدمات المدارة المصممة لتعزيز السياق داخل تطبيقات LLM و RAG ، يعد LlamaCloud قفزة كبيرة في بيئة LlamaIndex. هذه الحلول تمكن مهندسي الذكاء الاصطناعي من التركيز على تطوير المنطق التجاري الرئيسي من خلال تقليل عملية التعامل مع البيانات المعقدة. محرك تحليل آخر متاح هو LlamaParse ، الذي يدمج بسهولة مع خطوط أنابيب الاستهلاك والاسترجاع في LlamaIndex. يشكل هذا أحد أهم العناصر التي تتعامل مع وثائق معقدة تحتوي على كائنات مثل الجداول والرسومات. كتلة بناء مهمة أخرى هي واجهة برمجة التطبيقات المدارة للاستهلاك والاسترجاع ، التي توفر عدة طرق لتحميل البيانات بسهولة ومعالجتها وتخزينها من مجموعة كبيرة من المصادر ، مثل مستودع البيانات المركزي LlamaHub أو مخرجات LlamaParse. بالإضافة إلى ذلك ، تدعم تكاملات متعددة لتخزين البيانات.
الختام
يمثل RAG العامل تحولًا في معالجة المعلومات من خلال إدخال المزيد من الذكاء في الوكلاء أنفسهم. في العديد من الحالات ، يمكن دمج RAG العامل مع العمليات أو واجهات برمجة التطبيقات المختلفة لتقديم نتيجة أكثر دقة ورفينت. على سبيل المثال ، في حالة تلخيص الوثائق ، سوف يقيّم RAG العامل الغرض من المستخدم قبل صياغة تلخيص أو مقارنة تفاصيل. عند تقديم الدعم للعملاء ، يمكن لـ RAG العامل الاستجابة بدقة وفردية لاستفسارات العملاء المعقدة المتزايدة ، لا فقط بناءً على نموذجها المُتدرب ، ولكن أيضًا على الذاكرة المتاحة والمصادر الخارجية على حد سواء. يسلط RAG العامل الضوء على تحول من النماذج التوليدية إلى أنظمة أكثر دقة تعتمد على مصادر أخرى لتحقيق نتيجة قوية ودقيقة. ومع ذلك ، كونها توليدية وذكية كما هي الآن ، فإن هذه النماذج و RAG العاملية هي في رحلة إلى كفاءة أعلى وأعلى مع إضافة المزيد والمزيد من البيانات إلى خطوط الأنابيب.
