نظرة متعمقة على التوليد المعزز بالاسترجاع (RAG) في النماذج اللغوية الكبيرة

تخيل أنك محلل، ولديك إمكانية الوصول إلى نموذج لغة كبير. أنت متحمس لفرصته التي تُحققها في عملك. ولكن بعد ذلك، تسأله عن أحدث أسعار الأسهم أو معدل التضخم الحالي، ثم يفاجئك بالرد:

“أنا آسف، لكنني لا أستطيع تقديم بيانات في الوقت الفعلي أو بعد تاريخ الانتهاء. بياناتي الأخيرة تصل فقط إلى يناير 2022.”

النموذج اللغوي الكبير، مع كل قوته اللغوية، يفتقر إلى القدرة على فهم “الآن“. وفي عالم سريع الخطى، “الآن” هو كل شيء.

أظهرت الأبحاث أن النماذج اللغوية الكبيرة المُتدربة مسبقًا (LLM) هي أيضًا مستودعات للمعرفة الحقيقية.

لقد تم تدريبها على كميات هائلة من البيانات بحيث امتصت الكثير من الحقائق والأرقام. عند ضبطها الدقيق، يمكنها تحقيق نتائج ممتازة في مجموعة متنوعة من مهام معالجة اللغة الطبيعية.

لكن هنا تكمن العقدة: قدرة هذه النماذج على الوصول إلى هذه المعرفة المخزنة وتعديلها ليست دائمًا مثالية. خاصة عند التعامل مع مهام تتطلب معرفة مكثفة، قد تتراجع هذه النماذج عن أداء البنى الأكثر تخصصًا. إنه مثل وجود مكتبة تحتوي على جميع الكتب في العالم، لكن بدون فهرس للعثور على ما تحتاجه.

حصل ChatGPT من OpenAI على ترقية التصفح

الإعلان الأخير من OpenAI حول إمكانية ChatGPT في التصفح يُعد خطوة كبيرة نحو Retrieval-Augmented Generation (RAG). مع إمكانية ChatGPT الآن في التصفح على الإنترنت للحصول على معلومات حالية وموثوقة، يعتمد على نهج RAG في سحب البيانات بشكل ديناميكي من مصادر خارجية لتقديم استجابات غنية.

https://twitter.com/OpenAI/status/1707077710047216095

يتوفر حاليًا لاستخدامات Plus و Enterprise، ويتوقع OpenAI إطلاق هذه الميزة لجميع المستخدمين قريبًا. يمكن للمستخدمين تفعيل هذه الميزة عن طريق اختيار “تصفح مع Bing” تحت خيار GPT-4.

ميزة التصفح الجديدة في ChatGPT

 هندسة المطالبات هي فعالة ولكنها غير كافية

المطالبات تعمل كبوابة إلى معرفة LLM. توجيه النموذج، وتقديم اتجاه للاستجابة. ومع ذلك، فإن إنشاء مطالبة فعالة ليست هي الحل الشامل للحصول على ما تريد من LLM. ومع ذلك، دعونا ننتقل إلى بعض الممارسات الجيدة التي يجب مراعاتها عند كتابة مطالبة:

1. الوضوح: مطالبة محددة جيدًا تلغي الغموض. يجب أن تكون مباشرة، مما يضمن أن النموذج يفهم نية المستخدم. هذا الوضوح غالبًا ما يترجم إلى استجابات أكثر تماسكًا وملاءمة.
2. السياق: خاصة عند مدخلات واسعة، يمكن أن يؤثر وضع التوجيه على الإخراج. على سبيل المثال، يمكن أن يؤدي نقل التوجيه إلى نهاية مطالبة طويلة إلى تحسين النتائج.
3. الدقة في التوجيه: قوة السؤال، التي يتم التعبير عنها غالبًا من خلال إطار “من، ما، حيث، متى، لماذا، كيف”، يمكن أن توجّه النموذج نحو استجابة أكثر تركيزًا. بالإضافة إلى ذلك، يمكن أن يؤدي تحديد تنسيق الإخراج المطلوب أو الحجم إلى تعزيز الإخراج النهائي للنموذج.
4. معالجة عدم اليقين: من المهم توجيه النموذج حول كيفية الاستجابة عند عدم اليقين. على سبيل المثال، توجيه النموذج للرد ب “لا أعرف” عند عدم اليقين يمكن أن يمنعه من توليد استجابات غير دقيقة أو “متخيلة”.
5. التفكير التتابعي:بالنسبة إلى تعليمات معقدة، يمكن أن يؤدي توجيه النموذج إلى التفكير بشكل منهجي أو كسر المهمة إلى مهام فرعية إلى استجابات أكثر شمولاً ودقة.

فيما يتعلق بأهمية المطالبات في توجيه ChatGPT، يمكن العثور على مقال شامل في مقال على Unite.ai.

تحديات في نماذج الذكاء الاصطناعي التوليدية

هندسة المطالبات تتضمن تعديل التوجيهات المقدمة إلى نموذجك لتحسين أدائه. إنه وسيلة فعالة من حيث التكلفة لتعزيز دقة تطبيقات الذكاء الاصطناعي التوليدية، مما يتطلب فقط تعديلات بسيطة في الكود. بينما يمكن لهندسة المطالبات تحسين الإخراج بشكل كبير، من المهم فهم القيود المتأصلة في نماذج اللغة الكبيرة (LLM). هناك تحديان رئيسيان هما الهلوسات و الحد الزمني للمعرفة.

• الهلوسات: يشير إلى الحالات التي يرجع فيها النموذج استجابة خاطئة أو مختلقة بثقة.

الهلوسات في LLM

• الحد الزمني للمعرفة: كل نموذج LLM له تاريخ انتهاء تدريبه، بعد ذلك يكون غير مدرك للأحداث أو التطورات. هذا يعني أن معرفة النموذج مجمدة في نقطة تاريخ تدريبه الأخير. على سبيل المثال، نموذج تم تدريبه حتى عام 2022 لن يكون على دراية بأحداث عام 2023.

الحد الزمني للمعرفة في LLM

التوليد المعزز بالاسترجاع (RAG) يقدم حلاً لهذه التحديات. إنه يسمح للنماذج بالوصول إلى معلومات خارجية، مما يخفف من مشاكل الهلوسات من خلال توفير الوصول إلى بيانات خاصة أو متخصصة في مجال معين. كما يستطيع RAG الوصول إلى معلومات حديثة تتجاوز تاريخ انتهاء تدريب النموذج، مما يتيح تحديث الإجابات.

كما يسمح للنموذج بسحب البيانات من مصادر خارجية في الوقت الفعلي. قد تكون المصادر قواعد معرفة أو قواعد بيانات أو الإنترنت الواسع.

مقدمة في التوليد المعزز بالاسترجاع

التوليد المعزز بالاسترجاع (RAG) هو إطار عمل، وليس تكنولوجيا محددة، يُمكّن النماذج اللغوية الكبيرة من الوصول إلى بيانات لم يتم تدريبها عليها. هناك طرق متعددة لتنفيذ RAG، ويتوقف الخيار الأمثل على المهمة المحددة وطبيعة البيانات.

يعمل إطار RAG بطريقة منظمة:

مدخلات المطالبة

العمليات تبدأ مع مدخلات المستخدم أو مطالبة. يمكن أن تكون هذه إشارة أو بيان يطلب معلومات محددة.

الاسترجاع من المصادر الخارجية

بدلاً من توليد استجابة مباشرة بناءً على تدريبه، يبحث النموذج، بمساعدة مكون المسترجع، من خلال مصادر بيانات خارجية. يمكن أن تتراوح هذه المصادر من قواعد المعرفة وقواعد البيانات إلى بيانات يمكن الوصول إليها عبر الإنترنت.

فهم الاسترجاع

في جوهره، يعكس الاسترجاع عملية بحث. إنه حول استخراج المعلومات الأكثر صلة استجابةً لمدخلات المستخدم. يمكن تقسيم هذه العملية إلى مرحلتين:

1. فهرسة: يمكن القول إن الجزء الأكثر تحديًا في رحلة RAG بأكملها هو فهرسة قاعدة معارفك. يمكن تقسيم عملية الفهرسة إلى مرحلتين: التحميل والتقسيم. في أدوات مثل LangChain، يتم تسمية هذه العمليات “المحملات” و “المقسمات“. تتحمل المحملات مسؤولية استرجاع المحتوى من مصادر مختلفة، سواء كانت صفحات ويب أو ملفات PDF. بعد استرجاعها، تقوم المقسمات بتقسيم هذا المحتوى إلى قطع صغيرة الحجم، مما يُحسنه للاستخدام في التضمين والبحث.
2. الاستعلام: هذا هو فعل استخراج شظايا المعرفة الأكثر صلة بناءً على مصطلح البحث.

في حين هناك العديد من الطرق للاسترجاع، من التطابق النصي البسيط إلى استخدام محركات البحث مثل جوجل، تعتمد أنظمة RAG الحديثة على البحث الدلالي. في قلب البحث الدلالي يوجد مفهوم التضمين.

التضمين هو مركزي لفهم كيفية عمل النماذج اللغوية الكبيرة (LLM) للغة. عندما يحاول البشر تفسير كيفية استخلاص المعنى من الكلمات، غالبًا ما يعود التفسير إلى الفهم المتأصل. في أعماق هياكلنا المعرفية، ندرك أن كلمتي «طفل» و«صغير» قد تعبّران عن معنى متقارب، أو أن “أحمر” و “أخضر” يُشيران إلى الألوان.

تعزيز المطالبة

تُجمع المعلومات المسترجعة بعد ذلك مع المطالبة الأصلية، مما يُنشئ مطالبة معززة أو موسعة. تزود هذه المطالبة المعززة النموذج بسياق إضافي، وهو خصوصًا قيم إذا كانت البيانات محددة بالمجال أو غير موجودة في مجموعة تدريب النموذج الأصلية.

توليد الإكمال

مع المطالبة المعززة في اليد، يُولد النموذج استجابة أو إكمال. هذه الاستجابة ليست فقط بناءً على تدريب النموذج، ولكنها أيضًا مستنيرة بالبيانات الحقيقية المسترجعة.

التوليد المعزز بالاسترجاع

هيكل أول نموذج RAG LLM

الورقة البحثية التي نشرتها Meta في عام 2020 “التوليد المعزز بالاسترجاع لمهام معالجة اللغة الطبيعية المكثفة”  يقدم نظرة متعمقة حول هذه التقنية. نموذج التوليد المعزز بالاسترجاع يُضيف إلى عملية التوليد التقليدية آلية استرجاع أو بحث خارجية. هذا يسمح للنموذج بسحب المعلومات ذات الصلة من مجموعات بيانات واسعة، مما يعزز قدرته على توليد استجابات دقيقة سياقيًا.

1. الذاكرة البارامترية: هذا هو نموذج اللغة التقليدي، مثل نموذج seq2seq. لقد تم تدريبه على كميات هائلة من البيانات ويعرف الكثير.
2. الذاكرة غير البارامترية: فكر في هذا كمحرك بحث. إنه فهرس متجهات كثيف، على سبيل المثال، ويكيبيديا، والذي يمكن الوصول إليه باستخدام مسترجع عصبي.

عندما يُجمع هذان معًا، يُخلق نموذج دقيق. نموذج RAG يسترجع أولاً المعلومات ذات الصلة من ذاكرته غير البارامترية، ثم يستخدم معرفته البارامترية لتوفير استجابة متسقة.

نموذج RAG الأصلي من Meta

1. عملية ثنائية:

يعمل نموذج RAG LLM في عملية ثنائية:

• الاسترجاع: يبحث النموذج أولاً عن وثائق أو مقاطع ذات صلة من مجموعة بيانات كبيرة. يتم هذا باستخدام آلية استرجاع كثيفة، التي تستخدم التضمين لتمثيل كل من الاستعلام والوثائق. ثم تُستخدم التضمين لحساب درجات التشابه، ويتحصل على الوثائق الأعلى تصنيفًا.
• التوليد: تُمرَّر أعلى k وثائق صلةً إلى مولّد تسلسل إلى تسلسل إلى جانب الاستعلام الأولي. ثم يُنشئ هذا المولد الإخراج النهائي، مستمدًا السياق من الاستعلام والوثائق المسترجعة.

2. الاسترجاع الكثيف:

النظم التقليدية للاسترجاع غالبًا ما تعتمد على تمثيلات متناثرة مثل TF-IDF. ومع ذلك، يستخدم نموذج RAG LLM تمثيلات كثيفة، حيث يتم تمثيل كل من الاستعلام والوثائق في فضاءات متصلة. هذا يسمح بمقارنات أكثر دقة للتشابه، مما يُحسن العلاقات الدلالية أبعد من مجرد مطابقة الكلمات الرئيسية.

3. التوليد التسلسلي-التسلسلي:

تعمل الوثائق المسترجعة كسياق موسع للمولد. هذا المولد، غالبًا ما يعتمد على هياكل مثل TRANSFORMERS، يُولد الإخراج النهائي، مما يضمن أنه متسق وملائم سياقيًا.

بحث المستندات

فهرسة المستندات والاسترجاع

من أجل استرجاع المعلومات بكفاءة، خاصة من المستندات الكبيرة، يتم تخزين البيانات في قاعدة بيانات متجهة. يتم فهرسة كل قطعة من البيانات أو المستند بناءً على متجه التضمين، الذي يُحسن جوهر المعنى. يضمن الفهرس الفعال استرجاع المعلومات ذات الصلة بسرعة بناءً على مدخلات المستخدم.

قواعد البيانات المتجهة

مصدر: Redis

قواعد البيانات المتجهة، التي يُطلق عليها أحيانًا تخزين المتجهات، هي قواعد بيانات مخصصة لتخزين واسترجاع بيانات المتجهات. في مجال الذكاء الاصطناعي وعلوم الحاسوب، المتجهات هي في الأساس قوائم من الأرقام تمثل نقاط في فضاء متعدد الأبعاد. على عكس القواعد التقليدية، التي تتكيف بشكل أفضل مع البيانات الجدولية، تُبرز قواعد البيانات المتجهة في إدارة البيانات التي تناسب بشكل طبيعي تنسيق المتجه، مثل التضمين من نماذج الذكاء الاصطناعي.

تتضمن بعض قواعد البيانات المتجهة البارزة Annoy وFaiss من Meta وMilvus وPinecone. هذه القواعد هي حيوية في تطبيقات الذكاء الاصطناعي، وتساعد في مهام تتراوح من أنظمة التوصية إلى عمليات البحث عن الصور. تقدم منصات مثل AWS أيضًا خدمات مخصصة لاحتياجات قواعد البيانات المتجهة، مثل Amazon OpenSearch Service و Amazon RDS لبرنامج PostgreSQL. هذه الخدمات مُحسنة لمجموعة متنوعة من الحالات، مما يضمن الفهرسة والاستعلام الفعالين.

التقسيم من أجل الصلة

نظرًا لأن العديد من المستندات يمكن أن تكون واسعة، غالبًا ما تُستخدم تقنية تُسمى “التقسيم”. تتضمن هذه التقنية تقسيم المستندات الكبيرة إلى قطع صغيرة متسقة سياقيًا. ثم يتم فهرسة هذه القطع واسترجاعها حسب الحاجة، مما يضمن استخدام أجزاء المستند الأكثر صلة لتعزيز المطالبة.

اعتبارات نافذة السياق

يعمل كل نموذج LLM داخل نافذة سياق، التي هي أساسًا الحد الأقصى للمعلومات التي يمكنه مراعاتها في الوقت نفسه. إذا قدمت مصادر البيانات الخارجية معلومات تتجاوز هذه النافذة، فيجب تقسيمها إلى قطع صغيرة تتناسب مع نافذة السياق للنموذج.

فوائد استخدام التوليد المعزز بالاسترجاع

1. الدقة المعززة: من خلال الاستفادة من مصادر البيانات الخارجية، يمكن لنموذج RAG LLM توليد استجابات لا تعتمد فقط على بيانات التدريب، بل أيضًا على المعلومات الأكثر صلة وحداثة المتاحة في مجموعة الاسترجاع.
2. تجاوز فجوات المعرفة: يعالج RAG بشكل فعال القيود المعرفية للنماذج LLM، سواء كانت ناتجة عن تاريخ انتهاء التدريب للنموذج أو عدم وجود بيانات محددة بالمجال في مجموعة التدريب.
3. التنوع: يمكن دمج RAG مع مصادر بيانات خارجية متنوعة، من قواعد البيانات المملوكة داخل المنظمة إلى بيانات الإنترنت المتاحة للجمهور. هذا يجعله مرنًا لاستخدامات وصناعات واسعة.
4. تقليل الهلوسات: واحدة من التحديات مع LLM هي إمكانية “الهلوسات” أو توليد معلومات غير دقيقة أو مختلقة. من خلال توفير سياق البيانات في الوقت الفعلي، يمكن لـ RAG تقليل فرص هذه الإخراجات بشكل كبير.
5. القابلية للتوسع: واحدة من الفوائد الرئيسية لنموذج RAG LLM هي قابليته للتوسيع. من خلال فصل عمليات الاسترجاع والتوليد، يمكن للنموذج التعامل بكفاءة مع مجموعات بيانات ضخمة، مما يجعله مناسبًا للتطبيقات في العالم الحقيقي حيث البيانات وفيرة.

التحديات والاعتبارات

• العبء الحاسوبي: العملية الثنائية يمكن أن تكون حاسوبية مكثفة، خاصة عند التعامل مع مجموعات بيانات كبيرة.
• اعتماد البيانات: جودة الوثائق المسترجعة تؤثر مباشرة على جودة التوليد. لذلك، من المهم وجود مجموعة استرجاع شاملة ومحسنة.

الخاتمة

من خلال دمج عمليات الاسترجاع والتوليد، يقدم التوليد المعزز بالاسترجاع حلاً قويًا للمهام المكثفة في المعرفة، مما يضمن إخراجًا يستند إلى المعلومات ويلائم السياق.

الوعد الحقيقي لـ RAG يكمن في تطبيقاته في العالم الحقيقي. في قطاعات مثل الرعاية الصحية، حيث يمكن أن تكون المعلومات الدقيقة والفورية حاسمة، يقدم RAG القدرة على استخراج وتوليد رؤى من الأدب الطبي بسهولة. في مجال المالية، حيث تتطور الأسواق دقيقةً بعد دقيقة، يمكن لـ RAG تقديم رؤى مدفوعة بالبيانات في الوقت الفعلي، مما يساعد في اتخاذ قرارات مدروسة. بالإضافة إلى ذلك، في الأكاديمية والبحث، يمكن للباحثين استخدام RAG لتمشيط مستودعات المعلومات الواسعة، مما يجعل مراجعة الأدبيات وتحليل البيانات أكثر كفاءة.