غوص عميق في توليد محسّن بالاسترجاع في نماذج اللغة الكبيرة

تخيل أنك محلل، ولديك إمكانية الوصول إلى نموذج لغة كبير. أنت متحمس للفرص التي يُحضِرها إلى تدفق عملك. لكن بعد ذلك، تسأله عن أحدث أسعار الأسهم أو معدل التضخم الحالي، ويدركك بالقول:

“أنا آسف، لكنني لا أستطيع تقديم بيانات في الوقت الفعلي أو بعد تاريخ الانتهاء. بياناتي الأخيرة للتدريب تنتهي في يناير 2022 فقط. “

نماذج اللغة الكبيرة، مع كل قوتها اللغوية، تفتقر إلى القدرة على فهم “الآن”. وفي عالم سريع الخطو، “الآن” هو كل شيء.

أظهرت الأبحاث أن النماذج اللغوية الكبيرة المُتدَرِّبة مسبقًا (LLM) هي أيضًا مخازن للمعرفة الحقيقية.

لقد تم تدريبها على كميات هائلة من البيانات لدرجة أنها امتصت الكثير من الحقائق والأرقام. عند ضبط دقيق، يمكنها تحقيق نتائج مذهلة في مجموعة متنوعة من مهام معالجة اللغة الطبيعية.

لكن هنا تكمن العقدة: قدرتهم على الوصول إلى هذه المعرفة المخزنة وتعديلها ليست دائمًا مثالية. خاصة عندما يكون المهمة في متناول اليد شديدة الاعتماد على المعرفة، يمكن أن تتفوق هذه النماذج على هياكل أكثر تخصصًا. إنه مثل وجود مكتبة تحتوي على كل الكتب في العالم، لكن بدون فهرس للعثور على ما تحتاجه.

حصل ChatGPT من OpenAI على تحديث تصفح

الإعلان الأخير من OpenAI حول khảية تصفح ChatGPT هو خطوة كبيرة في اتجاه توليد محسّن بالاسترجاع (RAG). مع khảية ChatGPT الآن للبحث على الإنترنت عن المعلومات الحالية والموثوقة، يُشبه نهج RAG في سحب البيانات ديناميكيًا من مصادر خارجية لتوفير استجابات غنية.

https://twitter.com/OpenAI/status/1707077710047216095

تتوفر حاليًا لمستخدمي البرامج والشركات، يخطط OpenAI لطرح هذه الميزة لجميع المستخدمين قريبًا. يمكن للمستخدمين تفعيلها عن طريق اختيار “تصفح مع Bing” تحت خيار GPT-4.

ميزة تصفح جديدة في ChatGPT

 هندسة التوجيه فعالة لكن غير كافية

النماذج تُشكِّل مدخلًا إلى معرفة LLM. توجيهها وتوجيه النموذج، وتوفير اتجاه للاستجابة. ومع ذلك، فإن إنشاء توجيه فعال ليس هو الحل الشامل للحصول على ما تريده من LLM. ومع ذلك، دعونا ننتقل إلى بعض الممارسات الجيدة التي يجب مراعاتها عند كتابة توجيه:

1. الوضوح: توجيه محدد جيدًا يُزيل الغموض. يجب أن يكون مباشرًا، مما يضمن أن النموذج يفهم نية المستخدم. هذا الوضوح غالبًا ما يُترجَم إلى استجابات أكثر تماسكًا وملاءمة.
2. السياق: خاصةً للمدخلات الشاملة، يمكن أن يؤثر وضع التوجيه على الإخراج. على سبيل المثال، يمكن أن يؤدي نقل التوجيه إلى نهاية توجيه طويل إلى نتائج أفضل.
3. الدقة في التوجيه: قوة السؤال، غالبًا ما تُعبَّر عنها من خلال إطار “من، ما، أين، متى، لماذا، كيف”، يمكن أن توجيه النموذج نحو استجابة أكثر تركيزًا. بالإضافة إلى ذلك، يمكن أن يُحدِّد توجيه الإخراج المطلوب أو الحجم لتعديل إخراج النموذج بشكل أكبر.
4. تreatment عدم اليقين: من المهم توجيه النموذج حول كيفية الاستجابة عند الشك. على سبيل المثال، يمكن أن يمنع توجيه النموذج بالاستجابة بـ “لا أعرف” عند الشك من توليد استجابات غير دقيقة أو “متخيلة”.
5. التفكير التتابعي: للمهام المعقدة، يمكن أن يؤدي توجيه النموذج إلى التفكير بشكل منهجي أو تقسيم المهمة إلى مهام فرعية إلى استجابات أكثر شمولاً ودقة.

فيما يتعلق بأهمية التوجيهات في توجيه ChatGPT، يمكن العثور على مقال شامل في مقال على Unite.ai.

تحديات في نماذج الذكاء الاصطناعي التوليدية

تتضمن هندسة التوجيه تعديل التوجيهات المُقدَّمة إلى نموذجك لتحسين أدائه. إنه طريقة فعالة من حيث التكلفة لتعزيز دقة تطبيق الذكاء الاصطناعي التوليدي، مما يتطلب فقط تعديلات طفيفة في الشفرة. بينما يمكن أن تحسِّن هندسة التوجيه الإخراجات بشكل كبير، من المهم فهم القيود المتأصلة في نماذج اللغة الكبيرة (LLM). هناك تحديان أساسيان هما الوهم و انقطاع المعرفة.

• الوهم: يشير هذا إلى الحالات التي يعود فيها النموذج بثقة إلى استجابة خاطئة أو مفبركة. على الرغم من أن النماذج LLM المتقدمة تحتوي على آليات مدمجة للاعتراف وتجنب مثل هذه الإخراجات.

أوهام في LLM

• انقطاع المعرفة: لكل نموذج LLM تاريخ انتهاء التدريب، بعد ذلك يكون غير مدرك للأحداث أو التطورات. هذا القيد يعني أن معرفة النموذج مجمدة في نقطة تاريخ انتهاء تدريبه. على سبيل المثال، نموذج تم تدريبه حتى عام 2022 لن يعرف أحداث عام 2023.

انقطاع المعرفة في LLM

يُقدم توليد محسّن بالاسترجاع (RAG) حلاً لهذه التحديات. يسمح للنماذج بالوصول إلى المعلومات الخارجية، مما يُخفِّف من مشاكل الأوهام من خلال توفير الوصول إلى بيانات مملوكة أو محددة بالمنطقة. بالنسبة إلى انقطاع المعرفة، يمكن لـ RAG الوصول إلى المعلومات الحالية التي ت超过 تاريخ تدريب النموذج، مما يضمن أن الإخراج هو أحدث ما توفر.

مقدمة في توليد محسّن بالاسترجاع

توليد محسّن بالاسترجاع (RAG) هو إطار، وليس تكنولوجيا محددة، يُمكِّن نماذج اللغة الكبيرة من الوصول إلى بيانات لم يتم تدريبها عليها. هناك طرق متعددة لتنفيذ RAG، ويتوقف الأفضل على المهمة المحددة وطبيعة البيانات.

يعمل إطار RAG بطريقة منسقة:

مدخلات التوجيه

يبدأ العملية بمدخلات المستخدم أو توجيه. يمكن أن يكون هذا سؤالاً أو بيانًا يبحث عن معلومات محددة.

استرجاع من المصادر الخارجية

بدلاً من توليد استجابة مباشرة بناءً على تدريبه، يبحث النموذج، بمساعدة مكون استرجاع، من خلال مصادر بيانات خارجية. يمكن أن تتراوح هذه المصادر من قواعد المعرفة وقواعد البيانات إلى بيانات متوفرة على الإنترنت.

فهم الاسترجاع

في جوهره، يعكس الاسترجاع عملية بحث. إنه حول استخراج المعلومات الأكثر صلة استجابةً لمدخلات المستخدم. يمكن تقسيم هذه العملية إلى مرحلتين:

1. الفهرسة: يمكن القول إنها الجزء الأكثر تحديًا في رحلة RAG بأكملها هي فهرسة قاعدة معرفتك. يمكن تقسيم عملية الفهرسة إلى مرحلتين: التحميل والتقسيم. في أدوات مثل LangChain، يتم تعريف هذه العمليات باسم “حمل” و “تقسيم“. يقوم حمل بالاسترجاع من مصادر مختلفة، سواء كانت صفحات ويب أو ملفات PDF. بعد الاسترجاع، يقوم التقسيم بتقسيم هذا المحتوى إلى قطع صغيرة الحجم، مما يُحسِّنها للاستخدام والبحث.
2. الاستعلام: هذا هو فعل استخراج أجزاء المعرفة الأكثر صلة بناءً على مصطلح بحث.

في حين هناك العديد من الطرق لنهج الاسترجاع، من التطابق النصي البسيط إلى استخدام محركات البحث مثل Google، تعتمد أنظمة RAG الحديثة على البحث الدلالي.

تقع في قلب البحث الدلالي مفهوم التضمين.

التضمين هو مركزي لفهم كيفية فهم نماذج اللغة الكبيرة للغة. عندما يحاول البشر توضيح كيفية استخلاصهم للمعنى من الكلمات، غالبًا ما يعود التفسير إلى الفهم المتأصل.

في عمق هياكلنا المعرفية، ندرك أن “طفل” و “صغير” هما مرادفان، أو أن “أحمر” و “أخضر” يُشيران كلاهما إلى الألوان.

تعزيز التوجيه

تُجمع المعلومات المسترجعة مع التوجيه الأصلي، مما يُنشئ توجيهًا معززًا أو موسعًا. يوفر هذا التوجيه المعزز للنموذج سياقًا إضافيًا، وهو قيم بشكل خاص إذا كانت البيانات محددة بالمنطقة أو غير موجودة في مجموعة تدريب النموذج الأصلي.

توليد الإكمال

بوجود التوجيه المعزز في اليد، يُولِّد النموذج بعد ذلك إكمالًا أو استجابة. هذه الاستجابة ليست فقط بناءً على تدريب النموذج ولكنها أيضًا مستنيرة بالبيانات الحقيقية المسترجعة.

توليد محسّن بالاسترجاع

هيكل أول نموذج RAG

يوفر البحث المنشور بواسطة Meta في عام 2020 “توليد محسّن بالاسترجاع لمهام معالجة اللغة الطبيعية التي تعتمد على المعرفة” نظرة sâu إلى هذه التقنية. يُضيف نموذج RAG عملية توليد تقليدية مع آلية استرجاع خارجية أو بحث.

هنا كيف يعمل:

1. الذاكرة المعtparam: هذا هو نموذج اللغة التقليدي، مثل نموذج seq2seq. لقد تم تدريبه على كميات هائلة من البيانات ويعرف الكثير.
2. الذاكرة غير المعtparam: فكر في هذا كمحرك بحث. إنه فهرس متجمد للنصوص، مثل ويكيبيديا، والذي يمكن الوصول إليه باستخدام مُسترجِع عصبي.

عندما يُجمع هذان، يُخلق نموذجًا دقيقًا. يُرجع نموذج RAG أولًا المعلومات ذات الصلة من ذاكرته غير المعtparam، ثم يستخدم معرفته المعtparam لإعطاء استجابة متسقة.

نموذج RAG الأصلي بواسطة Meta

1. عملية ثنائية:

يعمل نموذج RAG LLM في عملية ثنائية:

• الاسترجاع: يبحث النموذج أولًا عن وثائق أو مقاطع ذات صلة من مجموعة بيانات كبيرة. يتم هذا باستخدام آلية استرجاع متجمد، التي تستخدم التضمين لتمثيل كل من الاستعلام والوثائق. ثم تُستخدم التضمين لحساب درجات التشابه، ويتم استرجاع الوثائق الأعلى تصنيفًا.
• التوليد: مع وجود الوثائق ذات الصلة في اليد، يتم توجيهها إلى مولد تسلسلي إلى تسلسلي إلى جانب الاستعلام الأولي. ثم يُنشئ المولِّد الإخراج النهائي، مستمدًا السياق من كل من الاستعلام والوثائق المسترجعة.

2. الاسترجاع المتجمد:

غالبًا ما تعتمد أنظمة الاسترجاع التقليدية على تمثيلات منفصلة مثل TF-IDF. ومع ذلك، يُستخدم نموذج RAG LLM تمثيلات متجمدة، حيث يتم تمثيل كل من الاستعلام والوثائق في فضاءات متجمدة مستمرة. هذا يسمح بمقارنات أكثر دقة لتشابه، مما يلتصق بالعلاقات الدلالية أبعد من مجرد مطابقة الكلمات الرئيسية.

3. توليد تسلسلي إلى تسلسلي:

تُعمل الوثائق المسترجعة كسياق موسع لنموذج التوليد. ثم يُولِّد هذا النموذج، غالبًا ما يعتمد على هياكل مثل TRANSFORMERS، الإخراج النهائي، مما يضمن أنه متسق وملائم سياقيًا.

بحث المستندات

فهرسة المستندات والاسترجاع

من أجل استرجاع المعلومات بكفاءة، خاصة من المستندات الكبيرة، يتم تخزين البيانات غالبًا في قاعدة بيانات متجزة. يتم فهرسة كل قطعة من البيانات أو المستندات بناءً على متجه تضمين، الذي يلخص الجوهر الدلالي للمحتوى. تُضمن الفهرسة الفعالة استرجاع المعلومات ذات الصلة بسرعة بناءً على توجيه المستخدم.

قواعد بيانات المتجهات

مصدر: Redis

قواعد بيانات المتجهات، أحيانًا يُطلق عليها تخزين المتجهات، هي قواعد بيانات مُحسَّنة لتخزين واسترجاع بيانات المتجهات. في مجال الذكاء الاصطناعي وعلوم الحاسوب، المتجهات هي في الأساس قوائم من الأرقام تمثل نقاط في فضاء متعدد الأبعاد. على عكس القواعد التقليدية، التي تُعتبر أكثر ملاءمة للبيانات الجدولية، تُبرز قواعد بيانات المتجهات في إدارة البيانات التي تتناسب بشكل طبيعي مع تنسيق المتجه، مثل التضمين من نماذج الذكاء الاصطناعي.

تتضمن بعض قواعد بيانات المتجهات البارزة Annoy، Faiss من Meta، Milvus، و Pinecone. هذه القواعد هي حاسمة في تطبيقات الذكاء الاصطناعي، مما يساعد في مهام تتراوح من أنظمة التوصية إلى عمليات البحث عن الصور. تقدم منصات مثل AWS أيضًا خدمات مُحسَّنة لمتطلبات قواعد بيانات المتجهات، مثل Amazon OpenSearch Service و Amazon RDS لـ PostgreSQL. هذه الخدمات مُحسَّنة لاستخدامات محددة، مما يضمن فهرسة واستعلام كفوئين.

التقسيم من أجل الصلة

نظرًا لأن العديد من المستندات يمكن أن تكون شاملة، غالبًا ما تُستخدم تقنية称ى “التقسيم”. تتضمن هذه التقنية تقسيم المستندات الكبيرة إلى قطع صغيرة متسقة سياقيًا. ثم يتم فهرسة هذه القطع واسترجاعها حسب الحاجة، مما يضمن أن أجزاء المستند الأكثر صلة تُستخدم لتعزيز التوجيه.

اعتبارات نافذة السياق

يعمل كل نموذج LLM داخل نافذة سياق، وهي أساسًا الحد الأقصى للمعلومات التي يمكنه النظر فيها في وقت واحد. إذا قدمت مصادر البيانات الخارجية معلومات تتجاوز هذه النافذة، فيجب تقسيمها إلى قطع صغيرة تناسب نافذة سياق النموذج.

فوائد استخدام توليد محسّن بالاسترجاع

1. ال精度 المحسّنة: من خلال الاستفادة من مصادر البيانات الخارجية، يمكن لنموذج RAG LLM توليد استجابات لا تعتمد فقط على بيانات التدريب ولكنها أيضًا مستنيرة بالبيانات الأكثر صلة والأحدث المتاحة في مجموعة الاسترجاع.
2. التغلب على فجوات المعرفة: يُعالج RAG بشكل فعال القيود المعرفية المتأصلة في LLM، سواء كانت بسبب تاريخ انتهاء تدريب النموذج أو عدم وجود بيانات محددة بالمنطقة في مجموعة تدريبه.
3. المرونة: يمكن دمج RAG مع مصادر بيانات خارجية مختلفة، من قواعد بيانات مملوكة داخل المنظمة إلى بيانات الإنترنت المتاحة للجمهور. هذا يجعله مُتكيِّفًا مع مجموعة واسعة من التطبيقات والصناعات.
4. تقليل الأوهام: واحدة من التحديات مع LLM هي إمكانية “الأوهام” أو توليد معلومات غير دقيقة أو مفبركة. من خلال توفير سياق البيانات في الوقت الفعلي، يمكن لـ RAG تقليل فرص مثل هذه الإخراجات.
5. ال قابليّة للتوسّع: واحدة من الفوائد الأساسية لنموذج RAG LLM هي قابليته للتوسع. من خلال فصل عمليات الاسترجاع والتوليد، يمكن للنموذج التعامل بكفاءة مع مجموعات بيانات ضخمة، مما يجعله مناسبًا للتطبيقات في العالم الحقيقي حيث تكون البيانات وفيرة.

التحديات والاعتبارات

• العبء الحاسوبي: يمكن أن تكون العملية الثنائية شديدة الحساسية الحاسوبية، خاصة عند التعامل مع مجموعات بيانات كبيرة.
• اعتماد البيانات: تؤثر جودة الوثائق المسترجعة بشكل مباشر على جودة التوليد. لذا، فإن وجود مجموعة استرجاع شاملة ومدققة جيدًا هو أمر بالغ الأهمية.

الختام

من خلال دمج عمليات الاسترجاع والتوليد، يوفر توليد محسّن بالاسترجاع حلاً قويًا للمهام التي تعتمد على المعرفة، مما يضمن إخراجات مستنيرة وملائمة سياقيًا.

الوعد الحقيقي لـ RAG يكمن في تطبيقاته في العالم الحقيقي. لقطاعات مثل الرعاية الصحية، حيث يمكن أن تكون المعلومات الدقيقة والفي الوقت الفعلي حاسمة، يوفر RAG القدرة على استخراج وتوليد رؤى من الأدب الطبي الشاسع بسهولة. في مجال المالية، حيث تتطور الأسواق بدقائق، يمكن لـ RAG توفير رؤى مدعومة بالبيانات في الوقت الفعلي، مما يساعد في اتخاذ القرارات المُستنيرة. بالإضافة إلى ذلك، في الأكاديمية والبحث، يمكن للباحثين استخدام RAG لتمشيط مستودعات المعلومات الشاسعة، مما يجعل استعراض الأدب وتحليل البيانات أكثر كفاءة.