النماذج اللغوية الكبيرة (LLMs) مثل سلسلة GPT من OpenAI قد تم تدريبها على مجموعة متنوعة من البيانات التي يمكن الوصول إليها بشكل عام، مما يدل على قدرات ملحوظة في توليد النص والتلخيص والاستجابة للأسئلة والتخطيط. على الرغم من تنوعها، فإن السؤال المتكرر يتعلق بالتكامل السلس ل这些 النماذج مع البيانات المخصصة أو الخاصة أو الملكية.

الشركات والأفراد غالباً ما يُغمرهم بالبيانات الفريدة والمخصصة، والتي غالباً ما يتم تخزينها في تطبيقات مثل Notion وSlack وSalesforce أو في الملفات الشخصية. للاستفادة من LLMs لهذه البيانات، تم اقتراح وتجريب عدة طرق.

التحسين الدقيق (Fine-tuning) يمثل أحد هذه النهج، وهو يتضمن تعديل أوزان النموذج لدمج المعرفة من مجموعات بيانات معينة. ومع ذلك، فإن هذا العملية ليست خالية من التحديات. إنها تتطلب جهداً كبيراً في تحضير البيانات، بالإضافة إلى إجراء تحسين صعب، مما يتطلب مستوى معيناً من الخبرة في التعلم الآلي. بالإضافة إلى ذلك، يمكن أن يكون للآثار المالية عواقب كبيرة، خاصة عند التعامل مع مجموعات بيانات كبيرة.

تعلم السياق (In-context learning) ظهر كبديل، حيث يُفضل تصميم الإدخالات والتحفيزات لتزويد LLM بالسياق اللازم لتوليد مخرجات دقيقة. هذا النهج يخفف من الحاجة إلى إعادة تدريب النموذج على نطاق واسع، ويوفر وسيلة أكثر كفاءة وسهولة لدمج البيانات الخاصة.

然而، فإن عيب هذا النهج هو اعتماده على مهارة وخبرة المستخدم في هندسة التحفيز (prompt engineering). بالإضافة إلى ذلك، قد لا يكون تعلم السياق دائماً دقيقاً أو موثوقاً مثل التحسين الدقيق، خاصة عند التعامل مع بيانات فنية أو تقنية عالية التخصص.

علاوة على ذلك، فإن كمية السياق التي يمكن توفيرها في تحفيز واحد محدودة، ويمكن أن يتراجع أداء النموذج مع زيادة تعقيد المهمة. هناك أيضاً تحديات متعلقة بالخصوصية وأمان البيانات، حيث يمكن أن تكون المعلومات المُvided في التحفيز حساسة أو سرية.

في حين يستكشف المجتمع هذه التقنيات، فإن أدوات مثل LlamaIndex تكتسب الانتباه.

تم إنشاء LlamaIndex بواسطة جيري لو، وهو عالم أبحاث سابق في شركة Uber. أثناء تجاربه مع GPT-3 في الخريف الماضي، لاحظ لو حدود النموذج في التعامل مع البيانات الخاصة، مثل الملفات الشخصية. أدى هذا الملاحظة إلى بدء مشروع LlamaIndex المفتوح المصدر.

جذب المشروع مستثمرين، وحصل على 8.5 مليون دولار في جولة تمويل البذور الأخيرة.

يُسهل LlamaIndex تعزيز LLMs بالبيانات المخصصة، مما يغلق الفجوة بين النماذج المُتدربة مسبقاً وتطبيقات البيانات المخصصة. من خلال LlamaIndex، يمكن للمستخدمين الاستفادة من بياناتهم الخاصة مع LLMs، مما يفتح باب توليد المعرفة والاستدلال بالرؤى المُخصصة.

يمكن للمستخدمين توفير LLMs ببياناتهم الخاصة بسهولة، مما يخلق بيئة حيث يتم توليد المعرفة والاستدلال بشكل مُخصّص ومُفيد. يُعالج LlamaIndex قيود تعلم السياق من خلال توفير منصة أكثر سهولة وأماناً للتفاعل مع البيانات، مما يضمن أن حتى الأشخاص ذوي الخبرة المحدودة في التعلم الآلي يمكنهم الاستفادة من إمكانيات LLMs بالكامل مع بياناتهم الخاصة.

المفاهيم عالية المستوى والرؤى

1. التوليد المعزز بالاسترجاع (RAG):

RAG هو عملية ثنائية تهدف إلى ربط LLMs بالبيانات المخصصة، مما يعزز قدرة النموذج على توليد استجابات أكثر دقة ومعلومات.

تتضمن هذه العملية مرحلتين:

• مرحلة الفهرسة: هذه هي المرحلة التحضيرية حيث يتم وضع الأساس لإنشاء قاعدة المعرفة.

في هذه المرحلة، يتم تحويل البيانات الخام إلى تمثيلات متوسطة، ويتم حساب التضمينات المتجهة، ويتم استنتاج البيانات الوصفية.

• مرحلة الاستعلام: هنا، يتم البحث في قاعدة المعرفة للسياق ذي الصلة لمساعدة LLMs في الإجابة على الاستفسارات.

رحلة الفهرسة مع LlamaIndex

تتيح LlamaIndex للمستخدمين ربط بياناتهم الخاصة بالنموذج، مما يُسهل عملية الاستعلام والاستفادة من البيانات.

تتضمن هذه العملية عدة مراحل:

• موصلات البيانات: تعمل موصلات البيانات كجواز سفر للبيانات إلى LlamaIndex، مما يُسهل استيراد البيانات من مصادر ومواد مختلفة.

يمكن للمستخدمين الاستفادة من موصلات البيانات لتحويل بياناتهم إلى تمثيلات بسيطة وموحدة.

• الوثائق / العقد: الوثيقة هي حاوية يمكن أن تحتوي على أنواع بيانات مختلفة، مثل المستندات أو خرج API أو إدخالات قاعدة البيانات.

العقد هو جزء من الوثيقة، يتم تحسينه بالبيانات الوصفية والعلاقات مع العقد الأخرى، مما يُسهل عملية الاستعلام والاستفادة من البيانات.

أنواع الفهارس في LlamaIndex: المفتاح للبيانات المنظمة

توفر LlamaIndex عدة أنواع من الفهارس، لكل منها استخداماته الخاصة.

1. فهرس القائمة:

فهرس القائمة هو نوع من الفهارس الذي يرتب العقد بشكل تسلسلي.

• آلية: يتم تحويل العقد إلى قائمة، ويتم ترتيبها بشكل خطي.
• ميزة: هذا النوع من الفهرس مناسب للاستعلامات التسلسلية.

2. فهرس مخزن المتجهات:

فهرس مخزن المتجهات هو نوع من الفهارس الذي يحول العقد إلى متجهات.

• آلية: يتم تحويل العقد إلى متجهات، ويتم تخزينها في قاعدة بيانات متخصصة.
• ميزة: هذا النوع من الفهرس مناسب للاستعلامات التي تتطلب بحثاً عن التشابه Семанти.

3. فهرس الشجرة:

فهرس الشجرة هو نوع من الفهارس الذي يرتب العقد بشكل هرمي.

• آلية: يتم تحويل العقد إلى شجرة، ويتم ترتيبها بشكل هرمي.
• ميزة: هذا النوع من الفهرس مناسب للاستعلامات التي تتطلب استخراج معلومات من نصوص طويلة.

4. فهرس الكلمات الرئيسية:

فهرس الكلمات الرئيسية هو نوع من الفهارس الذي يرتب العقد حسب الكلمات الرئيسية.

• آلية: يتم تحويل العقد إلى كلمات رئيسية، ويتم ترتيبها بشكل تسلسلي.
• ميزة: هذا النوع من الفهرس مناسب للاستعلامات التي تتطلب بحثاً عن كلمات رئيسية معينة.

تثبيت LlamaIndex

تثبيت LlamaIndex هو عملية بسيطة.

1. التثبيت من Pip:

• يمكن تثبيت LlamaIndex باستخدام Pip.

2. التثبيت من المصدر:

• يمكن تثبيت LlamaIndex من المصدر باستخدام Git وPoetry.

إعداد بيئة العمل الخاصة بك لـ LlamaIndex

لإعداد بيئة العمل الخاصة بك لـ LlamaIndex، يمكنك اتباع الخطوات التالية:

1. إعداد OpenAI:

• يمكنك استخدام OpenAI لتحسين أداء LlamaIndex.

2. إعداد البيئة المحلية:

• يمكنك إعداد بيئة محلية لتشغيل LlamaIndex.

استخدام بسيط: استعلام صفحات الويب مع LlamaIndex و OpenAI

يمكنك استخدام LlamaIndex لاستعلام صفحات الويب و استخراج المعلومات.

يمكنك استخدام البرنامج النصي التالي لاستعلام صفحة ويب:

يمكنك استخدام LlamaIndex لاستعلام صفحات الويب و استخراج المعلومات.

LlamaIndex مقابل Langchain: الاختيار حسب هدفك

اختيارك بين LlamaIndex و Langchain يعتمد على هدف مشروعك.

إذا كنت تريد إنشاء أداة بحث ذكية، فإن LlamaIndex هو خيار جيد.

إذا كنت تريد إنشاء نظام مثل ChatGPT مع إمكانيات التوسيع، فإن Langchain هو خيارك.