نماذج ومنصات الذكاء الاصطناعي

LlamaIndex: تعزيز تطبيقات LLM الخاصة بك مع البيانات المخصصة بسهولة

Aayush Mittal
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيوفر LlamaIndex بديلاً سهل الاستخدام عن الضبط الدقيق من خلال تمكين نماذج اللغة الكبيرة…
عرض المزيد
  • يوفر LlamaIndex بديلاً سهل الاستخدام عن الضبط الدقيق من خلال تمكين نماذج اللغة الكبيرة من الاستعلام عن بيانات مخصصة عبر آلية التوليد المعزز بالاسترجاع.
  • تقدم الأداة فهارس بيانات متخصصة مثل مخزن المتجهات وفهرس الشجرة لتنظيم المعلومات الخاصة واسترجاعها بكفاءة.
  • حصل LlamaIndex مؤخراً على تمويل أولي بقيمة 8.5 مليون دولار لتطوير منصته مفتوحة المصدر لتعزيز نماذج اللغة الكبيرة بالبيانات الخاصة.

النماذج اللغوية الكبيرة (LLMs) مثل سلسلة GPT من OpenAI قد تم تدريبها على مجموعة متنوعة من البيانات التي يمكن الوصول إليها بشكل عام، مما يدل على قدرات ملحوظة في توليد النص والتلخيص والاستجابة للأسئلة والتخطيط. على الرغم من تنوعها، فإن السؤال المتكرر يتعلق بالتكامل السلس لهذه النماذج مع البيانات المخصصة أو الخاصة أو الملكية.

الشركات والأفراد غالباً ما تغمرهم البيانات الفريدة والمخصصة، والتي غالباً ما يتم تخزينها في تطبيقات مثل Notion وSlack وSalesforce (CRM ) أو في الملفات الشخصية. للاستفادة من LLMs لهذه البيانات، تم اقتراح وتجريب عدة طرق.

الضبط الدقيق (Fine-tuning) يمثل أحد هذه النهج، وهو يتضمن تعديل أوزان النموذج لدمج المعرفة من مجموعات بيانات معينة. ومع ذلك، فإن هذه العملية ليست خالية من التحديات. إنها تتطلب جهداً كبيراً في تحضير البيانات، بالإضافة إلى إجراء تحسين صعب، مما يتطلب مستوى معيناً من الخبرة في التعلم الآلي. بالإضافة إلى ذلك، يمكن أن يكون للآثار المالية عواقب كبيرة، خاصة عند التعامل مع مجموعات بيانات كبيرة.

تعلم السياق (In-context learning) ظهر كبديل، حيث يُفضل تصميم الإدخالات والتحفيزات لتزويد LLM بالسياق اللازم لتوليد مخرجات دقيقة. هذا النهج يخفف من الحاجة إلى إعادة تدريب النموذج على نطاق واسع، ويوفر وسيلة أكثر كفاءة وسهولة لدمج البيانات الخاصة.

ومع ذلك، فإن عيب هذا النهج هو اعتماده على مهارة وخبرة المستخدم في هندسة الأوامر (prompt engineering). بالإضافة إلى ذلك، قد لا يكون تعلم السياق دائماً دقيقاً أو موثوقاً مثل الضبط الدقيق، خاصة عند التعامل مع بيانات فنية أو تقنية عالية التخصص.

إن تدريب النموذج مسبقاً على نصوص متنوعة من الإنترنت لا يضمن فهم المصطلحات أو السياقات المتخصصة، مما قد يؤدي إلى مخرجات غير دقيقة أو غير ذات صلة. وتبرز هذه المشكلة خصوصاً عندما تنتمي البيانات الخاصة إلى مجال أو صناعة متخصصة.

علاوة على ذلك، فإن كمية السياق التي يمكن توفيرها في تحفيز واحد محدودة، ويمكن أن يتراجع أداء النموذج مع زيادة تعقيد المهمة. هناك أيضاً تحديات متعلقة بالخصوصية وأمان البيانات، حيث يمكن أن تكون المعلومات المقدمة في الأمر حساسة أو سرية.

في حين يستكشف المجتمع هذه التقنيات، فإن أدوات مثل LlamaIndex تكتسب الاهتمام.

Llama Index

Llama Index

تم إنشاء LlamaIndex بواسطة جيري ليو، وهو عالم أبحاث سابق في شركة Uber. أثناء تجاربه مع GPT-3 في الخريف الماضي، لاحظ ليو حدود النموذج في التعامل مع البيانات الخاصة، مثل الملفات الشخصية. أدت هذه الملاحظة إلى بدء مشروع LlamaIndex المفتوح المصدر.

جذب المشروع مستثمرين، وحصل على 8.5 مليون دولار في جولة تمويل البذور الأخيرة.

يسهّل LlamaIndex تعزيز LLMs بالبيانات المخصصة، مما يسد الفجوة بين النماذج المُتدربة مسبقاً وتطبيقات البيانات المخصصة. من خلال LlamaIndex، يمكن للمستخدمين الاستفادة من بياناتهم الخاصة مع LLMs، مما يفتح باب توليد المعرفة والاستدلال بالرؤى المُخصصة.

يمكن للمستخدمين تزويد النماذج اللغوية الكبيرة ببياناتهم الخاصة بسهولة، مما يخلق بيئة حيث يتم توليد المعرفة والاستدلال بشكل مُخصّص ومُفيد. يُعالج LlamaIndex قيود تعلم السياق من خلال توفير منصة أكثر سهولة وأماناً للتفاعل مع البيانات، مما يضمن أن حتى الأشخاص ذوي الخبرة المحدودة في التعلم الآلي يمكنهم الاستفادة من إمكانيات LLMs بالكامل مع بياناتهم الخاصة.

المفاهيم الأساسية وبعض الرؤى

1. التوليد المعزز بالاسترجاع (RAG)

LlamaIndex RAG

LlamaIndex RAG

RAG عملية من مرحلتين تربط النماذج اللغوية الكبيرة بالبيانات المخصصة، لتحسين قدرتها على تقديم إجابات أدق وأكثر استناداً إلى المعلومات:

  • مرحلة الفهرسة: المرحلة التحضيرية التي توضع فيها أسس إنشاء قاعدة المعرفة.
LlamaIndex INDEXES

LlamaIndex Indexing

  • مرحلة الاستعلام: البحث في قاعدة المعرفة عن السياق المناسب لمساعدة النماذج اللغوية الكبيرة على الإجابة.
LlamaIndex QUERY STAGE

LlamaIndex Query Stage

رحلة الفهرسة مع LlamaIndex

موصلات البيانات: تشبه جواز سفر بياناتك إلى LlamaIndex؛ تستورد البيانات من مصادر وتنسيقات متعددة، وتجمعها في تمثيل مبسط يسمى Document. تتوفر هذه الموصلات في LlamaHub، وهو مستودع مفتوح المصدر لأدوات تحميل البيانات، صُممت لتسهيل الدمج والاستخدام المباشر مع تطبيقات LlamaIndex.

Llama hub

LlamaIndex hub (https://llamahub.ai/)

الوثائق والعقد: الوثيقة Document حاوية عامة قد تتضمن ملف PDF أو مخرجات واجهة API أو سجلات قاعدة بيانات. أما العقدة Node فهي مقتطف أو جزء من الوثيقة، مرفق ببيانات وصفية وعلاقات مع عقد أخرى، مما يوفر أساساً متيناً لاسترجاع البيانات بدقة لاحقاً.

فهارس البيانات: بعد إدخال البيانات، يساعد LlamaIndex في فهرستها بصيغة قابلة للاسترجاع. يحول الوثائق الخام إلى تمثيلات وسيطة، ويحسب التضمينات المتجهة، ويستخلص البيانات الوصفية. ومن الخيارات الشائعة فهرس VectorStoreIndex.

أنواع الفهارس في LlamaIndex: مفتاح تنظيم البيانات

يوفر LlamaIndex أنواعاً متعددة من الفهارس لتلبية احتياجات واستخدامات مختلفة، وتقوم جميعها على العقد المذكورة أعلاه. فيما يلي آلياتها وتطبيقاتها.

1. فهرس القائمة

  • الآلية: يرتب العقد تسلسلياً في قائمة. بعد تقسيم بيانات الإدخال إلى عقد، تصبح جاهزة للاستعلام التسلسلي أو باستخدام الكلمات المفتاحية أو التضمينات.
  • الميزة: يناسب الاستعلام التسلسلي. يتيح LlamaIndex الاستفادة من جميع بيانات الإدخال، حتى إن تجاوزت حد الرموز للنموذج اللغوي، عبر الاستعلام الذكي من نص كل عقدة وتحسين الإجابة أثناء الانتقال عبر القائمة.

2. فهرس مخزن المتجهات

  • الآلية: يحول العقد إلى تضمينات متجهة تُخزن محلياً أو في قاعدة بيانات متجهات متخصصة مثل Milvus. عند الاستعلام، يسترجع العقد الأكثر تشابهاً، بعدد top_k، ويرسلها إلى مكوّن تركيب الإجابة.
  • الميزة: يناسب سير العمل الذي يقارن النصوص بحسب التشابه الدلالي باستخدام البحث المتجهي.

3. فهرس الشجرة

  • الآلية: يبني بنية شجرية من الأسفل إلى الأعلى، انطلاقاً من العقد الورقية، أي أجزاء البيانات الأصلية. وتكون العقد الأب ملخصات للعقد الورقية ينشئها GPT. أثناء الاستعلام، يمكن اجتياز الشجرة من الجذر إلى الأوراق، أو تركيب الإجابة مباشرة من أوراق مختارة.
  • الميزة: يزيد كفاءة الاستعلام من المقاطع النصية الطويلة ويسهل استخلاص المعلومات من أجزاء مختلفة من النص.

4. فهرس الكلمات المفتاحية

  • الآلية: يقوم على خريطة تربط الكلمات المفتاحية بالعقد. عند الاستعلام، تُستخلص الكلمات المفتاحية من السؤال وتُسترجع العقد المرتبطة بها فقط.
  • الميزة: يناسب الاستفسارات الواضحة. مثلاً، يسرّع البحث في وثائق الرعاية الصحية عند التركيز على الوثائق المتعلقة بكوفيد-19 وحدها.

تثبيت LlamaIndex

يمكن تثبيت LlamaIndex مباشرة باستخدام Pip أو من المصدر. تأكد من تثبيت Python على جهازك، أو استخدم Google Colab.

1. التثبيت باستخدام Pip

نفّذ الأمر التالي:

pip install llama-index

قد ينزّل LlamaIndex أثناء التثبيت ملفات محلية لبعض الحزم، مثل NLTK وHuggingFace. لتحديد مجلد تخزينها، استخدم متغير البيئة LLAMA_INDEX_CACHE_DIR.

2. التثبيت من المصدر

انسخ مستودع LlamaIndex من GitHub:

git clone https://github.com/jerryjliu/llama_index.git

انتقل إلى مجلد المشروع بعد نسخه. ستحتاج إلى Poetry لإدارة اعتماديات الحزم. أنشئ بيئة افتراضية باستخدام:

poetry shell

ثم ثبّت متطلبات الحزمة الأساسية:

poetry install

إعداد بيئة العمل لـ LlamaIndex

1. إعداد OpenAI

  • يستخدم LlamaIndex افتراضياً نموذج gpt-3.5-turbo من OpenAI لتوليد النصوص، ونموذج text-embedding-ada-002 للاسترجاع والتضمينات.
  • ستحتاج إلى مفتاح OPENAI_API_KEY، ويمكن الحصول عليه بالتسجيل في موقع OpenAI وإنشاء رمز API جديد.
  • يمكن تخصيص النموذج اللغوي الأساسي بحسب احتياجات المشروع. وقد تحتاج إلى مفاتيح أو رموز بيئة إضافية، حسب مزود النموذج.

2. إعداد البيئة المحلية

  • إذا فضلت عدم استخدام OpenAI، ينتقل LlamaIndex تلقائياً إلى النماذج المحلية: LlamaCPP وllama2-chat-13B لتوليد النص، وBAAI/bge-small-en للاسترجاع والتضمينات.
  • لاستخدام LlamaCPP، اتبع دليل التثبيت وثبّت حزمة llama-cpp-python، ويُفضل بناؤها مع دعم معالج الرسوميات. يحتاج هذا الإعداد إلى نحو 11.5 غيغابايت من الذاكرة موزعة بين المعالج المركزي ومعالج الرسوميات.
  • للتضمينات المحلية، نفّذ pip install sentence-transformers. يحتاج هذا الإعداد إلى نحو 500 ميغابايت من الذاكرة.

تتيح هذه الخيارات تخصيص البيئة للاستفادة من OpenAI أو تشغيل النماذج محلياً، بحسب موارد المشروع ومتطلباته.

مثال بسيط: الاستعلام من صفحات الويب باستخدام LlamaIndex وOpenAI

يوضح برنامج Python التالي كيفية الاستعلام من صفحة ويب للحصول على معلومات محددة:

!pip install llama-index html2text


import os
from llama_index import VectorStoreIndex, SimpleWebPageReader

# Enter your OpenAI key below:
os.environ["OPENAI_API_KEY"] = ""

# URL you want to load into your vector store here:
url = "http://www.paulgraham.com/fr.html"

# Load the URL into documents (multiple documents possible)
documents = SimpleWebPageReader(html_to_text=True).load_data([url])

# Create vector store from documents
index = VectorStoreIndex.from_documents(documents)

# Create query engine so we can ask it questions:
query_engine = index.as_query_engine()

# Ask as many questions as you want against the loaded data:
response = query_engine.query("What are the 3 best advise by Paul to raise money?")
print(response)
The three best pieces of advice by Paul to raise money are:
1. Start with a low number when initially raising money. This allows for flexibility and increases the chances of raising more funds in the long run.
2. Aim to be profitable if possible. Having a plan to reach profitability without relying on additional funding makes the startup more attractive to investors.
3. Don't optimize for valuation. While valuation is important, it is not the most crucial factor in fundraising. Focus on getting the necessary funds and finding good investors instead.
Google Colab Llama Index Notebook

Google Colab Llama Index Notebook

بهذا البرنامج، أنشأت أداة قوية لاستخراج معلومات محددة من صفحة ويب بمجرد طرح سؤال. وهذا مجرد مثال على ما يمكن إنجازه باستخدام LlamaIndex وOpenAI للاستعلام من بيانات الويب.

LlamaIndex أم Langchain: الاختيار بحسب الهدف

يعتمد الاختيار بين LlamaIndex وLangchain على هدف المشروع. إذا كنت تريد أداة بحث ذكية، فـLlamaIndex خيار قوي، إذ يتميز بآلية تخزين ذكية لاسترجاع البيانات. أما لإنشاء نظام شبيه بـChatGPT مع إمكانات الإضافات، فيناسبك Langchain؛ فهو يسهل استخدام مثيلات متعددة من ChatGPT وLlamaIndex، ويوسع الوظائف عبر بناء وكلاء ينفذون مهام متعددة. مثلاً، يمكن بناء وكلاء ينفذون شيفرة Python ويجرون بحثاً في Google في الوقت نفسه. يتميز LlamaIndex بمعالجة البيانات، بينما ينسق Langchain أدوات متعددة لتقديم حل متكامل.

LlamaIndex Logo Artwork created using Midjourney

LlamaIndex Logo Artwork created using Midjourney

أمضيت السنوات الخمس الماضية منغمسًا في عالم التعلم الآلي والتعلم العميق المثير للاهتمام. وقد دفعني شغفي وخبرتي إلى المساهمة في أكثر من 50 مشروعًا متنوعًا في هندسة البرمجيات، مع التركيز بشكل خاص على الذكاء الاصطناعي والتعلم الآلي. كما جذبني فضولي المستمر إلى معالجة اللغة الطبيعية، وهو مجال أتطلع إلى استكشافه بمزيد من التعمق.