أدوات الذكاء الاصطناعي 101

دليل المبتدئين الشامل لأدوات Hugging Face LLM

Aayush Mittal
أضف Unite.AI إلى مصادرك المفضلة على Google
HUGGING FACE - COMPLETE GUIDE
النقاط الرئيسيةتُمَكِّنُ Hugging Face الذكاء الاصطناعي للجميع من خلال أدوات مفتوحة المصدر مثل خطوط…
عرض المزيد
  • تُمَكِّنُ Hugging Face الذكاء الاصطناعي للجميع من خلال أدوات مفتوحة المصدر مثل خطوط المعالجة التي تُبَسِّطُ المهام المعقدة في معالجة اللغات الطبيعية.
  • يهدف تحول المنصة إلى استخدام لغة Rust في أطر العمل مثل Candle إلى تعزيز الأداء وتمكين الاستدلال بدون خوادم.
  • توفر Hugging Face نماذج مُدَرَّبة مسبقًا ومجموعات بيانات لبدء المشاريع بسرعة دون تكبد تكاليف تطوير عالية من الصفر.

هوجينغ فايس مختبر أبحاث ومركز يجمع العلماء والباحثين والهواة. وقد رسخت حضورها في مجال الذكاء الاصطناعي خلال فترة قصيرة. استثمرت شركات التقنية الكبرى، ومنها جوجل (GOOGL ) وأمازون (AMZN ) وإنفيديا (NVDA )، في هوجينغ فايس، لتصل قيمتها إلى 4.5 مليار دولار.

في هذا الدليل، سنعرّفك بالمحولات، و LLMs، وكيف تلعب مكتبة هوجينغ فايس دورًا مهمًا في تعزيز مجتمع الذكاء الاصطناعي المفتوح. سنقوم أيضًا بمراجعة الميزات الأساسية لهوجينغ فايس، بما في ذلك خطوط الأنابيب والبيانات والطرازات، مع أمثلة عملية بلغة بايثون.

المحولات في معالجة اللغة الطبيعية

في عام 2017، نشرت جامعة كورنيل ورقة مؤثرة أدخلت المحولات. هذه هي نماذج التعلم العميق المستخدمة في معالجة اللغة الطبيعية. هذا الاكتشاف أدى إلى تطوير نماذج اللغة الكبيرة مثل ChatGPT.

نماذج اللغة الكبيرة أو LLMs هي أنظمة ذكاء اصطناعي تستخدم المحولات لفهم وإنشاء نص مشابه للبشر. ومع ذلك، إنشاء هذه النماذج مكلف، وغالبًا ما يتطلب ملايين الدولارات، مما يحد من إمكانية الوصول إليها للشركات الكبيرة.

هوجينغ فايس، التي تأسست في عام 2016، تهدف إلى جعل نماذج معالجة اللغة الطبيعية متاحة للجميع. على الرغم من كونها شركة تجارية، توفر مجموعة من الموارد المفتوحة المصدر التي تساعد الأفراد والمنظمات على بناء واستخدام نماذج المحولات بأسعار معقولة. التعلم الآلي هو تعليم الكمبيوتر لأداء المهام من خلال التعرف على الأنماط، بينما التعلم العميق هو نوع من التعلم الآلي الذي يخلق شبكة تعلم مستقلة. المحولات هي نوع من هندسة التعلم العميق التي تستخدم بيانات الإدخال بفعالية ومرونة، مما يجعلها خيارًا شائعًا لبناء نماذج اللغة الكبيرة بسبب متطلبات وقت التدريب الأقل.

كيف تسهل هوجينغ فايس مشاريع معالجة اللغة الطبيعية و LLM

هوجينغ فايس - نماذج، بيانات، معايير، محولات، تسريع، معالج النص

هوجينغ فايس جعلت العمل مع LLMs أسهل من خلال تقديم:

  1. مجموعة من النماذج المُدرَّبة مسبقًا للاختيار من بينها.
  2. أدوات وأمثلة لتعديل هذه النماذج لاحتياجاتك الخاصة.
  3. خيار نشر سهل في بيئات مختلفة.

مورد رائع متاح من خلال هوجينغ فايس هو لوحة ترتيب LLM المفتوحة. تعمل كمنصة شاملة لتتبع وتصنيف وتقييم كفاءة مجموعة من نماذج اللغة الكبيرة وروبوتات المحادثة، مما يوفر تحليلًا دقيقًا للتطورات في المجال المفتوح.

تقيّم اختبارات LLM النماذج باستخدام أربعة مقاييس:

  • AI2 Reasoning Challenge (25-shot): أسئلة في منهج العلوم للمرحلة الابتدائية.
  • HellaSwag (10-shot): اختبار للاستدلال بالمعرفة العامة، يسهل على البشر لكنه يمثل تحديًا للنماذج المتقدمة.
  • MMLU (5-shot): تقييم لقدرات النموذج عبر 57 مجالًا، منها الرياضيات الأساسية والقانون وعلوم الحاسوب.
  • TruthfulQA (0-shot): يقيس ميل النموذج إلى تكرار المعلومات المضللة الشائعة على الإنترنت.

تشير الأرقام في 25-shot و10-shot و5-shot و0-shot إلى عدد أمثلة المطالبات المقدمة للنموذج أثناء التقييم. في التعلم بقليل من الأمثلة، تساعد أمثلة محدودة على توجيه الإجابات، بينما يعتمد النموذج في حالة انعدام الأمثلة على معرفته السابقة فقط.

مكونات Hugging

خطوط الأنابيب

خطوط الأنابيب جزء من مكتبة Transformers، وتسهّل استخدام النماذج المدربة مسبقًا في مستودع Hugging Face. توفر واجهة برمجية لمهام تحليل المشاعر والإجابة عن الأسئلة ونمذجة اللغة المقنّعة والتعرف على الكيانات المسماة والتلخيص.

تجمع خطوط الأنابيب ثلاثة مكونات رئيسية:

  1. مجزّئ الرموز (Tokenizer): يحول النص إلى صيغة يفهمها النموذج.
  2. النموذج: يجري التنبؤات باستخدام المدخلات المعالجة مسبقًا.
  3. المعالج اللاحق: يحول التنبؤات الخام إلى صيغة يستطيع الإنسان قراءتها.

تقلل هذه الأدوات الحاجة إلى كتابة شفرات مطولة وتوفر واجهة سهلة لمهام معالجة اللغة الطبيعية.

تطبيقات المحولات باستخدام مكتبة هوجينغ فايس

ميزة بارزة في مكتبة هوجينغ فايس هي مكتبة المحولات، التي تسهل مهام معالجة اللغة الطبيعية من خلال ربط نموذج مع مراحل المعالجة المسبقة واللاحقة اللازمة، مما يبسّط عملية التحليل. لتنزيل وتحميل المكتبة، استخدم الأوامر التالية:

pip install -q transformers
from transformers import pipeline

بعد ذلك، يمكنك تنفيذ مهام معالجة اللغة الطبيعية بدءًا من تحليل المشاعر، الذي يصنف النص إلى مشاعر إيجابية أو سلبية. وظيفة Pipeline القوية في المكتبة تعمل كمركز يحتوي على خطوط أنابيب أخرى ويسهّل التطبيقات المحددة للمهام في مجالات الصوت والرؤية والمتعددة الوسائط.

التطبيقات العملية

تصنيف النص

تصنيف النص يصبح أمرًا سهلًا باستخدام وظيفة pipeline() في هوجينغ فايس. هنا كيف يمكنك بدء تصنيف النص:

classifier = pipeline("text-classification")

للحصول على تجربة عملية، أدخل سلسلة أو قائمة من السلاسل إلى خط أنابيبك للحصول على تنبؤات، والتي يمكن تمثيلها بفعالية باستخدام مكتبة Pandas في بايثون. فيما يلي شفرة بايثون تظهر ذلك:

sentences = ["I am thrilled to introduce you to the wonderful world of AI.",
"Hopefully, it won't disappoint you."]

# Get classification results for each sentence in the list
results = classifier(sentences)

# Loop through each result and print the label and score
for i, result in enumerate(results):
    print(f"Result {i + 1}:")
    print(f" Label: {result['label']}")
    print(f" Score: {round(result['score'], 3)}\n")

المخرجات

Result 1: 
Label: POSITIVE 
Score: 1.0 

Result 2: 
Label: POSITIVE 
Score: 0.996 

تعرف الكيان المسمى (NER)

NER هو أمر بالغ الأهمية في استخراج الكائنات الحقيقية من النص. استخدم خط أنابيب NER لتحديد هذه الكائنات بشكل فعال:

ner_tagger = pipeline("ner", aggregation_strategy="simple")
text = "Elon Musk is the CEO of SpaceX."
outputs = ner_tagger(text)
print(outputs)

المخرجات

 Elon Musk: PER, SpaceX: ORG 

إجابة على الأسئلة

إجابة على الأسئلة تتضمن استخراج إجابات دقيقة لأسئلة محددة من سياق معين. هيّئ خط أنابيب الإجابة عن الأسئلة وادخل سؤالك وسياقك للحصول على الإجابة المطلوبة:

reader = pipeline("question-answering")
text = "Hugging Face is a company creating tools for NLP. It is based in New York and was founded in 2016."
question = "Where is Hugging Face based?"
outputs = reader(question=question, context=text)
print(outputs)

المخرجات

 {'score': 0.998, 'start': 51, 'end': 60, 'answer': 'New York'} 

تقدم الدالة pipeline() مهام أخرى إلى جانب تصنيف النص والتعرف على الكيانات والإجابة عن الأسئلة. يوضح الجدول التالي بعض المهام المتاحة:

جدول مهام خطوط أنابيب Hugging Face

المهمة الوصف معرّف خط الأنابيب
توليد النص توليد نص استنادًا إلى مطالبة pipeline(task=”text-generation”)
التلخيص تلخيص نص أو مستند طويل pipeline(task=”summarization”)
تصنيف الصور إسناد تسمية إلى صورة مدخلة pipeline(task=”image-classification”)
تصنيف الصوت تصنيف البيانات الصوتية pipeline(task=”audio-classification”)
الإجابة عن الأسئلة المرئية الإجابة عن سؤال باستخدام الصورة والسؤال معًا pipeline(task=”vqa”)

للتفاصيل والمهام الإضافية، راجع توثيق خطوط الأنابيب في Hugging Face.

لماذا تتجه هوجينغ فايس إلى التركيز على روست

هوجينغ فايس - Safetensors و Tokenizer روست

صفحة GitHub لشركة هوجينغ فايس – Safetensors و Tokenizer

بدأت منظومة هوجينغ فايس في استخدام روست في مكتباتها مثل safetensors و tokenizers.

أصدرت هوجينغ فايس مؤخرًا إطار عمل تعلم آلي جديد يسمى Candle. على عكس الإطارات التقليدية التي تستخدم بايثون، يتم بناء Candle باستخدام روست. الهدف من استخدام روست هو تحسين الأداء وتسهيل تجربة المستخدم مع دعم عمليات GPU.

الهدف الرئيسي من Candle هو تسهيل الاستدلال بدون خادم، مما يجعل نشر ثنائيات خفيفة ممكنًا وإزالة بايثون من حمولة الإنتاج، والتي يمكن أن تبطئ في بعض الأحيان بسبب عبءها. يأتي هذا الإطار كحل لمواجهة مشاكل الإطارات الكاملة للتعلم الآلي مثل PyTorch التي تكون كبيرة وبطيئة عند إنشاء مثيلات على مجموعة.

دعونا نكتشف لماذا أصبحت روست خيارًا مفضلًا أكثر من بايثون.

  1. السرعة والأداء – روست معروفة بسرعتها الرائعة، متجاوزة بايثون، التي تُستخدم تقليديًا في إطارات التعلم الآلي. يمكن أن يُبطئ أداء بايثون بسبب قفل المُفسِّر العالمي (GIL)، ولكن روست لا تواجه هذه القضية، مما يعد بـ تنفيذ أسرع للمهام وبالتالي أداء أفضل في المشاريع التي يتم تنفيذها.
  2. الأمان – توفر روست ضمانات أمان الذاكرة بدون جامع مخلفات، وهو جانب ضروري لضمان أمان الأنظمة المتزامنة. يلعب هذا دورًا حاسمًا في مجالات مثل safetensors حيث أمان التعامل مع هياكل البيانات هو أولوية.

Safetensors

Safetensors يستفيد من ميزات السرعة والأمان في روست. Safetensors يتضمن التعامل مع التنسورات، وهي كيان رياضي معقد، وروست يضمن أن العمليات ليست فقط سريعة ولكن أيضًا آمنة، مما يمنع الأخطاء الشائعة والمشاكل الأمنية التي قد تنشأ من سوء التعامل مع الذاكرة.

معالج النص

معالج النص يتعامل مع تقسيم الجمل أو العبارات إلى وحدات أصغر، مثل الكلمات أو المصطلحات. روست يساعد في هذه العملية من خلال تسريع وقت التنفيذ، مما يضمن أن عملية التجزئة ليست فقط دقيقة ولكن أيضًا سريعة، مما يعزز كفاءة مهام معالجة اللغة الطبيعية.

في قلب معالج النص في هوجينغ فايس يوجد مفهوم التجزئة الفرعية للكلمات، الذي يجد توازنًا دقيقًا بين التجزئة على مستوى الكلمة ومستوى الحرف لتحسين الاحتفاظ بالمعلومات وحجم القاموس. يعمل من خلال إنشاء شظايا، مثل “##ing” و “##ed”، مع الحفاظ على الثراء الدلالي ومتجنبًا قاموسًا متضخمًا.

التجزئة الفرعية للكلمات تتضمن مرحلة تدريب لتحديد التوازن الأكثر فاعلية بين التجزئة على مستوى الكلمة ومستوى الحرف. يتجاوز ببساطة القواعد البسيطة للبادئات واللاحقات، ويتطلب تحليلًا شاملاً لأنماط اللغة في مجموعات نصية كبيرة لتصميم معالج تجزئة فرعي فعال.

المعالج الناتج ماهر في التعامل مع كلمات جديدة من خلال تقسيمها إلى شظايا معروفة، مع الحفاظ على مستوى عالٍ من الفهم الدلالي.

مكونات التجزئة

تقسم مكتبة معالج النص عملية التجزئة إلى عدة خطوات، كل منها يعالج جانبًا مختلفًا من التجزئة. دعونا ننظر في هذه المكونات:

  • المنظم: يأخذ التحويلات الأولية للسلسلة النصية المدخلة، ويطبق التعديلات اللازمة مثل التحويل إلى الحالة الأصغر وتنسيق Unicode والتقشير.
  • التجزئة المسبقة: يتحمل مسؤولية تقسيم السلسلة الإدخال إلى شظايا مسبقة، ويتحديد الانقسامات بناءً على القواعد المحددة، مثل المسافات البيضاء.
  • النموذج: يتحكم في اكتشاف وإنشاء الشظايا، ويتكيف مع تفاصيل بيانات الإدخال، ويوفر القدرة على التدريب.
  • المعالج اللاحق: يعزز ميزات البناء لضمان التوافق مع العديد من نماذج المحولات، مثل BERT، من خلال إضافة رموز مثل [CLS] و [SEP].

لبدء استخدام معالج النص في هوجينغ فايس، قم بتثبيت المكتبة باستخدام الأمر pip install tokenizers واستوردها في بيئة بايثون الخاصة بك. يمكن للمكتبة تجزئة كميات كبيرة من النص في وقت قصير جدًا، مما يوفر الحفاظ على الموارد الحاسوبية الثمينة لمهام أكثر كثافة مثل تدريب النماذج.

تستخدم مكتبة معالج النص روست، التي ترث تشابهًا صياغيًا من سي++ مع إدخال مفاهيم جديدة في تصميم لغات البرمجة. عندما يتم ربطها بروابط بايثون، يضمن ذلك الحصول على أداء لغة منخفضة المستوى أثناء العمل في بيئة بايثون.

مجموعات البيانات

مجموعات البيانات هي أساس مشاريع الذكاء الاصطناعي. توفر هوجينغ فايس مجموعة واسعة من مجموعات البيانات، مناسبة لمجموعة من مهام معالجة اللغة الطبيعية وأكثر. لفهم كيفية تحميل وتحليل هذه المجموعات بشكل فعال، يلي شفرة بايثون موضحة كيفية استكشاف مجموعات البيانات المتاحة على هوجينغ فايس:

from datasets import load_dataset
# Load a dataset
dataset = load_dataset('squad')
# Display the first entry
print(dataset['train'][0])

تستخدم هذه الشفرة وظيفة load_dataset لتحميل مجموعة بيانات SQuAD، التي هي خيار شائع لمهام الإجابة على الأسئلة.

استخدام النماذج المُدرَّبة مسبقًا وتجميع كل شيء معًا

النماذج المُدرَّبة مسبقًا تشكل العمود الفقري لكثير من مشاريع التعلم العميق، مما يسمح للباحثين والمطورين ببدء مشاريعهم بدون بدء من الصفر. تسهل هوجينغ فايس استكشاف مجموعة متنوعة من النماذج المُدرَّبة مسبقًا، كما يظهر في الشفرة التالية:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer

# Load the pre-trained model and tokenizer
model = AutoModelForQuestionAnswering.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')
tokenizer = AutoTokenizer.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')

# Display the model's architecture
print(model)

باستخدام النموذج والمعالج المحملين، يمكننا الآن إنشاء دالة تأخذ نصًا وسؤالا كمدخلات وترجع الإجابة المستخرجة من النص. سنستخدم المعالج لتحويل المدخلات إلى تنسيق متوافق مع النموذج، ثم سنغذي هذا المدخل المُعالج إلى النموذج للحصول على الإجابة:

import torch

def get_answer(text, question):
    # Tokenize the input text and question
    inputs = tokenizer(question, text, return_tensors='pt', max_length=512, truncation=True)
    outputs = model(**inputs)

    # Get the start and end scores for the answer
    answer_start = torch.argmax(outputs.start_logits)
    answer_end = torch.argmax(outputs.end_logits) + 1

    answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][answer_start:answer_end]))
    return answer

في هذا المثال، نستورد الوحدات اللازمة من حزمة التعلم العميق، ثم نحمّل النموذج المُدرَّب مسبقًا ومجزّئ الرموز باستخدام الطريقة from_pretrained. نختار نموذج BERT المُعدَّل على مجموعة SQuAD.

دعونا نرى حالة استخدام هذه الدالة حيث لدينا فقرة نصية ونريد استخراج إجابة محددة لسؤال من داخلها:


text = """
The Eiffel Tower, located in Paris, France, is one of the most iconic landmarks in the world. It was designed by Gustave Eiffel and completed in 1889. The tower stands at a height of 324 meters and was the tallest man-made structure in the world at the time of its completion.
"""

question = "Who designed the Eiffel Tower?"

# Get the answer to the question
answer = get_answer(text, question)
print(f"The answer to the question is: {answer}")
# Output: The answer to the question is: Gustave Eiffel


في هذه الشفرة، نبني دالة get_answer تأخذ نصًا وسؤالا، وتحولها بشكل مناسب، وتنفذ نموذج BERT المُدرَّب مسبقًا لاستخراج الإجابة من النص. يظهر تطبيق عملي لمكتبة هوجينغ فايس في بناء نظام إجابة على الأسئلة بسيط ولكن قوي. للاطلاع على المفاهيم بشكل جيد، يُفضل التجربة العملية باستخدام دفتر ملاحظات Google Colab.

الختام

من خلال مجموعة أدواتها المفتوحة المصدر والطرازات المُدرَّبة مسبقًا وخطوط الأنابيب البسيطة، تتيح هوجينغ فايس للمحترفين المخضرمين والمبتدئين الدخول إلى عالم الذكاء الاصطناعي بسهولة وفهم. بالإضافة إلى ذلك، المبادرة لتكامل روست، بسبب ميزات السرعة والأمان، تؤكد على التزام هوجينغ فايس بتعزيز الابتكار مع ضمان الكفاءة والأمان في تطبيقات الذكاء الاصطناعي. العمل التحويلي لهوجينغ فايس لا يقتصر على جعل أدوات الذكاء الاصطناعي عالية المستوى متاحة للجميع، بل أيضًا يغذي بيئة تعاونية للتعلم والتنمية في مجال الذكاء الاصطناعي، مما يسهل مستقبلًا حيث يصبح الذكاء الاصطناعي متاحًا لجميع الأشخاص.

أمضيت السنوات الخمس الماضية منغمسًا في عالم التعلم الآلي والتعلم العميق المثير للاهتمام. وقد دفعني شغفي وخبرتي إلى المساهمة في أكثر من 50 مشروعًا متنوعًا في هندسة البرمجيات، مع التركيز بشكل خاص على الذكاء الاصطناعي والتعلم الآلي. كما جذبني فضولي المستمر إلى معالجة اللغة الطبيعية، وهو مجال أتطلع إلى استكشافه بمزيد من التعمق.