ثلجية آركتيك: نموذج لغة متقدم لشركة Snowflake للذكاء الاصطناعي في الشركات

تستكشف الشركات اليوم طرقًا للاستفادة من نماذج اللغة الكبيرة (LLM) لتعزيز الإنتاجية وإنشاء تطبيقات ذكية. ومع ذلك، فإن العديد من خيارات LLM المتاحة هي نماذج عامة لا تتوافق مع احتياجات الشركات المتخصصة مثل تحليل البيانات وبرمجة التطبيقات والتحكم الآلي. ادخل ثلجية آركتيك – نموذج LLM متقدم ومحسّن خصيصًا للمسائل الأساسية لاستخدام الشركات.

تم تطوير آركتيك بواسطة فريق البحث في مجال الذكاء الاصطناعي في شركة Snowflake، ويتجاوز آركتيك حدود ما هو ممكن مع التدريب الفعال والكفاءة والتفتح غير المسبوق. هذا النموذج الثوري يمتاز بأداء استثنائي في المعايير الأساسية للشركات بينما يتطلب كمية أقل من القدرة الحاسوبية مقارنة بنماذج LLM الحالية. دعونا نغوص في ما يجعل آركتيك مبدعًا للذكاء الاصطناعي في الشركات.

تم تحسين الذكاء الشركي في جوهره، آركتيك يركز بشدة على تقديم أداء استثنائي في المعايير التي تهم الشركات حقًا – البرمجة، استعلامات SQL، اتباع التعليمات المعقدة، وإنتاج مخرجات مُحكمة ومبنية على الحقائق. جمعت شركة Snowflake هذه القدرات الحاسمة في معيار جديد لل “الذكاء الشركي“.

تتكلم النتائج عن نفسها. يلبي آركتيك أو يتفوق على نماذج مثل LLAMA 7B وLLAMA 70B في معايير الذكاء الشركي بينما يستخدم أقل من نصف الميزانية الحاسوبية للتدريب. وبشكل ملفت، على الرغم من استخدام 17 مرة أقل من الموارد الحاسوبية من LLAMA 70B، يصل آركتيك إلى التكافؤ في الاختبارات المتخصصة مثل البرمجة (HumanEval+، MBPP+)، وتوليد SQL (Spider)، و اتباع التعليمات (IFEval).

لكن قوة آركتيك تتجاوز مجرد التفوق في معايير الشركات. إنه يحافظ على أداء قوي عبر فهم اللغة العامة والاستدلال والقدرة الرياضية مقارنة بنماذج مدربة بميزانيات حاسوبية أعلى بشكل كبير مثل DBRX. هذه القدرة الشاملة تجعل آركتيك خيارًا لا يُقارع لتحقيق الاحتياجات المتنوعة للذكاء الاصطناعي في الشركات.

الابتكار

كيف بنى فريق Snowflake نموذج LLM رائعًا ومحسّنًا للغاية؟ الجواب يكمن في هيكل Transformer المبتكر لآركتيك، وهو هيكل Dense Mixture-of-Experts (MoE) Hybrid.

أصبحت نماذج Transformer الكثيفة أكثر تكلفة للتدريب مع نمو حجمها، مع زيادة متطلبات الحوسبة بشكل خطي. يساعد تصميم MoE على تجاوز هذا عن طريق استخدام شبكات متوازيّة متعددة (خبراء) وتفعيل مجموعة فرعية فقط لكل رمز إدخال.

ومع ذلك، استخدام هيكل MoE فقط لا يكفي – آركتيك يجمع بين قوة المكونات الكثيفة والموE ببراعة. إنه يزاوج معملاً كثيفًا للترميز يحتوي على 10 مليارات معامل مع طبقة MLP متعددة الخبراء المتبقية التي تحتوي على 128 خبيرًا. هذا الهيكل الهجين الكثيف والموE يبلغ إجمالي 480 مليار معامل، لكن فقط 17 مليار معامل نشطة في أي وقت معدود باستخدام التوجيه الأعلى.

الآثار هائلة – يصل آركتيك إلى جودة نموذج غير مسبوقة وقدرة مع بقاءه كفء بشكل ملفت في التدريب والاستدلال. على سبيل المثال، يحتوي آركتيك على 50% أقل معاملات نشطة من نماذج مثل DBRX أثناء الاستدلال.

لكن هيكل النموذج هو جزء فقط من القصة. تمثّل روعة آركتيك بتحقيق عدة تقنيات رائدة وفرص تم تطويرها بواسطة فريق البحث في Snowflake:

1. منهاج تدريبي مركز على الشركات من خلال التجارب الشاملة، اكتشف الفريق أن المهارات العامة مثل التفكير السليم يجب أن تتعلم في البداية، بينما يتم الحصول على التخصصات الأكثر تعقيدًا مثل البرمجة و SQL في وقت لاحق من عملية التدريب. يتبع منهاج بيانات آركتيك نهجًا من ثلاث مراحل يقلد تقدم التعلم البشري.

يركز التيراتوكن الأول على بناء قاعدة عامة واسعة. ثم يركز 1.5 تيراتوكن التالي على تطوير مهارات الشركات من خلال بيانات مخصصة ل SQL وبرمجة المهام وغيرها. يركز التيراتوكن النهائي على تعزيز التخصصات الخاصة بآركتيك باستخدام مجموعات بيانات محسنة.

2. الاختيارات المعمارية المثلى بينما وعد MoE بتحسين الجودة لكل حوسبة، اختيار التكوين الصحيح حاسم ومع ذلك غير مفهوم جيدًا. من خلال البحث المفصل، وجدت Snowflake هيكلًا يعتمد على 128 خبيرًا مع توجيه الأعلى في كل طبقة بعد تقييم التبادل بين الجودة والكفاءة.

زيادة عدد الخبراء توفر المزيد من التوليفات، مما يعزز قدرة النموذج. ومع ذلك، يزيد ذلك أيضًا من تكاليف الاتصال، لذلك وجدت Snowflake 128 خبيرًا “مكثفًا” يتم تنشيطه بواسطة التوجيه الأعلى كتوازن مثالي.

3. تصميم النظام المتوازي ولكن حتى هيكل نموذج مثالي يمكن أن يتم تحييده بواسطة عيوب النظام. لذلك قام فريق Snowflake بالابتكار هنا أيضًا – تصميم هيكل النموذج جنبًا إلى جنب مع الأنظمة الأساسية للتدريب والاستدلال.

为了 تدريب فعال، تم هيكلة المكونات الكثيفة والموE لتمكين التوازي بين الاتصالات والحوسبة، مما يخفي الكثير من التكاليف الزائدة للاتصال. على جانب الاستدلال، استفاد الفريق من ابتكارات NVIDIA (NVDA ) لتمكين التعميل الفعال للغاية على الرغم من حجم آركتيك.

تقنيات مثل كمية FP8 تسمح بوضع النموذج الكامل على عقدة GPU واحدة للاستدلال التفاعلي. مجموعات أكبر تُشغل قدرات التوازي في آركتيك عبر عدة عقد، بينما تبقى كفاءة حاسوبية ملفتة بفضل معاملاتها النشطة المدمجة البالغ عددها 17 مليار.

مع ترخيص Apache 2.0، تتوفر أوزان ورمز آركتيك دون حواجز لأي استخدام شخصي أو بحثي أو تجاري. ومع ذلك، ذهبت Snowflake إلى أبعد من ذلك، حيث قامت بنشر وصفات بياناتها الكاملة وتنفيذ النماذج ونصائحها وفرص البحث العميقة التي تدفع آركتيك.

يُعد “كتاب طبخ آركتيك” قاعدة معرفة شاملة تغطي كل جانب من جوانب بناء نموذج MoE كبير وتنقيته. يُضيف هذا الجسم الكبير من المعرفة المهارات التي كانت مقيدة سابقًا بمعاملات الذكاء الاصطناعي النخبة. كتاب طبخ آركتيك يسرع من منحنيات التعلم ويمكّن الأعمال والباحثين والمطورين حول العالم من إنشاء نماذج LLM المخصصة الفعالة من حيث التكلفة لأي حالة استخدام.

بدء استخدام آركتيك

للشركات التي ترغب في الاستفادة من آركتيك، تقدم Snowflake مسارات متعددة للبدء بسرعة:

الاستدلال بدون خادم: يمكن للعملاء في Snowflake الوصول إلى نموذج آركتيك مجانًا على Snowflake Cortex، منصة الذكاء الاصطناعي الإدارية بالكامل. بالإضافة إلى ذلك، يتوفر آركتيك عبر جميع كتالوجات النماذج الرئيسية مثل AWS وMicrosoft Azure وNVIDIA وغيرها.

البدء من الصفر: يسمح رمز نموذج آركتيك المفتوح وتنفيذه المطورين بدمج آركتيك مباشرة في تطبيقاتهم وخدماتهم. يوفر مستودع آركتيك عينات رمز وبرامج تعليمية ووصفات تحسين واكثر.

بناء نماذج مخصصة: بفضل الدلائل الشاملة في كتاب طبخ آركتيك، يمكن للمطورين بناء نماذج MoE المخصصة الخاصة بهم من الصفر، مُحسنة لأي حالة استخدام مخصصة باستخدام الفرص من تطوير آركتيك.

عصر جديد من الذكاء الاصطناعي المفتوح للشركات آركتيك أكثر من مجرد نموذج لغة قوي – إنه يُعلن عن عصر جديد من القدرات الاصطناعية المفتوحة والفعالة من حيث التكلفة والمخصصة للشركات.

من الثورة في تحليل البيانات وإنتاجية البرمجة إلى تشغيل التutomat وإنشاء تطبيقات أكثر ذكاءً، يجعل الحمض النووي المخصص للشركات آركتيك خيارًا لا يُقارع مقارنة بنماذج LLM العامة. ومن خلال نشر النموذج لا فقط بل عملية البحث والتطوير بأكملها، تعزز Snowflake ثقافة التعاون التي ستُرفع مستوى النظام البيئي للذكاء الاصطناعي بأكمله.

مع تزايد اعتماد الشركات على الذكاء الاصطناعي التوليدي، يقدم آركتيك مخططًا جريئًا لتطوير نماذج تفوق في عمل التحميل الإنتاجي والبيئات الشركية. تلاقي البحث المتقدم والكفاءة والروح المفتوحة يحدد معيارًا جديدًا في ديمقراطية إمكانات الذكاء الاصطناعي.

هنا مقطع يحتوي على أمثلة رمز حول كيفية استخدام نموذج Snowflake آركتيك:

الاستخدام العملي لآركتيك

الآن بعد أن غطينا ما يجعل آركتيك حقًا رائعًا، دعونا نغوص في كيفية بدء المطورين وعلماء البيانات في وضع هذا النموذج القوي للعمل.
من الصندوق، يتوفر آركتيك مدربًا وجاهزًا للنشر عبر كتالوجات النماذج الرئيسية مثل Hugging Face ومنصات الذكاء الاصطناعي الشريكة. لكن قوته الحقيقية تظهر عندما يتم تخصيصها وضبطها الدقيق لاستخداماتك المحددة.

يمنح ترخيص Apache 2.0 لآركتيك الحرية الكاملة لدمجها في تطبيقاتك أو خدماتك أو تدفقات عمل الذكاء الاصطناعي المخصصة. دعونا ننتقل عبر بعض الأمثلة البرمجية باستخدام مكتبة Transformers لبدء استخدامها:

الاستدلال الأساسي مع آركتيك

للحالات الأساسية لإنشاء النص، يمكننا تحميل آركتيك وتشغيل الاستدلال الأساسي بسهولة:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># تحميل المُحوِّل والنموذج
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># إنشاء إدخال بسيط وتوليد نص
input_text = "هنا سؤال أساسي: ما هي عاصمة فرنسا؟"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># توليد استجابة مع آركتيك
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

يجب أن يُنتج هذا شيئًا مثل:

“عاصمة فرنسا هي باريس. باريس هي أكبر مدينة في فرنسا ومركزها الاقتصادي والسياسي والثقافي. وهي موطن معالم مشهورة مثل برج إيفل ومتحف اللوفر وكاتدرائية نوتردام.”

كما ترون، يفهم آركتيك السؤال بسهولة ويقدم استجابة مفصلة ومبنية على الحقائق باستخدام قدراته القوية لفهم اللغة.

ضبط دقيق للمهام المتخصصة

بينما يبدو رائعًا من الصندوق، يُبرز آركتيك حقًا عندما يتم تخصيصه وضبطه الدقيق على بياناتك المخصصة لمهام متخصصة. قدمت Snowflake وصفات شاملة تغطي:

• تحضير بيانات تدريبية عالية الجودة مخصصة لاستخدامك
• تنفيذ مناهج تدريبية مخصصة متعددة المراحل
• استخدام نهج ضبط دقيق فعال مثل LoRA أو P-Tuning أو FactorizedFusion
• تحسينات لتمييز SQL أو البرمجة أو مهارات الشركات الرئيسية الأخرى

هنا مثال على كيفية ضبط آركتيك الدقيق على مجموعات بياناتك الخاصة باستخدام LoRA ووصفات Snowflake:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># تحميل نموذج آركتيك الأساسي
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># تهيئة تكوين LoRA
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># إعداد النموذج لضبط دقيق LoRA
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># مجموعات بياناتك الخاصة
data = load_coding_datasets()</p>

<p># ضبط دقيق مع وصفات Snowflake
train(model, data, ...)</p>

يوضح هذا الرمز كيف يمكنك بسهولة تحميل آركتيك وتحديد تكوين LoRA مخصص لإنشاء رمز، ثم ضبط النموذج على مجموعات بياناتك الخاصة باستخدام إرشادات Snowflake.

مُضبطًا ومدربًا، يصبح آركتيك قوة خاصة مخصصة لتوفير أداء لا مثيل له في تدفقات عمل الشركات الأساسية ومتطلبات أصحاب المصلحة.

دورة الابتكار السريعة لآركتيك

من بين الجوانب الأكثر إثارة لآركتيك هو темп السرعة الذي تم بموجبه فريق البحث في الذكاء الاصطناعي في Snowflake تصور وتنمية وإطلاق هذا النموذج المتقدم إلى العالم. من البداية إلى الإصدار المفتوح، استغرق مشروع آركتيك أقل من ثلاثة أشهر واستخدم فقط حوالي ثمن الميزانية الحاسوبية النموذجية لتدريب نماذج LLM الكبيرة.

تظهر هذه القدرة على التكرار السريع والابتكار وتحويل البحث في الذكاء الاصطناعي إلى منتجات رائعة حقًا قدرات Snowflake الفنية العميقة وتضع الشركة في موقع يسمح لها باستمرار دفع حدود تطوير القدرات الجديدة المثلى للشركات.

عائلة آركتيك والتعيينات

آركتيك هو مجرد البداية لطموح Snowflake في مساحة LLM للشركات. لقد قامت الشركة بالفعل بنشر مفتوح لمجموعة نماذج تعيين النص آركتيك المبتكرة، والتي تم تحسينها لأداء الاسترجاع عبر ملفات تعريف بحجم متغير.

كما هو موضح أدناه، تصل نماذج آركتيك للتعيين إلى دقة استرجاع متقدمة على معيار MTEB (استرجاع النص)، متجاوزة نماذج تعيين رائدة أخرى، بما في ذلك العروض المغلقة من شركات التكنولوجيا الكبيرة.

تكمّل نماذج التعيين هذه نموذج LLM آركتيك وتمكّن الشركات من بناء حلول استرجاع وتوليد قوية مدعومة بالسؤال.

ولكن خارطة طريق Snowflake تمتد إلى ما وراء آركتيك والتعيينات. يعمل باحثو الذكاء الاصطناعي في الشركة على توسيع عائلة آركتيك بنماذج جديدة مخصصة للمهام متعددة الوسائط والكلام والفيديو والمزيد من القدرات المتقدمة – جميعها مبنية على نفس مبادئ التخصص والكفاءة والمفتوح.

الشراكة من أجل نظام بيئي مفتوح للذكاء الاصطناعي تفهم Snowflake أن تحقيق إمكانات الذكاء الاصطناعي المفتوح والمتخصص للشركات بالكامل يتطلب تنمية نظام بيئي غني من الشراكات عبر مجتمع الذكاء الاصطناعي.

نفذت الشراكة مع NVIDIA و Hugging Face و منصات أخرى لتعزيز تبني آركتيك.

النظام البيئي المفتوح ألهم تطوير آركتيك، والأنظمة المفتوحة لا تزال مركزية لتطوره. تعهدت Snowflake بتعزيز التعاون الغني مع الباحثين والمطورين والشركاء والشركات حول العالم لتحديد حدود ما هو ممكن مع نماذج الذكاء الاصطناعي المفتوحة والمخصصة.

تسريع تبني آركتيك. النظام البيئي المفتوح ألهم تطوير آركتيك، والأنظمة المفتوحة لا تزال مركزية لتطوره. Snowflake ملتزمة بتعزيز التعاون الغني مع الباحثين والمطورين والشركاء والشركات حول العالم لتحديد حدود ما هو ممكن مع نماذج الذكاء الاصطناعي المفتوحة والمخصصة.