Snowflake Arctic: ماجستير إدارة الأعمال المتطور للذكاء الاصطناعي المؤسسي

تستكشف الشركات اليوم بشكل متزايد طرقًا للاستفادة من نماذج اللغات الكبيرة (LLMs) لتعزيز الإنتاجية وإنشاء تطبيقات ذكية. ومع ذلك، فإن العديد من خيارات LLM المتاحة هي نماذج عامة غير مصممة لتلبية احتياجات المؤسسات المتخصصة مثل تحليل البيانات والترميز وأتمتة المهام. يدخل ندفة الثلج في القطب الشمالي - ماجستير في إدارة الأعمال (LLM) متطور تم تصميمه وتحسينه بشكل هادف لحالات الاستخدام الأساسية للمؤسسات.

تم تطوير Arctic بواسطة فريق أبحاث الذكاء الاصطناعي في Snowflake، وهو يدفع حدود ما هو ممكن من خلال التدريب الفعال والفعالية من حيث التكلفة ومستوى لا مثيل له من الانفتاح. يتفوق هذا النموذج الثوري في المعايير المؤسسية الرئيسية بينما يتطلب طاقة حاسوبية أقل بكثير مقارنة ببرامج LLM الحالية. دعونا نتعمق في ما يجعل القطب الشمالي يغير قواعد اللعبة بالنسبة للذكاء الاصطناعي للمؤسسات.

إعادة تعريف ذكاء المؤسسات في جوهره، تركز Arctic على تقديم أداء استثنائي وفقًا للمقاييس التي تهم المؤسسات حقًا - البرمجة، واستعلام SQL، ومتابعة التعليمات المعقدة، وإنتاج مخرجات قائمة على الحقائق. لقد جمعت Snowflake هذه القدرات الحاسمة في رواية "ذكاء المؤسسة" قياس.

النتائج تتحدث عن نفسها. تلبي Arctic نماذج مثل LLAMA 7B وLLAMA 70B أو تتفوق عليها في معايير ذكاء المؤسسات مع استخدام أقل من نصف ميزانية الحوسبة للتدريب. بشكل ملحوظ، على الرغم من الاستخدام موارد حسابية أقل بـ 17 مرة من LLAMA 70B، تحقق Arctic التكافؤ في الاختبارات المتخصصة مثل البرمجة (HumanEval+، MBPP+)، وإنشاء SQL (Spider)، والتعليمات التالية (IFEval).

لكن براعة شركة Arctic تتجاوز مجرد التفوق على معايير المؤسسات. إنه يحافظ على أداء قوي عبر فهم اللغة العامة والتفكير والكفاءة الرياضية مقارنة بالنماذج التي تم تدريبها بميزانيات حسابية أعلى بشكل كبير مثل DBRX. هذه القدرة الشاملة تجعل من Arctic خيارًا لا يهزم لتلبية احتياجات الذكاء الاصطناعي المتنوعة للمؤسسة.

الابتكار

Dense-MoE Hybrid Transformer إذًا كيف تمكن فريق Snowflake من بناء ماجستير إدارة أعمال ذو قدرة لا تصدق وفعالية؟ تكمن الإجابة في بنية المحولات الهجينة المتطورة من مزيج الخبراء الكثيف (MoE) في القطب الشمالي.

أصبحت نماذج المحولات التقليدية الكثيفة مكلفة بشكل متزايد للتدريب مع نمو حجمها، مع زيادة المتطلبات الحسابية خطيًا. يساعد تصميم MoE في التحايل على ذلك من خلال استخدام شبكات تغذية متوازية متعددة (خبراء) وتنشيط مجموعة فرعية فقط لكل رمز إدخال.

ومع ذلك، فإن مجرد استخدام بنية MoE ليس كافيًا - فArctic يجمع بين نقاط القوة لكل من المكونات الكثيفة ومكونات MoE ببراعة. إنه يجمع بين 10 مليار معلمة تشفير محول كثيف مع 128 طبقة متبقية من MoE متعددة الطبقات (MLP). يبلغ إجمالي هذا النموذج الهجين الكثيف لوزارة البيئة 480 مليار معلمة ولكن 17 مليارًا فقط تنشط في أي وقت باستخدام البوابات العلوية.

إن الآثار المترتبة على ذلك عميقة - حيث حققت Arctic جودة وقدرة غير مسبوقة للنموذج مع الحفاظ على كفاءة الحوسبة بشكل ملحوظ أثناء التدريب والاستدلال. على سبيل المثال، يحتوي Arctic على معلمات نشطة أقل بنسبة 50% من النماذج مثل DBRX أثناء الاستدلال.

لكن الهندسة المعمارية النموذجية ليست سوى جزء واحد من القصة. يعد تميز القطب الشمالي تتويجًا للعديد من التقنيات والرؤى الرائدة التي طورها فريق بحث Snowflake:

1. منهج بيانات التدريب الذي يركز على المؤسسات من خلال التجارب المكثفة، اكتشف الفريق أن المهارات العامة مثل التفكير المنطقي يجب تعلمها مبكرًا، بينما من الأفضل اكتساب التخصصات الأكثر تعقيدًا مثل البرمجة وSQL لاحقًا في عملية التدريب. يتبع منهج البيانات في القطب الشمالي نهجًا مكونًا من ثلاث مراحل يحاكي تقدم التعلم البشري.

تركز التراتوكونز الأولى على بناء قاعدة عامة واسعة. تركز الـ 1.5 teratokens التالية على تطوير مهارات المؤسسة من خلال البيانات المصممة خصيصًا لـ SQL ومهام البرمجة والمزيد. تعمل Teratokens النهائية على تحسين تخصصات القطب الشمالي باستخدام مجموعات البيانات المكررة.

2. الخيارات المعمارية المثلى في حين تعد وزارة التعليم بجودة أفضل لكل حوسبة، فإن اختيار التكوينات الصحيحة يعد أمرًا بالغ الأهمية ولكنه غير مفهوم بشكل جيد. من خلال البحث التفصيلي، توصلت Snowflake إلى بنية توظف 128 خبيرًا مع أعلى 2 بوابة في كل طبقة بعد تقييم مقايضات الجودة والكفاءة.

تؤدي زيادة عدد الخبراء إلى توفير المزيد من المجموعات، مما يعزز قدرة النموذج. ومع ذلك، فإن هذا يؤدي أيضًا إلى رفع تكاليف الاتصالات، لذلك هبطت Snowflake على 128 خبيرًا "مكثفًا" مصممين بعناية ويتم تنشيطهم عبر بوابة أعلى 2 كتوازن مثالي.

3. التصميم المشترك للنظام ولكن حتى بنية النموذج الأمثل يمكن أن يتم تقويضها بسبب اختناقات النظام. لذلك ابتكر فريق Snowflake هنا أيضًا - حيث شارك في تصميم بنية النموذج جنبًا إلى جنب مع أنظمة التدريب والاستدلال الأساسية.

ومن أجل التدريب الفعال، تم تصميم المكونات الكثيفة ومكونات وزارة التربية لتمكين الاتصالات والحسابات المتداخلة، وإخفاء أعباء الاتصالات الكبيرة. ومن ناحية الاستدلال، استفاد الفريق من ابتكارات NVIDIA لتمكين النشر عالي الكفاءة على الرغم من نطاق القطب الشمالي.

تسمح تقنيات مثل تكميم FP8 بتركيب النموذج الكامل على عقدة GPU واحدة للاستدلال التفاعلي. تستخدم الدفعات الأكبر حجمًا قدرات التوازي الخاصة بـ Arctic عبر عقد متعددة مع الحفاظ على كفاءة الحوسبة بشكل مثير للإعجاب بفضل المعلمات النشطة المدمجة 17B.

مع ترخيص Apache 2.0، تتوفر أوزان وأكواد Arctic بدون قيود لأي استخدام شخصي أو بحثي أو تجاري. لكن Snowflake ذهبت إلى أبعد من ذلك بكثير، حيث قامت بفتح مصادر بياناتها الكاملة، وتطبيقات النماذج، والنصائح، والرؤى البحثية العميقة التي تدعم القطب الشمالي.

في "كتاب الطبخ في القطب الشمالي"هي قاعدة معرفية شاملة تغطي كل جانب من جوانب بناء وتحسين نموذج وزارة التربية والتعليم واسع النطاق مثل القطب الشمالي. إنه يستخلص الدروس الأساسية عبر مصادر البيانات، وتصميم بنية النموذج، والتصميم المشترك للنظام، وخطط التدريب/الاستدلال المحسنة والمزيد.

بدءًا من تحديد مناهج البيانات المثلى وحتى تصميم وزارة التعليم مع المشاركة في تحسين المجمعين والمجدولين والأجهزة - تعمل هذه المجموعة الواسعة من المعرفة على إضفاء الطابع الديمقراطي على المهارات التي كانت مقتصرة في السابق على مختبرات الذكاء الاصطناعي النخبة. يعمل كتاب Arctic Cookbook على تسريع منحنيات التعلم وتمكين الشركات والباحثين والمطورين على مستوى العالم من إنشاء دورات LLM فعالة من حيث التكلفة ومصممة خصيصًا لأي حالة استخدام تقريبًا.

الشروع في العمل مع القطب الشمالي

بالنسبة للشركات الحريصة على الاستفادة من القطب الشمالي، تقدم Snowflake مسارات متعددة للبدء بسرعة:

الاستدلال بدون خادم: يمكن لعملاء Snowflake الوصول إلى نموذج Arctic مجانًا على Snowflake Cortex، منصة الذكاء الاصطناعي المُدارة بالكامل للشركة. علاوة على ذلك، يتوفر Arctic عبر جميع كتالوجات النماذج الرئيسية مثل AWS وMicrosoft Azure وNVIDIA والمزيد.

البدء من الصفر: تسمح أوزان النماذج مفتوحة المصدر وتطبيقاتها للمطورين بدمج Arctic مباشرة في تطبيقاتهم وخدماتهم. يوفر Arctic repo نماذج التعليمات البرمجية ودروس النشر ووصفات الضبط الدقيق والمزيد.

بناء نماذج مخصصة: بفضل الأدلة الشاملة لكتاب Arctic Cookbook، يمكن للمطورين بناء نماذج MoE المخصصة الخاصة بهم من الصفر والمحسّنة لأي حالة استخدام متخصصة باستخدام الدروس المستفادة من تطوير Arctic.

يعد عصر جديد من Open Enterprise AI Arctic أكثر من مجرد نموذج لغة قوي آخر - فهو يبشر بعصر جديد من قدرات الذكاء الاصطناعي المفتوحة والفعالة من حيث التكلفة والمخصصة خصيصًا للمؤسسات.

من إحداث ثورة في تحليلات البيانات وإنتاجية الترميز إلى تشغيل أتمتة المهام والتطبيقات الأكثر ذكاءً، فإن DNA المؤسسي الأول لـ Arctic يجعله خيارًا لا يهزم على LLMs العامة. ومن خلال المصادر المفتوحة، ليس النموذج فحسب، بل عملية البحث والتطوير بأكملها التي تقف وراءه، تعمل Snowflake على تعزيز ثقافة التعاون التي من شأنها الارتقاء بالنظام البيئي للذكاء الاصطناعي بأكمله.

مع تبني المؤسسات بشكل متزايد للذكاء الاصطناعي التوليدي، تقدم Arctic مخططًا جريئًا لتطوير نماذج تتفوق بشكل موضوعي على أعباء عمل الإنتاج وبيئات المؤسسات. إن التقاءها بالأبحاث المتطورة والكفاءة التي لا مثيل لها والروح المنفتحة الثابتة يضع معيارًا جديدًا في إضفاء الطابع الديمقراطي على الإمكانات التحويلية للذكاء الاصطناعي.

فيما يلي قسم يحتوي على أمثلة التعليمات البرمجية حول كيفية استخدام نموذج Snowflake Arctic:

التدريب العملي على القطب الشمالي

الآن بعد أن تناولنا ما يجعل القطب الشمالي رائدًا حقًا، دعنا نتعمق في كيف يمكن للمطورين وعلماء البيانات البدء في تشغيل هذا النموذج القوي.
يتوفر Arctic جاهزًا للنشر مسبقًا وجاهزًا للنشر من خلال مراكز النماذج الرئيسية مثل Hugging Face ومنصات الذكاء الاصطناعي الشريكة. لكن قوتها الحقيقية تظهر عند تخصيصها وضبطها لتناسب حالات الاستخدام المحددة الخاصة بك.

يوفر ترخيص Arctic's Apache 2.0 الحرية الكاملة لدمجه في تطبيقاتك أو خدماتك أو سير عمل الذكاء الاصطناعي المخصص. دعنا نستعرض بعض أمثلة التعليمات البرمجية باستخدام مكتبة المحولات لتبدأ:
الاستدلال الأساسي مع القطب الشمالي

بالنسبة لحالات استخدام إنشاء النص السريع، يمكننا تحميل Arctic وتشغيل الاستدلال الأساسي بسهولة شديدة:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

يجب أن ينتج هذا شيئًا مثل:

"عاصمة فرنسا هي باريس. باريس هي أكبر مدينة في فرنسا والمركز الاقتصادي والسياسي والثقافي للبلاد. فهي موطن للمعالم الشهيرة مثل برج إيفل ومتحف اللوفر وكاتدرائية نوتردام.

كما ترون، تتفهم شركة Arctic الاستعلام بسلاسة وتوفر استجابة مفصلة ومرتكزة للاستفادة من قدراتها القوية في فهم اللغة.

الضبط الدقيق للمهام المتخصصة

على الرغم من أنه مثير للإعجاب خارج الصندوق، إلا أن Arctic يتألق حقًا عند تخصيصه وضبطه بدقة على بياناتك الخاصة للمهام المتخصصة. قدمت Snowflake وصفات واسعة النطاق تغطي:

• تنظيم بيانات تدريب عالية الجودة مصممة خصيصًا لحالة الاستخدام الخاصة بك
• تنفيذ مناهج تدريبية مخصصة متعددة المراحل
• الاستفادة من أساليب الضبط الدقيقة LoRA أو P-Tuning أوFactorizedFusion الفعالة
• تحسينات لتمييز SQL أو البرمجة أو غيرها من مهارات المؤسسة الرئيسية

فيما يلي مثال لكيفية ضبط القطب الشمالي على مجموعات بيانات الترميز الخاصة بك باستخدام وصفات LoRA وSnowflake:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

يوضح هذا الرمز كيف يمكنك تحميل Arctic دون عناء، وتهيئة تكوين LoRA المخصص لإنشاء التعليمات البرمجية، ثم ضبط النموذج على مجموعات بيانات الترميز الخاصة بك باستخدام توجيهات Snowflake.

تصبح Arctic، المخصصة والمضبوطة بدقة، مركزًا قويًا خاصًا تم ضبطه لتقديم أداء لا مثيل له في سير العمل الأساسي لمؤسستك واحتياجات أصحاب المصلحة.