داخل DBRX: Databricks تطلق نموذج LLM مفتوح المصدر قوي

في مجال النماذج اللغوية الكبيرة (LLM) الذي يتطور بسرعة، ظهر نموذج جديد قوي – DBRX، وهو نموذج مفتوح المصدر تم إنشاؤه بواسطة Databricks. هذا النموذج يثير موجات بفضل أدائه الرائع عبر مجموعة واسعة من المعايير، حتى أنه يتنافس مع قدرات عمالقة الصناعة مثل GPT-4 من OpenAI.

يمثل DBRX علامة فارقة في تحقيق الديمقراطية في مجال الذكاء الاصطناعي، حيث يوفر للباحثين والمطورين والشركات إمكانية الوصول المفتوح إلى نموذج لغوي من الدرجة الأولى. ولكن ما هو DBRX بالضبط، وما الذي يجعله مميزًا؟ في هذا الاستقصاء الفني العميق، سنستكشف الهيكل المبتكر، عملية التدريب، والقدرات الرئيسية التي دفعت DBRX إلى الصدارة في مجال النماذج اللغوية المفتوحة.

ميلاد DBRX تم تشغيله بواسطة مهمة Databricks لجعل ذكاء البيانات متاحًا لجميع الشركات. كقائد في منصات تحليل البيانات، أدركت Databricks الإمكانيات الهائلة للنماذج اللغوية الكبيرة وشرعت في تطوير نموذج يمكن أن يتطابق أو حتى يتفوق على الأداء الخاص بالعروض المملوكة.

بعد أشهر من البحث والتنمية الاستثنائية والاستثمار الذي يصل إلى ملايين الدولارات، حقق فريق Databricks اختراقًا مع DBRX. أداء النموذج المثير على مجموعة واسعة من المعايير، بما في ذلك فهم اللغة وبرمجة الرياضيات، أرسى بشكل قوي أنه نموذج جديد من الدرجة الأولى في النماذج اللغوية المفتوحة.

هيكل مبتكر

قوة مزيج الخبراء في قلب أداء DBRX الاستثنائي ي лежит هيكله المبتكر لمزيج الخبراء (MoE). هذا التصميم المتقدم يُمثل انحرافًا عن النماذج الكثيفة التقليدية، حيث يعتمد على نهج متفرق يُحسن كفاءة التدريب وفترة الاستدلال.

في إطار مزيج الخبراء، يتم تنشيط مجموعة محددة من المكونات، تسمى “الخبراء”، لكل إدخال. هذا التخصص يسمح للنموذج بالتعامل مع مجموعة أوسع من المهام بمهارة أكبر، مع تحسين الموارد الحاسوبية.

DBRX يأخذ هذا المفهوم إلى أبعد من ذلك مع هيكله المبتكر لمزيج الخبراء. على عكس بعض نماذج مزيج الخبراء الأخرى التي تستخدم عددًا صغيرًا من خبراء أكبر، يستخدم DBRX 16 خبيرًا، مع أربعة خبراء نشطين لكل إدخال معين. هذا التصميم يوفر مجموعة هائلة من 65 مرة أكثر من مجموعات الخبراء الممكنة، مما يساهم بشكل مباشر في الأداء الفائق ل DBRX.

DBRX يميز نفسه بعدد من الميزات المبتكرة:

• ترميز المواقف الدورانية (RoPE): يعزز فهم مواقف الرموز، مما هو ضروري لإنشاء نص دقيق سياقيًا.
• وحدات الخطية المقفلة (GLU): يقدم آلية مقفلة تعزز قدرة النموذج على التعلم الأنماط المعقدة بفعالية أكبر.
• انتباه الاستعلام المجموع (GQA): يحسن كفاءة النموذج من خلال تحسين آلية الانتباه.
• تحليل الرموز المتقدم: يستخدم معالج الرموز الخاص بـ GPT-4 لمعالجة الإدخالات بشكل أكثر فعالية.

هيكل مزيج الخبراء مناسب بشكل خاص للنماذج اللغوية الكبيرة، حيث يسمح بالتمديد الفعال للموارد الحاسوبية وافضل استخدامها. من خلال توزيع عملية التعلم عبر شبكات فرعية متخصصة متعددة، يمكن لـ DBRX تخصيص البيانات والموارد الحاسوبية بشكل فعال لكل مهمة، مما يضمن الإخراج عالي الجودة والكفاءة المثلى.

بيانات التدريب الشاملة والتحسين الفعال في حين أن هيكل DBRX بالتأكيد مثير للإعجاب، يكمن قوته الحقيقية في عملية التدريب الدقيقة وكمية البيانات الهائلة التي تم تعريضها لها. تم تدريب DBRX مسبقًا على 12 تريليون رمز من بيانات النص والرمز، تم تحضيرها بعناية لضمان الجودة والتنوع.

تمت معالجة بيانات التدريب باستخدام مجموعة أدوات Databricks، بما في ذلك Apache Spark لمعالجة البيانات، و Unity Catalog لإدارة البيانات والحوكمة، و MLflow لتتبع التجارب. سمحت هذه المجموعة الشاملة لفريق Databricks بإدارة البيانات وفحصها وتحسينها بشكل فعال، مما وضع الأساس لأداء DBRX الاستثنائي.

为了 تعزيز قدرات النموذج بشكل أكبر، استخدمت Databricks مناهج تدريب ديناميكية، تختلف مزيج البيانات أثناء التدريب بشكل مبتكر. سمحت هذه الاستراتيجية لكل رمز بمعالجته بشكل فعال باستخدام 36 مليار معامل نشط، مما أدى إلى نموذج أكثر شمولاً وملاءمة.

علاوة على ذلك، تم تحسين عملية تدريب DBRX لتحقيق الكفاءة، باستخدام أدوات و مكتبات مملوكة مملوكة لـ Databricks، بما في ذلك Composer و LLM Foundry و MegaBlocks و Streaming. من خلال استخدام تقنيات مثل التعلم المناهج و استراتيجيات التحسين المثلى، حقق الفريق تحسنًا يصل إلى أربع مرات في كفاءة الحوسبة مقارنة بنماذجهم السابقة.

تدريب و هيكل

تم تدريب DBRX باستخدام نموذج تنبؤ الرمز التالي على مجموعة بيانات هائلة تصل إلى 12 تريليون رمز، مع التركيز على النص والرمز. يُعتقد أن هذا المجموعة أكثر فعالية من تلك المستخدمة في النماذج السابقة، مما يضمن فهمًا غنيًا و khả năng استجابة عبر مجموعة متنوعة من التحفيزات.

هيكل DBRX ليس فقط شهادة على براعة Databricks الفنية، بل يُظهر أيضًا تطبيقه عبر قطاعات متعددة. من تعزيز تفاعلات الدردشة إلى تشغيل مهام تحليل البيانات المعقدة، يمكن دمج DBRX في مجالات متنوعة تتطلب فهمًا لغويًا دقيقًا.

remarkably، DBRX Instruct يتنافس حتى مع بعض النماذج المغلقة الأكثر تقدمًا في السوق. وفقًا لقياسات Databricks، يتفوق على GPT-3.5 ويتنافس مع Gemini 1.0 Pro و Mistral Medium عبر معايير مختلفة، بما في ذلك المعرفة العامة والمنطق العام وبرمجة الرياضيات.

على سبيل المثال، على معيار MMLU، الذي يقيس فهم اللغة، حقق DBRX Instruct نسبة 73.7٪، متجاوزًا نسبة GPT-3.5 البالغة 70.0٪. على معيار HellaSwag للتفكير العام، سجل DBRX Instruct 89.0٪، متجاوزًا 85.5٪ ل GPT-3.5.

DBRX Instruct يبرز حقًا، حيث يحقق دقة 70.1٪ على معيار HumanEval، متجاوزًا ليس فقط GPT-3.5 (48.1٪) ولكن أيضًا نموذج CodeLLaMA-70B Instruct (67.8٪).

تظهر هذه النتائج الاستثنائية مرونة DBRX وقدرته على التميز عبر مجموعة واسعة من المهام، من فهم اللغة الطبيعية إلى حل المسائل الرياضية والبرمجة المعقدة.

كفاءة الاستدلال والتمديد واحدة من المزايا الرئيسية لهيكل DBRX لمزيج الخبراء. بفضل تنشيط المعاملات المتفرقة، يمكن لـ DBRX تحقيق معدل استدلال يصل إلى مرتين أو ثلاث مرات أسرع من النماذج الكثيفة مع نفس عدد المعاملات الإجمالي.

مقارنةً بنموذج LLaMA2-70B، وهو نموذج مفتوح المصدر شائع، يُظهر DBRX ليس فقط جودة أعلى ولكن أيضًا يُحقق سرعة استدلال تقريبًا ضعف سرعة LLaMA2-70B، على الرغم من وجود نصف عدد المعاملات النشطة. هذه الكفاءة تجعل DBRX خيارًا جذابًا للنشر في تطبيقات متنوعة، من إنشاء المحتوى إلى تحليل البيانات وأكثر.

علاوة على ذلك، طورت Databricks مكدس تدريب قوي يسمح للشركات بتدريب نماذج DBRX الخاصة بها من الصفر أو الاستمرار في التدريب على النقاط التي تم توفيرها. هذه القدرة تمكن الشركات من استغلال إمكانيات DBRX الكاملة وتailorها إلى احتياجاتها الخاصة، مما يزيد من ديمقراطية الوصول إلى تقنية LLM المتقدمة.

إمكانية الوصول والتكامل

تماشيًا مع مهمتها لتعزيز الوصول المفتوح إلى الذكاء الاصطناعي، قامت Databricks بتقديم DBRX عبر قنوات متعددة. يتم استضافة أوزان كلا النموذج الأساسي (DBRX Base) والنموذج المُحسّن (DBRX Instruct) على منصة Hugging Face الشهيرة، مما يسمح للباحثين والمطورين بتحميل العمل مع النموذج بسهولة.

إضافة إلى ذلك، يتم توفير مستودع نموذج DBRX على GitHub، مما يوفر الشفافية وتمكين استكشاف ومخصصة إضافية للنموذج.

对于 عملاء Databricks، يمكن الوصول إلى DBRX Base و DBRX Instruct بسهولة عبر واجهات برمجة تطبيقات Databricks Foundation Model، مما يسمح بالتكامل السلس في سير العمل والتطبيقات الحالية. هذا لا فقط يُبسط عملية النشر، ولكنه أيضًا يضمن حوكمة البيانات وأمانها للاستخدامات الحساسة.

علاوة على ذلك، تم دمج DBRX بالفعل في منصات وخدمات خارجية متعددة، مثل You.com و Perplexity Labs، مما يوسع نطاقه وتطبيقاته. هذه التكاملات تُظهر الاهتمام المتزايد ب DBRX وقدراته، بالإضافة إلى زيادة اعتماد النماذج اللغوية المفتوحة عبر الصناعات والاستخدامات المختلفة.

قدرات السياق الطويل وإنشاء مقرون بالاسترجاع واحدة من الميزات البارزة ل DBRX. يمكن للنموذج التعامل مع إدخالات سياق طويل، مع أقصى طول سياق يصل إلى 32,768 رمز. هذه القدرة تسمح للنموذج بمعالجة وتوليد النص بناءً على معلومات سياقية واسعة، مما يجعله مناسبًا لمهام مثل تلخيص الوثائق والاستجابة للأسئلة وإنشاء المعلومات.

في المعايير التي تقيم أداء السياق الطويل، مثل KV-Pairs و HotpotQAXL، يتفوق DBRX Instruct على GPT-3.5 Turbo عبر أطوال تسلسل ومراكز سياق مختلفة.

DBRX يتفوق على نماذج مفتوحة مصدرية محددة في فهم اللغة وبرمجة الرياضيات ورياضيات.