نماذج ومنصات الذكاء الاصطناعي
داخل Microsoft’s Phi-3 Mini: نموذج الذكاء الاصطناعي الخفيف الذي يؤدي أداءً أعلى من حجمه
أضف Unite.AI إلى مصادرك المفضلة على Google
أعلنت Microsoft (MSFT ) مؤخرًا عن أحدث نموذج لغة خفيف يسمى Phi-3 Mini، مما يُشكل بدايةً لثلاثية من النماذج الخفيفة المصممة لتقديم أداء متقدم مع كونها صغيرة بما يكفي للتشغيل بكفاءة على الأجهزة ذات الموارد الحاسوبية المحدودة. عند 3.8 مليار معامل، يُعتبر Phi-3 Mini جزءًا صغيرًا من حجم النماذج العملاقة مثل GPT-4، ومع ذلك، يpromises لتطابق قدراتها في العديد من المجالات الرئيسية.
تمثل разработة Phi-3 Mini علامة فارقة في السعي لتوسيع نطاق القدرات المتقدمة للذكاء الاصطناعي من خلال جعلها متاحة على مجموعة أوسع من الأجهزة. يسمح حجمها الصغير بنشرها محليًا على الهواتف الذكية والأجهزة اللوحية وأجهزة الحافة الأخرى، مما يُغلب على مشاكل التأخير والخصوصية المرتبطة بالنماذج المستندة إلى السحابة. هذا يفتح فرصًا جديدة لتجارب ذكية على الجهاز عبر مجالات مختلفة، من المساعدين الافتراضيين والذكاء الاصطناعي للتعليم إلى مساعدي البرمجة ومهام فهم اللغة.
- 4-bit quantized phi-3-mini running natively on an iPhone
تحت الغطاء: الهيكل والتدريب
في جوهره، يُعتبر Phi-3 Mini نموذجًا للترميز Transformer بناءً على هيكل مشابه لنموذج Llama-2 المفتوح المصدر. يحتوي على 32 طبقة، و 3072 بعدًا مخفيًا، و 32 رأسًا انتباهيًا، مع طول سياق افتراضي يبلغ 4,000 رمز. كما قدمت Microsoft إصدارًا طويلًا يسمى Phi-3 Mini-128K، الذي يمتد طول السياق إلى 128,000 رمز باستخدام تقنيات مثل LongRope.
ما يميز Phi-3 Mini هو منهجية تدريبه. بدلاً من الاعتماد فقط على قوة البيانات الضخمة والقدرة الحاسوبية، ركزت Microsoft على تحضير بيانات تدريب عالي الجودة وغنية بالاستدلال. تتكون هذه البيانات من بيانات الويب المفلترة بشدة، بالإضافة إلى البيانات الاصطناعية التي تم إنشاؤها بواسطة نماذج لغة أكبر.
يتبع عملية التدريب نهجًا من مرحلتين. في المرحلة الأولى، يتعرض النموذج إلى مجموعة متنوعة من مصادر الويب تهدف إلى تعليمه المعرفة العامة وفهم اللغة. المرحلة الثانية تجمع بين بيانات الويب المفلترة بشكل أكبر مع البيانات الاصطناعية المصممة لتمكين مهارات التفكير المنطقي والخبرة في المجالات المتخصصة.
تُشير Microsoft إلى هذا النهج باسم “النظام الأمثل للبيانات”، وهو انحراف عن “النظام الأمثل للحوسبة” أو “نظام التدريب الزائد” الذي تستخدمه العديد من النماذج اللغوية الكبيرة. الهدف هو تحديد بيانات التدريب لتتناسب مع حجم النموذج، مما يوفر مستوى المعرفة والقدرة على الاستدلال المناسب مع ترك مساحة كافية للقدرات الأخرى.
- Quality of new Phi-3 models, as measured by performance on the Massive Multitask Language Understanding (MMLU) benchmark
لقد أدى هذا النهج القائم على البيانات إلى تحقيق نتائج ممتازة، حيث يحقق Phi-3 Mini أداءً ممتازًا على مجموعة واسعة من البنود الأكاديمية، وغالبًا ما يتجاوز أو يتساوى مع نماذج أكبر بكثير. على سبيل المثال، يسجل 69% على اختبار MMLU لتعلم المهام المتعددة وفهم اللغة، و 8.38 على اختبار MT-bench للاستدلال الرياضي – نتائج تتوافق مع نماذج مثل Mixtral 8x7B و GPT-3.5.
الأمان والمتانة
إلى جانب أدائه الممتاز، وضعت Microsoft تركيزًا قويًا على الأمان والمتانة في تطوير Phi-3 Mini. خضع النموذج لعملية تدريب لاحقة شاملة تتضمن تعديل دقيق الخواص (SFT) وتحسين التفضيل المباشر (DPO).
مرحلة SFT تستخدم بيانات متعمدة للغاية عبر مجالات متنوعة، بما في ذلك الرياضيات والبرمجة والاستدلال والحوار وهوية النموذج والأمان. هذا يساعد على تعزيز قدرات النموذج في هذه المجالات مع تعزيز هوية قوية وسلوك أخلاقي.
مرحلة DPO، من ناحية أخرى، تركز على توجيه النموذج بعيدًا عن السلوكيات غير المرغوب فيها باستخدام الاستجابات المرفوضة كأمثلة سلبية. يتضمن هذا العملية بيانات تنسيق المحادثة ومهام الاستدلال وجهود الذكاء الاصطناعي المسؤول (RAI)، مما يضمن أن Phi-3 Mini يلتزم بمبادئ Microsoft للذكاء الاصطناعي الأخلاقي والموثوق.
لتحسين ملفه الأمني بشكل أكبر، خضع Phi-3 Mini للاختبار الشامل والاختبار الآلي عبر عشرات فئات الأذى RAI. قامت فرقة حمراء مستقلة في Microsoft بفحص النموذج بشكل متكرر، وتحديد مجالات التحسين، والتي تمت معالجتها من خلال مجموعات بيانات معدة إضافية وإعادة التدريب.
هذا النهج المتعدد قد خفض من حدوث استجابات ضارة وأخطاء фактиة وتحيزات، كما هو موضح في معايير RAI الداخلية لشركة Microsoft. على سبيل المثال، يظهر النموذج معدلات عيوب منخفضة لاستمرار المحتوى الضار (0.75%) والتلخيص (10%)، بالإضافة إلى معدل غير مبرر منخفض (0.603)، مما يشير إلى أن استجاباته متجذرة بشكل جيد في السياق المحدد.
التطبيقات والحالات الاستخدامية
بفضل أدائه الممتاز ومتانه الأمنية، يُعتبر Phi-3 Mini مناسبًا لمجموعة واسعة من التطبيقات، خاصة في البيئات ذات الموارد المحدودة ومواقف الحساسية الزمنية.
إحدى الفرص الأكثر إثارة هي نشر المساعدين الافتراضيين الذكية والذكاء الاصطناعي للتعليم مباشرة على الأجهزة المحمولة. من خلال التشغيل المحلي، يمكن لهؤلاء المساعدين تقديم استجابات فورية دون الحاجة إلى اتصال شبكة، مع ضمان أن البيانات الحساسة تظل على الجهاز، مما يعالج مخاوف الخصوصية.
تجعل قدرات الاستدلال القوية لPhi-3 Mini أيضًا قيمة كبيرة لمساعدة البرمجة وحل المشكلات الرياضية. يمكن للمطورين والطلاب الاستفادة من إكمال الكود على الجهاز، وكشف الأخطاء، والشرح، مما يُسهل عملية التطوير والتعلم.
إلى جانب هذه التطبيقات، يفتح نموذج Phi-3 Mini فرصًا في مجالات مثل فهم اللغة والتلخيص والإجابة على الأسئلة. يجعله حجمه الصغير وفعاليته خيارًا جذابًا لتضمين قدرات الذكاء الاصطناعي في مجموعة واسعة من الأجهزة والأنظمة، من الأجهزة المنزلية الذكية إلى أنظمة التلقم الصناعي.
النظر إلى المستقبل: Phi-3 Small و Phi-3 Medium
في حين أن Phi-3 Mini هو إنجاز رائع بحد ذاته، لدى Microsoft خطط أكبر للعائلة Phi-3. قد أعلنت الشركة بالفعل عن نموذجين أكبر، Phi-3 Small (7 مليار معامل) و Phi-3 Medium (14 مليار معامل)، وكلاهما من المتوقع أن يدفع حدود الأداء للنماذج اللغوية المدمجة.
على سبيل المثال، يستخدم Phi-3 Small معالجًا متقدمًا (tiktoken) وآلية انتباه المجموعة، جنبًا إلى جنب مع طبقة انتباه Blocksparse الجديدة، لتحسين بصمته التخزينية مع الحفاظ على أداء استرجاع السياق الطويل. كما يدمج 10% إضافي من البيانات متعددة اللغات، مما يعزز قدراته في فهم اللغة وتوليد اللغة عبر اللغات المتعددة.
يُعتبر Phi-3 Medium خطوة كبيرة في التوسع، مع 40 طبقة و 40 رأس انتباه وبعد التضمين 5,120. بينما تشير Microsoft إلى أن بعض البنود قد تتطلب تعديلًا إضافيًا لخليط بيانات التدريب للاستفادة الكاملة من هذه السعة المتزايدة، فإن النتائج الأولية واعدة، مع تحسينات كبيرة على Phi-3 Small في مهام مثل MMLU و TriviaQA و HumanEval.
القيود والتوجيهات المستقبلية
على الرغم من قدراته الممتازة، Phi-3 Mini، مثل جميع نماذج اللغة، ليس بدون قيود. واحدة من أبرز الضعف هي قدرته المحدودة على تخزين المعرفة الحقيقية، كما هو موضح في أدائه الأقل على بنود مثل TriviaQA.
然而، تعتقد Microsoft أن هذه القيدة يمكن تخفيفها من خلال تعزيز النموذج بقدرات البحث، مما يسمح له بالاسترجاع والاستدلال على المعلومات ذات الصلة عند الطلب. هذا النهج موضح في واجهة Chat-UI من Hugging Face، حيث يمكن لPhi-3 Mini استخدام البحث لتعزيز استجاباته.
مجال آخر للتحسين هو قدرات النموذج المتعددة اللغات. في حين أن Phi-3 Small قد اتخذ خطوات أولية من خلال دمج بيانات متعددة اللغات إضافية، يلزم المزيد من العمل لفتح إمكانيات هذه النماذج المدمجة بشكل كامل للتطبيقات متعددة اللغات.
تعتزم Microsoft مواصلة تقدم عائلة Phi من النماذج، معالجة قيودها وتوسيع قدراتها. قد يتضمن هذا تعديلات إضافية لبيانات التدريب ونهجها، بالإضافة إلى استكشاف هيكليات وتقنيات جديدة مخصصة للنماذج اللغوية المدمجة والأداء العالي.
الخلاصة
يمثل Phi-3 Mini من Microsoft قفزة كبيرة في ديمقراطية القدرات المتقدمة للذكاء الاصطناعي. من خلال تقديم أداء متقدم في حزمة مدمجة وفعالة، يفتح فرصًا جديدة لتجارب ذكية على الجهاز عبر مجموعة واسعة من التطبيقات.
نهج التدريب المبتكر للنموذج، الذي يركز على بيانات عالي الجودة وغنية بالاستدلال أكثر من القوة الحاسوبية، أثبت أنه مُغير للعبة، مما يسمح لPhi-3 Mini بالتفوق في فئته. مع إجراءات الأمان القوية وجهود التطوير المستمرة، تعتبر عائلة Phi من النماذج على وشك لعب دور حاسم في تشكيل مستقبل الأنظمة الذكية، مما يجعل الذكاء الاصطناعي أكثر إمكانية وفعاليته وثقة من أي وقت مضى.
مع استمرار صناعة التكنولوجيا في دفع حدود ما هو ممكن مع الذكاء الاصطناعي، تمثل التزام Microsoft بالنماذج الخفيفة والأداء العالي مثل Phi-3 Mini انحرافًا من الحكمة التقليدية التي تقول “الأكبر هو الأفضل”. من خلال إظهار أن الحجم ليس كل شيء، يملك Phi-3 Mini إمكانية إلهام موجة جديدة من الابتكار تركز على تعظيم قيمة وتأثير الذكاء الاصطناعي من خلال تحضير البيانات الذكي وتصميم النموذج المتعمد والممارسات التطويرية المسؤولة.
