محطة طاقة بحجم الجيب: كشف.microsoft عن Phi-3، نموذج اللغة الذي يتناسب مع هاتفك

في مجال الذكاء الاصطناعي المتطور بسرعة، بينما كان الاتجاه غالبًا نحو نماذج أكبر وأكثر تعقيدًا، تعتمد Microsoft (MSFT ) نهجًا مختلفًا مع Phi-3 Mini. هذا نموذج لغة صغير (SLM)، والذي يعد الآن في جيله الثالث، يحتوي على قدرات قوية مثل النماذج الأكبر في إطار يتناسب مع القيود الصارمة للموارد على الهواتف الذكية. مع 3.8 مليار معامل، يطابق Phi-3 Mini أداء نماذج اللغة الكبيرة (LLMs) عبر مهام مختلفة بما في ذلك معالجة اللغة والاستدلال والبرمجة والرياضيات، وتم تصميمه للتشغيل الكفء على الأجهزة المحمولة من خلال الكم.

تحديات نماذج اللغة الكبيرة

تطوير Microsoft لنماذج Phi SLMs يأتي استجابة للتحديات الكبيرة التي تطرحها نماذج اللغة الكبيرة، والتي تتطلب قدرة حسابية أكبر من تلك المتاحة على الأجهزة الاستهلاكية. هذا الطلب العالي يُ复ّع استخدامها على الحواسيب والأجهزة المحمولة، ويزيد من المخاوف البيئية بسبب استهلاك الطاقة أثناء التدريب والتشغيل، ويتسبب في مخاطر تعزيز التحيزات بفضل مجموعات بيانات التدريب الكبيرة والمعقدة. هذه العوامل يمكن أن تؤثر أيضًا على استجابة النماذج في التطبيقات في الوقت الفعلي وتجعل التحديثات أكثر صعوبة.

Phi-3 Mini: تسهيل الذكاء الاصطناعي على الأجهزة الشخصية لتحسين الخصوصية والكفاءة

Phi-3 Mini مصمم استراتيجيًا لتقديم بديل كفء ومكلف لدمج الذكاء الاصطناعي المتقدم مباشرة على الأجهزة الشخصية مثل الهواتف والأجهزة المحمولة. هذا التصميم يسهل استجابات أسرع وأكثر فورية، مما يعزز التفاعل بين المستخدم وتكنولوجيا اليومية.

يسمح Phi-3 Mini بوظائف الذكاء الاصطناعي المتقدمة لمعالجة مباشرة على الأجهزة المحمولة، مما يقلل من الاعتماد على خدمات السحابة ويعزز معالجة البيانات في الوقت الفعلي. هذه القدرة حاسمة للتطبيقات التي تتطلب معالجة البيانات الفورية، مثل الرعاية الصحية المحمولة وترجمة اللغة في الوقت الفعلي والتعليم المخصص، مما يسهل التقدم في هذه المجالات. كفاءة التكلفة للنموذج لا تقلل فقط من التكاليف التشغيلية ولكن توسع أيضًا إمكانيات دمج الذكاء الاصطناعي عبر مختلف الصناعات، بما في ذلك الأسواق الناشئة مثل تكنولوجيا Wearable وتحكم المنزل. يزيد Phi-3 Mini من معالجة البيانات مباشرة على الأجهزة المحلية، مما يعزز خصوصية المستخدم. يمكن أن يكون هذا حاسمًا لإدارة المعلومات الحساسة في مجالات مثل الصحة الشخصية والخدمات المالية. بالإضافة إلى ذلك، يتطلب النموذج طاقة منخفضة، مما يسهم في عمليات الذكاء الاصطناعي المستدامة بيئيًا، مما يتوافق مع الجهود العالمية لتحقيق الاستدامة.

فلسفة التصميم وتطور Phi

تعتمد فلسفة تصميم Phi على مفهوم التعلم من المناهج، الذي يستمد الإلهام من النهج التعليمي حيث يتعلم الأطفال من خلال أمثلة أكثر تحديًا بشكل تدريجي. الفكرة الرئيسية هي بدء تدريب الذكاء الاصطناعي مع أمثلة أسهل وزيادة تعقيد بيانات التدريب تدريجيًا مع تقدم عملية التعلم. قامت Microsoft بتنفيذ هذه الاستراتيجية التعليمية من خلال بناء مجموعة بيانات من الكتب الدراسية، كما هو مفصل في دراستهم “الكتب الدراسية كل ما تحتاجه“. تم إطلاق سلسلة Phi في يونيو 2023، بدءًا من Phi-1، نموذج مضغوط يحتوي على 1.3 مليار معامل. أظهر هذا النموذج فعالية سريعة، خاصة في مهام برمجة Python، حيث تفوق على نماذج أكبر وأكثر تعقيدًا. بناءً على هذا النجاح، قامت Microsoft لاحقًا بتطوير Phi-1.5، الذي احتفظ بنفس عدد المعاملات ولكنه وسع قدراته في مجالات مثل التفكير السليم وفهم اللغة. برزت السلسلة مع إصدار Phi-2 في ديسمبر 2023. مع 2.7 مليار معامل، أظهر Phi-2 مهارات مثيرة في التفكير وفهم اللغة، مما جعله منافسًا قويًا للنماذج الأكبر بشكل ملحوظ.

Phi-3 مقابل نماذج اللغة الصغيرة الأخرى

بناءً على سلاسلها السابقة، يوسع Phi-3 Mini التقدم الذي أحرزته Phi-2 من خلال تجاوز نماذج اللغة الصغيرة الأخرى، مثل Gemma من Google (GOOGL ) وMistral من Mistral وLlama3-Instruct من Meta وGPT 3.5، في مجموعة متنوعة من التطبيقات الصناعية. تشمل هذه التطبيقات فهم اللغة والاستدلال والمعرفة العامة والتفكير السليم ومشكلات الرياضيات في المدرسة الابتدائية والإجابة على الأسئلة الطبية، مما يظهر أداءً متفوقًا مقارنةً بهذه النماذج. كما خضع Phi-3 Mini للاختبار دون اتصال على iPhone 14 لعدة مهام، بما في ذلك إنشاء المحتوى وتقديم اقتراحات النشاط المخصصة للمواقع المحددة. لهذا الغرض، تم ضغط Phi-3 Mini إلى 1.8GB باستخدام عملية تسمى الكم، التي ت tốiم النموذج للأجهزة ذات الموارد المحدودة من خلال تحويل بيانات النموذج العددية من أرقام عائمة 32 بت إلى صيغ أكثر ضغطًا مثل الأعداد الصحيحة 4 بت. لا يقلل هذا فقط من بصمة الذاكرة للنموذج ولكن يحسن أيضًا سرعة المعالجة والكفاءة في استهلاك الطاقة، مما هو حاسم للأجهزة المحمولة. غالبًا ما يستخدم المطورون إطارات مثل TensorFlow Lite أو PyTorch Mobile، التي تتضمن أدوات كمية مدمجة لتسهيل وتحسين هذه العملية.

مقارنة الميزات: Phi-3 Mini مقابل Phi-2 Mini

فيما يلي، نقارن بعض ميزات Phi-3 مع سلفها Phi-2.

• هيكل النموذج: يعمل Phi-2 على هيكل معماري قائم على Transformer مصمم للتنبؤ بالكلمة التالية. يعمل Phi-3 Mini أيضًا على هيكل معماري للترميز يتوافق بشكل أكبر مع هيكل نموذج Llama-2، باستخدام نفس المُرمِّز مع حجم مفردات يبلغ 320,641. يضمن هذا التوافق أن الأدوات المطورة ل Llama-2 يمكن تعديلها بسهولة للاستخدام مع Phi-3 Mini.
• طول السياق: يدعم Phi-3 Mini طول سياق يبلغ 8,000 رمز، وهو أكبر بكثير من 2,048 رمز ل Phi-2. يسمح هذا الزياد بتمكين Phi-3 Mini من التعامل مع تفاعلات أكثر تفصيلًا ومعالجة مقاطع نص أطول.
• تشغيل محلي على الأجهزة المحمولة: يمكن ضغط Phi-3 Mini إلى 4 بت، مما يحتوي على حوالي 1.8GB من الذاكرة، مشابه ل Phi-2. تم اختباره ليعمل دون اتصال على iPhone 14 مع شريحة A16 Bionic، حيث حقق سرعة معالجة تزيد عن 12 رمزًا في الثانية، مما يطابق أداء Phi-2 في ظروف مماثلة.
• حجم النموذج: مع 3.8 مليار معامل، يمتلك Phi-3 Mini حجمًا أكبر من Phi-2، الذي يحتوي على 2.7 مليار معامل. يعكس هذا الزيادة في قدراته.
• بيانات التدريب: على عكس Phi-2، الذي تم تدريبه على 1.4 تريليون رمز، تم تدريب Phi-3 Mini على مجموعة بيانات أكبر بكثير تبلغ 3.3 تريليون رمز، مما يسمح له بتحقيق فهم أفضل لأنماط اللغة المعقدة.

معالجة قيود Phi-3 Mini

على الرغم من أن Phi-3 Mini يظهر تقدمًا كبيرًا في مجال نماذج اللغة الصغيرة، إلا أنه ليس بدون قيود. أحد القيود الرئيسية ل Phi-3 Mini، نظرًا لحجمه الصغير مقارنة بنماذج اللغة الكبيرة، هو سعة محدودة لتخزين المعرفة الحقيقية. يمكن أن يؤثر هذا على قدرته على التعامل بشكل مستقل مع الاستفسارات التي تتطلب عمقًا من البيانات أو المعرفة المتخصصة. ومع ذلك، يمكن تحقيق هذا من خلال دمج Phi-3 Mini مع محرك بحث. بهذه الطريقة، يمكن للنموذج الوصول إلى نطاق أوسع من المعلومات في الوقت الفعلي، مما يتيح له العمل كمُحَدِّث قوي يمتلك فهمًا شاملاً للغة والسياق، ولكنه قد يحتاج في بعض الأحيان إلى “البحث” عن المعلومات لتوفير استجابات دقيقة ومحدثة.

التوفر

Phi-3 متوفر الآن على منصات متعددة، بما في ذلك Microsoft Azure AI Studio وHugging Face وOllama. على Azure AI، يدمج النموذج سير عمل التوزيع والتقييم والتعدين الدقيق، وعلى Ollama، يمكن تشغيله محليًا على الأجهزة المحمولة. تم تخصيص النموذج ل ONNX Runtime ويدعم Windows DirectML، مما يضمن عمله بشكل جيد عبر أنواع الأجهزة المختلفة مثل GPU وCPU والأجهزة المحمولة. بالإضافة إلى ذلك، يتم توفير Phi-3 كخدمة صغيرة عبر NVIDIA NIM (NVDA ) ، مجهزة بواجهة برمجة تطبيقات قياسية لتسهيل النشر عبر بيئات مختلفة ومُختَصَّة بشكل خاص لأجهزة NVIDIA GPU. تخطط Microsoft لتوسيع سلسلة Phi-3 في المستقبل القريب من خلال إضافة Phi-3 الصغيرة (7B) وPhi-3 المتوسطة (14B)، مما يوفر للمستخدمين خيارات إضافية للتوازن بين الجودة والتكلفة.

الخلاصة

Phi-3 Mini من Microsoft يحقق تقدمًا كبيرًا في مجال الذكاء الاصطناعي من خلال تكييف قوة نماذج اللغة الكبيرة للاستخدام على الأجهزة المحمولة. يعزز هذا النموذج التفاعل بين المستخدم والأجهزة من خلال المعالجة الفورية وأداء أسرع وميزات الخصوصية المحسنة. يقلل من الحاجة إلى خدمات السحابة، مما يقلل من التكاليف التشغيلية ويسهم في توسيع نطاق تطبيقات الذكاء الاصطناعي في مجالات مثل الرعاية الصحية وتحكم المنزل. مع التركيز على تقليل التحيز من خلال التعلم من المناهج والحفاظ على الأداء التنافسي، يطور Phi-3 Mini إلى أداة رئيسية للذكاء الاصطناعي المحمول الكفء والمستدام، مما يغير ببطء كيفية تفاعلنا مع التكنولوجيا يوميًا.