في المجال المتطور باستمرار الذكاء الاصطناعي (AI)، حيث تحب النماذج GPT-3 لقد كانت هي المهيمنة لفترة طويلة، هناك تحول صامت ولكن رائد. نماذج اللغات الصغيرة (SLM) آخذة في الظهور وتتحدى السرد السائد لنظيراتها الأكبر حجمًا. جي بي تي 3 وما شابه ذلك نماذج اللغات الكبيرة (LLM)، مثل بيرت، المشهور بفهم السياق ثنائي الاتجاه، وT-5 بأسلوب تحويل النص إلى نص، و XLNet، التي تجمع بين نماذج الانحدار الذاتي والتشفير التلقائي، لعبت جميعها أدوارًا محورية في تحويل معالجة اللغات الطبيعية (NLP) نموذج. على الرغم من قدراتها اللغوية الممتازة، إلا أن هذه النماذج باهظة الثمن نظرًا لاستهلاكها العالي للطاقة ومتطلبات الذاكرة الكبيرة بالإضافة إلى التكاليف الحسابية الباهظة.

في الآونة الأخيرة، حدث تحول نموذجي مع ظهور SLMs. هذه النماذج، التي تتميز بشبكاتها العصبية خفيفة الوزن، وعدد أقل من المعلمات، وبيانات التدريب المبسطة، تشكك في السرد التقليدي.

على عكس نظيراتها الأكبر حجمًا، تتطلب تقنيات SLM قوة حسابية أقل، مما يجعلها مناسبة لعمليات النشر المحلية وعلى الجهاز. لقد تم تقليص هذه النماذج من أجل الكفاءة، مما يدل على أنه عندما يتعلق الأمر بمعالجة اللغة، يمكن للنماذج الصغيرة أن تكون قوية بالفعل.

تطور وقدرات نماذج اللغة الصغيرة

يُظهر فحص قدرات وتطبيقات LLMs، مثل GPT-3، أن لديهم قدرة فريدة على فهم السياق وإنتاج نصوص متماسكة. إن فائدة هذه الأدوات لإنشاء المحتوى وإنشاء التعليمات البرمجية وترجمة اللغة تجعلها مكونات أساسية في حل المشكلات المعقدة.

ظهر بعد جديد لهذه الرواية مؤخرًا مع الكشف عن GPT 4. يدفع GPT-4 حدود لغة الذكاء الاصطناعي مع 1.76 تريليون معلمة لا تصدق في ثمانية نماذج ويمثل خروجًا كبيرًا عن سابقتها، GPT 3. وهذا يضع الأساس مرحلة لعصر جديد من معالجة اللغة، حيث سيستمر اتباع نماذج أكبر وأقوى.

مع الاعتراف بقدرات LLMs، فمن الأهمية بمكان الاعتراف بالموارد الحسابية الكبيرة ومتطلبات الطاقة التي يفرضونها. تتطلب هذه النماذج، ببنيتها المعقدة ومعاييرها الواسعة، قوة معالجة كبيرة، مما يساهم في المخاوف البيئية بسبب الاستهلاك العالي للطاقة.

من ناحية أخرى، يتم إعادة تعريف مفهوم الكفاءة الحسابية من خلال SLMs بدلاً من LLMs كثيفة الاستخدام للموارد. وهي تعمل بتكاليف أقل بكثير، مما يثبت فعاليتها. في الحالات التي تكون فيها الموارد الحسابية محدودة وتوفر فرصًا للنشر في بيئات مختلفة، تكون هذه الكفاءة ذات أهمية خاصة.

بالإضافة إلى فعالية التكلفة، تتفوق أنظمة SLM في قدرات الاستدلال السريع. تتيح بنيتها المبسطة المعالجة السريعة، مما يجعلها مناسبة للغاية للتطبيقات في الوقت الفعلي التي تتطلب اتخاذ قرارات سريعة. وتضعهم هذه الاستجابة كمنافسين أقوياء في البيئات التي تكون فيها سرعة الحركة ذات أهمية قصوى.

وتزيد قصص نجاح الإدارة المستدامة للأراضي من تأثيرها. على سبيل المثال، ديستيلبيرت، نسخة مقطرة من بيرت، توضح القدرة على تكثيف المعرفة مع الحفاظ على الأداء. وفي الوقت نفسه، أثبت كل من DeBERTa وTinyBERT من ميكروسوفت أن تقنيات SLM يمكن أن تتفوق في تطبيقات متنوعة، بدءًا من التفكير الرياضي وحتى فهم اللغة. أوركا 2، التي تم تطويرها مؤخرًا من خلال الضبط الدقيق لـ Meta's Llama 2، هي إضافة فريدة أخرى لعائلة SLM. على نفس المنوال، أوبن إيه آي تؤكد الإصدارات المصغرة، GPT-Neo وGPT-J، على أن قدرات توليد اللغة يمكن أن تتقدم على نطاق أصغر، مما يوفر حلولاً مستدامة ويمكن الوصول إليها.

وبينما نشهد نمو إدارة SLM، يصبح من الواضح أنها تقدم أكثر من مجرد تكاليف حسابية مخفضة وأوقات استدلال أسرع. في الواقع، إنها تمثل نقلة نوعية، مما يدل على أن الدقة والكفاءة يمكن أن تزدهر في أشكال مدمجة. يمثل ظهور هذه النماذج الصغيرة والقوية حقبة جديدة في الذكاء الاصطناعي، حيث تشكل قدرات إدارة الأراضي والإدارة (SLM) السرد.

التطبيقات و Bاختراقات SLM

تم وصف SLMs رسميًا بأنها خفيفة الوزن الذكاء الاصطناعي التوليدي النماذج التي تتطلب طاقة حسابية وذاكرة أقل مقارنة بـ LLMs. ويمكن تدريبهم باستخدام مجموعات بيانات صغيرة نسبيًا، وتتميز ببنيات أبسط وأكثر قابلية للتفسير، كما يسمح حجمها الصغير بالنشر على الأجهزة المحمولة.

توضح الأبحاث الحديثة أنه يمكن ضبط SLMs لتحقيق أداء تنافسي أو حتى متفوق في مهام محددة مقارنة بـ LLMs. بخاصة، تقنيات التحسين، وتقطير المعرفة، والابتكارات المعمارية ساهمت في الاستخدام الناجح لـ SLMs.

تتمتع أنظمة SLM بتطبيقات في مجالات مختلفة، مثل برامج الدردشة الآلية وأنظمة الإجابة على الأسئلة وترجمة اللغات. تعتبر SLMs مناسبة أيضًا للحوسبة الطرفية، والتي تتضمن معالجة البيانات على الأجهزة بدلاً من معالجتها في السحابة. وذلك لأن SLMs تتطلب طاقة حسابية وذاكرة أقل مقارنة بـ LLMs، مما يجعلها أكثر ملاءمة للنشر على الأجهزة المحمولة وغيرها من البيئات المحدودة الموارد.

وبالمثل، تم استخدام SLMs في مختلف الصناعات والمشاريع لتعزيز الأداء والكفاءة. على سبيل المثال، في قطاع الرعاية الصحية، تم تنفيذ SLMs لتعزيز دقة التشخيص الطبي وتوصيات العلاج.

علاوة على ذلك، في الصناعة المالية، تم تطبيق الإدارة المستدامة للأراضي للكشف عن الأنشطة الاحتيالية وتحسين إدارة المخاطر. علاوة على ذلك، يستخدمها قطاع النقل لتحسين تدفق حركة المرور وتقليل الازدحام. هذه مجرد أمثلة قليلة توضح كيفية قيام SLMs بتعزيز الأداء والكفاءة في مختلف الصناعات والمشاريع.

التحديات والجهود المستمرة

تأتي إدارة مستوى الخدمة (SLM) مع بعض التحديات المحتملة، بما في ذلك الفهم المحدود للسياق وعدد أقل من المعلمات. يمكن أن تؤدي هذه القيود إلى استجابات أقل دقة ودقة مقارنة بالنماذج الأكبر حجمًا. ومع ذلك، يتم إجراء البحوث الجارية لمواجهة هذه التحديات. على سبيل المثال، يستكشف الباحثون تقنيات لتعزيز التدريب على الإدارة المستدامة للأراضي من خلال استخدام مجموعات بيانات أكثر تنوعًا ودمج المزيد من السياق في النماذج.

وتشمل الأساليب الأخرى الاستفادة من نقل التعلم للاستفادة من المعرفة الموجودة مسبقًا ونماذج الضبط الدقيق لمهام محددة. بالإضافة إلى ذلك، أظهرت الابتكارات المعمارية مثل شبكات المحولات وآليات الانتباه تحسنًا في الأداء في SLMs.

بالإضافة إلى ذلك، يتم حاليًا تنفيذ جهود تعاونية داخل مجتمع الذكاء الاصطناعي لتعزيز فعالية النماذج الصغيرة. على سبيل المثال، قام فريق Hugging Face بتطوير منصة تسمى Transformers، والتي تقدم مجموعة متنوعة من أدوات SLM المدربة مسبقًا وأدوات لضبط هذه النماذج ونشرها.

وبالمثل، أنشأت جوجل منصة تعرف باسم TensorFlow، والتي توفر مجموعة من الموارد والأدوات اللازمة لتطوير ونشر SLMs. تسهل هذه المنصات التعاون وتبادل المعرفة بين الباحثين والمطورين، وتسريع تقدم وتنفيذ SLMs.

الخط السفلي

في الختام، تمثل SLMs تقدمًا كبيرًا في مجال الذكاء الاصطناعي. أنها توفر الكفاءة والتنوع، مما يتحدى هيمنة LLMs. تعيد هذه النماذج تعريف المعايير الحسابية بتكاليفها المنخفضة وبنيتها المبسطة، مما يثبت أن الحجم ليس العامل الوحيد المحدد للكفاءة. على الرغم من استمرار التحديات، مثل الفهم المحدود للسياق، فإن البحث المستمر والجهود التعاونية تعمل بشكل مستمر على تحسين أداء الإدارة المستدامة للأراضي.