عمالقة منقحة: لماذا يجب أن نعيد التفكير في تطوير الذكاء الاصطناعي الصغير

في السنوات الأخيرة ، استحوذ السباق لتحقيق نماذج الذكاء الاصطناعي المتزايدة في الحجم على صناعة التكنولوجيا. وتوعد هذه النماذج ، مع مليارات المعاملات ، بإنجازات ثورية في مجالات مختلفة ، من معالجة اللغة الطبيعية إلى التعرف على الصور. ومع ذلك ، يأتي هذا السعي المتواصل للحجم مع عيوب كبيرة في شكل تكاليف عالية وتأثير بيئي كبير. في حين يقدم الذكاء الاصطناعي الصغير بديلاً واعداً ، يوفر الكفاءة وخفض استهلاك الطاقة ، فإن النهج الحالي لبنائه لا يزال يتطلب موارد كبيرة. بينما ننطلق نحو الذكاء الاصطناعي الصغير والأكثر استدامة ، من المهم استكشاف استراتيجيات جديدة لتناول هذه القيود بشكل فعال.

الذكاء الاصطناعي الصغير: حل مستدام لتكاليف عالية وطاقة

تطوير ونشر نماذج الذكاء الاصطناعي الكبيرة هو مشروع مكلف. وتشير التقديرات إلى أن تدريب GPT-3 يكلف أكثر من 4 ملايين دولار ، ويمكن أن تصل النماذج الأكثر تقدمًا إلى ملايين عالية منفردة. وتشمل هذه التكاليف ، بما في ذلك الأجهزة اللازمة والتخزين وطاقة الحوسبة والموارد البشرية ، عائقاً أمام العديد من المنظمات ، لا سيما الشركات الصغيرة ومؤسسات البحث. وينشئ هذا الحاجز المالي سوقاً غير متكافئة ، مما يحد من الوصول إلى تقنية الذكاء الاصطناعي المتقدمة ويعوق الابتكار.
علاوة على ذلك ، فإن الطلب على الطاقة المرتبط بتدريب نماذج الذكاء الاصطناعي الكبيرة مذهل. على سبيل المثال ، يُقدر تدريب نموذج لغة كبير مثل GPT-3 بأنه يستهلك ما يقرب من 1300 ميغاوات ساعة (MWh) من الكهرباء – ما يعادل استهلاك الطاقة السنوي ل 130 منزلاً في الولايات المتحدة. على الرغم من هذا التكلفة الكبيرة للتدريب ، فإن كل طلب على ChatGPT يترتب عليه تكلفة استدلال تبلغ 2.9 واط ساعة. وتقدر الوكالة الدولية للطاقة أن الطلب الجماعي على الطاقة للذكاء الاصطناعي ومراكز البيانات والعملات الرقمية كان يمثل ما يقرب من 2 في المائة من الطلب العالمي على الطاقة. ومن المتوقع أن يضاعف هذا الطلب بحلول عام 2026 ، مما يقترب من استهلاك الكهرباء الإجمالي لليابان. ولا يزيد استهلاك الطاقة العالي فقط من التكاليف التشغيلية ، بل يسهم أيضاً في بصمة الكربون ، مما يزيد من الأزمة البيئية. لموضع الأمور في السياق ، يقدّر الباحثون أن تدريب نموذج الذكاء الاصطناعي الكبير يمكن أن يؤدي إلى انبعاث أكثر من 626000 رطل من ثاني أكسيد الكربون ، ما يعادل انبعاثات خمس سيارات على مدى حياتها.
في مواجهة هذه التحديات ، يوفر الذكاء الاصطناعي الصغير حلاً عملياً. وهو مصمم ليكون أكثر كفاءة ومرونة ، يتطلب كمية أقل من البيانات وطاقة الحوسبة. وهذا يقلل من التكاليف الإجمالية ويجعل تقنية الذكاء الاصطناعي المتقدمة أكثر سهولة للوصول إليها للمنظمات الصغيرة وفرق البحث. علاوة على ذلك ، فإن نماذج الذكاء الاصطناعي الصغيرة تتمتع بطلب أقل على الطاقة ، مما يساعد على خفض التكاليف التشغيلية ويقلل من تأثيرها البيئي. من خلال استخدام الخوارزميات والأساليب المُحسّنة مثل التعلم التحويلي ، يمكن للذكاء الاصطناعي الصغير تحقيق أداء عالٍ بموارد أقل. ولا يجعل هذا النهج الذكاء الاصطناعي أكثر مرونة فقط ، بل يدعم أيضاً الاستدامة من خلال تقليل استهلاك الطاقة وانبعاثات الكربون.

كيف يتم بناء نماذج الذكاء الاصطناعي الصغيرة اليوم

مع الاعتراف بالمزايا التي يقدمها الذكاء الاصطناعي الصغير ، ركزت الشركات التكنولوجية الكبيرة مثل جوجل و OpenAI و Meta بشكل متزايد على تطوير نماذج مضغوطة. وأدى هذا التحول إلى تطور نماذج مثل Gemini Flash و GPT-4o Mini و Llama 7B. وتتم تطوير هذه النماذج الصغيرة بشكل أساسي باستخدام تقنية تسمى التقطير المعرفي.
في جوهره ، يتضمن التقطير نقل معرفة نموذج كبير ومعقد إلى نسخة أصغر وأكثر كفاءة. في هذه العملية ، يتم تدريب نموذج “معلم” – نموذج ذكاء اصطناعي كبير – على مجموعات بيانات واسعة لتعلم الأنماط وال细يات المعقدة. ثم يولد هذا النموذج تنبؤات أو “ملصقات لينة” تحوي على فهمه العميق.
يتم تدريب نموذج “طالب” – نموذج ذكاء اصطناعي صغير – على تكرار هذه الملصقات اللينة. من خلال تقليد سلوك المعلم ، يلتقط نموذج الطالب معظم معرفته وأدائه بينما يعمل بمعاملات أقل بكثير.

لماذا يجب أن نذهب أبعد من تقطير الذكاء الاصطناعي الكبير

على الرغم من أن تقطير الذكاء الاصطناعي الكبير إلى نسخ أصغر وأكثر إدارة أصبح نهجاً شائعاً لبناء الذكاء الاصطناعي الصغير ، هناك عدة أسباب مقنعة لماذا هذا النهج قد لا يكون حلاً لجميع التحديات في تطوير الذكاء الاصطناعي الكبير.

• الاعتماد المستمر على النماذج الكبيرة: بينما يخلق التقطير نماذج ذكاء اصطناعي صغيرة وأكثر كفاءة ، ويحسن الكفاءة الحاسوبية وطاقة الاستدلال ، لا يزال يعتمد بشكل كبير على تدريب نماذج ذكاء اصطناعي كبيرة في البداية. وهذا يعني أن بناء نماذج ذكاء اصطناعي صغيرة لا يزال يتطلب موارد حاسوبية وتخزين كبيرة ، مما يؤدي إلى تكاليف عالية وتأثير بيئي كبير حتى قبل حدوث التقطير. وينقل الحاجة إلى تدريب نماذج كبيرة بشكل متكرر للتقطير عبء الموارد بدلاً من القضاء عليه. وعلى الرغم من أن التقطير يهدف إلى تقليل حجم وتكلفة نماذج الذكاء الاصطناعي ، إلا أنه لا يزيل التكاليف الأولية الكبيرة المرتبطة بتدريب نماذج “المعلم” الكبيرة. وتكون هذه النفقات الأولية تحدياً خاصاً للشركات الصغيرة ومجموعات البحث. علاوة على ذلك ، يمكن أن يبطل التأثير البيئي لتدريب هذه النماذج الكبيرة بعض الفوائد من استخدام نماذج صغيرة وأكثر كفاءة ، حيث يبقى بصمة الكربون من مرحلة التدريب الأولية كبيرة.
• نطاق الابتكار المحدود: قد يؤدي الاعتماد على التقطير إلى تقييد الابتكار من خلال التركيز على تكرار نماذج كبيرة موجودة بدلاً من استكشاف نهج جديدة. وهذا يمكن أن يبطئ من تطوير هياكل أو أساليب ذكاء اصطناعي جديدة قد توفر حلولاً أفضل لمشاكل معينة. ويقيد الاعتماد على الذكاء الاصطناعي الكبير تطوير الذكاء الاصطناعي الصغير في أيدي عدد قليل من الشركات الغنية بالموارد. ونتيجة لذلك ، لا توزع فوائد الذكاء الاصطناعي الصغير بشكل متساوٍ ، مما يمكن أن يمنع التقدم التكنولوجي الأوسع ويلهم الفرص للابتكار.
• تحديات التعميم والتكيف: غالباً ما يجد نماذج الذكاء الاصطناعي الصغيرة التي تم إنشاؤها من خلال التقطير صعوبات في التعامل مع بيانات جديدة غير موصوفة. وهذا يحدث لأن عملية التقطير قد لا تلتقط تماماً قدرة النموذج الأكبر على التعميم. ونتيجة لذلك ، بينما قد تؤدي هذه النماذج الصغيرة أداء جيداً في المهام المألوفة ، غالباً ما تواجه صعوبات عند مواجهة مواقف جديدة. علاوة على ذلك ، غالباً ما يتطلب تكييف نماذج التقطير مع وسائط أو مجموعات بيانات جديدة إعادة تدريب أو تعديل النموذج الأكبر أولاً. ويمكن أن يكون هذا الإجراء المتكرر معقداً ومكلفاً ، مما يجعل من الصعب تعديل نماذج الذكاء الاصطناعي الصغيرة بسرعة لتلبية الاحتياجات التكنولوجية المتطورة بسرعة أو التطبيقات الجديدة.

النقطة الأساسية

على الرغم من أن تقطير نماذج الذكاء الاصطناعي الكبيرة إلى نماذج صغيرة قد يبدو حلاً عملياً ، إلا أنه لا يزال يعتمد على تكاليف عالية لتدريب النماذج الكبيرة. لتحقيق تقدم حقيقي في الذكاء الاصطناعي الصغير ، يجب أن نستكشف ممارسات أكثر ابتكاراً وتناسباً. وهذا يعني إنشاء نماذج مصممة لتطبيقات محددة ، وتحسين أساليب التدريب لتكون أكثر كفاءة في التكلفة والطاقة ، والتركيز على الاستدامة البيئية. من خلال اتباع هذه الاستراتيجيات ، يمكننا تقدم تطوير الذكاء الاصطناعي بطريقة مسؤولة ومفيدة للصناعة والكوكب.