عمالقة المُقطر: لماذا يجب أن نعيد التفكير في تطوير الذكاء الاصطناعي الصغير

في السنوات الأخيرة، جذبت سباق تطوير نماذج الذكاء الاصطناعي المتزايدة الحجم انتباه صناعة التكنولوجيا. وتوعدت هذه النماذج، التي تضم مليارات المعاملات، بإحراز تقدمات ثورية في مجالات مختلفة، من معالجة اللغة الطبيعية إلى التعرف على الصور. ومع ذلك، فإن هذا السعي المستمر للحجم يأتي مع عيوب كبيرة في شكل تكاليف عالية وتأثير بيئي كبير. في حين أن الذكاء الاصطناعي الصغير يوفر بديلاً واعداً، حيث يوفر الكفاءة واستهلاك طاقة أقل، فإن النهج الحالي لإنشاءه لا يزال يتطلب موارد كبيرة. مع سعينا لتحقيق ذكاء اصطناعي صغير وأكثر استدامة، من المهم استكشاف استراتيجيات جديدة تتماشى مع هذه القيود بشكل فعال.

الذكاء الاصطناعي الصغير: حل مستدام لتكاليف عالية وطاقة عالية

إن تطوير ونشر نماذج الذكاء الاصطناعي الكبيرة هو مشروع مكلف. وتشير التقديرات إلى أن تدريب GPT-3 يكلف أكثر من 4 ملايين دولار، مع احتمال أن تصل النماذج الأكثر تقدمًا إلى ملايين منفردة عالية. وتشمل هذه التكاليف، بما في ذلك الأجهزة اللازمة والتخزين وطاقة الحوسبة والموارد البشرية، حواجز مالية أمام العديد من المنظمات، لا سيما الشركات الصغيرة ومؤسسات البحث. وتخلق هذه الحواجز المالية سوقاً غير متكافئ، مما يحد من الوصول إلى تقنيات الذكاء الاصطناعي المتقدمة ويعوق الابتكار.

علاوة على ذلك، فإن الطلب على الطاقة المرتبط بتدريب نماذج الذكاء الاصطناعي الكبيرة مذهل. على سبيل المثال، يُقدر أن تدريب نموذج لغة كبير مثل GPT-3 يستهلك ما يقرب من 1300 ميغاواط ساعة من الكهرباء – ما يعادل استهلاك الطاقة السنوي ل 130 منزلاً في الولايات المتحدة. و尽管 توجد تكلفة تدريب كبيرة، فإن كل طلب على ChatGPT يترتب عليه تكلفة استدلال تبلغ 2.9 وات ساعة. وتقدر الوكالة الدولية للطاقة أن الطلب الجماعي على الطاقة للذكاء الاصطناعي ومراكز البيانات والعملات الرقمية يمثل ما يقرب من 2٪ من إجمالي الطلب على الطاقة في العالم. ومن المتوقع أن يزداد هذا الطلب متجاوزاً استهلاك اليابان الكلي للكهرباء بحلول عام 2026. ولا يزيد استهلاك الطاقة الكبيرة فقط من التكاليف التشغيلية ولكن يساهم أيضاً في انبعاثات الكربون، مما يزيد من أزمة بيئية. ولنضع الأمور في перспектиف، يُقدر الباحثون أن تدريب نموذج الذكاء الاصطناعي الكبير يمكن أن يؤدي إلى انبعاثات تزيد على 626000 رطل من ثاني أكسيد الكربون، ما يعادل انبعاثات خمس سيارات خلال فترة حياتها.

في مواجهة هذه التحديات، يوفر الذكاء الاصطناعي الصغير حلاً عملياً. وهو مصمم ليكون أكثر كفاءة ومرونة، يتطلب كمية أقل من البيانات وطاقة الحوسبة. وهذا يقلل التكاليف الإجمالية ويجعل تقنيات الذكاء الاصطناعي المتقدمة أكثر سهولة للوصول إليها من قبل المنظمات الصغيرة وفرق البحث. علاوة على ذلك، فإن نماذج الذكاء الاصطناعي الصغيرة تتمتع بطلبات طاقة أقل، مما يساعد على خفض التكاليف التشغيلية ويقلل من تأثيرها البيئي. من خلال استخدام الخوارزميات والأسلوبات المثلى مثل التعلم التحفيزي، يمكن للذكاء الاصطناعي الصغير تحقيق أداء عالٍ بموارد أقل. وهذا النهج لا يجعل الذكاء الاصطناعي أكثر مرونة فقط ولكن يدعم أيضاً الاستدامة من خلال تقليل استهلاك الطاقة وانبعاثات الكربون.

كيف يتم بناء نماذج الذكاء الاصطناعي الصغيرة اليوم

مع الاعتراف بالمزايا التي يقدمها الذكاء الاصطناعي الصغير، بدأت الشركات التكنولوجية الكبيرة مثل جوجل وOpenAI وMeta في التركيز بشكل متزايد على تطوير نماذج مضغوطة. وقد أدى هذا التحول إلى تطور نماذج مثل جيميني فلاش و GPT-4o ميني و لاما 7B. وتتمثل هذه النماذج الصغيرة بشكل رئيسي في استخدام تقنية تسمى التنقيح المعرفي.

في جوهره، يتضمن التنقيح نقل معرفة نموذج كبير ومعقد إلى نسخة أصغر وأكثر كفاءة. في هذه العملية، يتم تدريب نموذج “معلم” – نموذج الذكاء الاصطناعي الكبير – على مجموعات بيانات واسعة لتعلم الأنماط والدقة. ثم يولد هذا النموذج تنبؤات أو “ملصقات ناعمة” التي تحتوي على فهمه العميق.

يتم تدريب نموذج “طالب” – نموذج الذكاء الاصطناعي الصغير – على تكرار هذه الملصقات الناعمة. من خلال تقليد سلوك المعلم، يلتقط نموذج الطالب الكثير من معرفته وأدائه بينما يعمل بparameters أقل بكثير.

لماذا يجب أن نذهب أبعد من تقطير الذكاء الاصطناعي الكبير

في حين أن تقطير الذكاء الاصطناعي الكبير إلى نسخ أصغر وأكثر إدارة أصبح نهجاً شائعاً لإنشاء الذكاء الاصطناعي الصغير، هناك عدة أسباب مقنعة لماذا قد لا يكون هذا النهج حلاً لجميع التحديات في تطوير الذكاء الاصطناعي الكبير.

• استمرار الاعتماد على النماذج الكبيرة: في حين أن التقطير يخلق نماذج الذكاء الاصطناعي الصغيرة الأكثر كفاءة، ويحسن الكفاءة الحاسوبية وطاقة الاستدلال، لا يزال يعتمد بشكل كبير على تدريب نماذج الذكاء الاصطناعي الكبيرة في البداية. وهذا يعني أن بناء نماذج الذكاء الاصطناعي الصغيرة لا يزال يتطلب موارد حاسوبية وطاقة كبيرة، مما يؤدي إلى تكاليف عالية وتأثير بيئي. لا يزيل التقطير العبء المواردي، بل يتحول فقط. وعلى الرغم من أن التقطير يهدف إلى تقليل حجم وتكلفة نماذج الذكاء الاصطناعي، لا يزيل التكاليف الأولية الكبيرة المرتبطة بتدريب نماذج “المعلم” الكبيرة. وتكون هذه التكاليف الأولية تحدياً خاصاً للمنظمات الصغيرة ومجموعات البحث. بالإضافة إلى ذلك، يمكن أن يؤدي التأثير البيئي لتدريب هذه النماذج الكبيرة إلى إلغاء بعض فوائد استخدام نماذج أكثر كفاءة.
• نطاق ابتكار محدود: الاعتماد على التقطير قد يقيد الابتكار من خلال التركيز على تكرار نماذج كبيرة موجودة بدلاً من استكشاف نهج جديدة. يمكن أن يبطئ هذا من تطوير هياكل ذكاء اصطناعي جديدة أو أساليب قد توفر حلولاً أفضل لمشاكل محددة. يقيّد الاعتماد على الذكاء الاصطناعي الكبير تطوير الذكاء الاصطناعي الصغير بين أيدي شركات غنية بالموارد. ونتيجة لذلك، لا توزع فوائد الذكاء الاصطناعي الصغير بالتساوي، مما قد يحد من التقدم التكنولوجي العام ويقلل من فرص الابتكار.
• تحديات التعميم والتكيف: غالباً ما يجد نماذج الذكاء الاصطناعي الصغيرة التي تم إنشاؤها من خلال التقطير صعوبات في التعامل مع بيانات جديدة غير موصوفة. يحدث هذا لأن عملية التقطير قد لا تلتقط تماماً قدرة النموذج الأكبر على التعميم. ونتيجة لذلك، بينما قد يؤدي هذه النماذج الصغيرة بشكل جيد على المهام المألوفة، غالباً ما تواجه صعوبات عند مواجهة مواقف جديدة. بالإضافة إلى ذلك، غالباً ما يتطلب تعديل نماذج التقطير لاستخدامها في مجالات أو مجموعات بيانات جديدة إعادة تدريب أو تعديل النموذج الأكبر أولاً. يمكن أن يكون هذا الإجراء التكراري معقداً ومكلفاً، مما يجعل من الصعب تعديل نماذج الذكاء الاصطناعي الصغيرة بسرعة لتلبية الاحتياجات التكنولوجية المتغيرة بسرعة أو التطبيقات الجديدة.

الخلاصة

في حين قد يبدو تقطير نماذج الذكاء الاصطناعي الكبيرة إلى نماذج أصغر حلاً عملياً، لا يزال يعتمد على تكاليف عالية لتدريب النماذج الكبيرة. لتحقيق تقدم حقيقي في مجال الذكاء الاصطناعي الصغير، يجب أن نستكشف ممارسات أكثر ابتكاراً وتناسبية. وهذا يعني إنشاء نماذج مصممة لتطبيقات محددة، وتحسين أساليب التدريب لتكون أكثر كفاءة في التكلفة وطاقة، والتركيز على الاستدامة البيئية. من خلال متابعة هذه الاستراتيجيات، يمكننا تقدم تطوير الذكاء الاصطناعي بطريقة مسؤولة ومفيدة للصناعة والكوكب.