تقدم DeepMind خوارزمية JEST: جعل تدريب نموذج الذكاء الاصطناعي أسرع وأرخص وأكثر صديقة للبيئة

يحقق الذكاء الاصطناعي تقدمًا مذهلاً، ويحول مجالات مثل الطب والتعليم والمالية والفن والرياضة وغيرها. يأتي هذا التقدم بشكل رئيسي من تحسين قدرة الذكاء الاصطناعي على التعلم من مجموعات بيانات أكبر وبناء نماذج أكثر تعقيدًا مع مليارات المعلمات. على الرغم من أن هذه التطورات قد drove اكتشافات علمية كبيرة، خلقت فرصًا تجارية جديدة، وقادت النمو الصناعي، إلا أنها تأتي بتكلفة عالية، خاصةً إذا ما考虑نا التأثيرات المالية والبيئية لتدريب هذه النماذج الكبيرة. تحتاج خوارزميات التعلم إلى قدرة حسابية كبيرة لتدريب نماذج الذكاء الاصطناعي التوليدية مع مجموعات بيانات كبيرة، مما يؤدي إلى استهلاك طاقة كبير وترك بصمة كربونية ملحوظة.

في حين أن الجهود السابقة لجعل الذكاء الاصطناعي مستدامًا ركزت على تحسين كفاءة الأجهزة لتدريب الذكاء الاصطناعي وتنمية نماذج أصغر مع معلمات أقل، اتخذت Google DeepMind نهجًا مبتكرًا، يهدف إلى تحسين كفاءة خوارزمية تدريب الذكاء الاصطناعي التوليدية. لقد رائدة بحثًا جديدًا حول خوارزمية JEST (الاختيار المشترك للمثال)، والتي تعمل 13 مرة أسرع و 10 مرات أكثر كفاءة في استهلاك الطاقة من التقنيات الحالية.

في هذه المقالة، نستكشف تحديات تدريب الذكاء الاصطناعي وكيف تتعامل JEST مع هذه القضايا. بالإضافة إلى ذلك، ننظر إلى الآثار الأوسع والاتجاهات البحثية المستقبلية لخوارزمية JEST، وتخيل تأثيرها المحتمل وراء تحسين السرعة والكفاءة والتأثير البيئي في تدريب الذكاء الاصطناعي.

تحديات تدريب الذكاء الاصطناعي: التكاليف العالية والتأثير البيئي

يطرح تدريب نماذج الذكاء الاصطناعي التوليدية تحديات كبيرة بسبب التكاليف العالية والتأثير البيئي الكبير.

• التكاليف المالية: تدريب نماذج الذكاء الاصطناعي التوليدية هو مشروع مكلف. تشير التقديرات الحديثة إلى أن تدريب نموذج كبير واحد، مثل GPT-3 من OpenAI مع 175 مليار معلمة، يمكن أن يكلف حوالي 4.6 مليون دولار. يُقدر أن تدريب ChatGPT-4 قد كلف OpenAI حوالي 100 مليون دولار. تُعزى هذه النفقات بشكل كبير إلى الموارد الحسابية الهائلة والمعالجة البيانات الواسعة والأوقات التدريبية الطويلة المطلوبة.
• استهلاك الطاقة: عمليات تدريب الذكاء الاصطناعي التوليدية هي عمليات استهلاك طاقة كبيرة. يتضمن تدريب هذه النماذج آلاف معالجات الرسومات ويتطلب استهلاك طاقة كبير، مما يجعل العملية استهلاكًا كبيرًا للطاقة. تستهلك مراكز البيانات، التي تحتوي على البنية التحتية الحاسوبية لتدريب الذكاء الاصطناعي، حوالي 200 تيراوات ساعة (TWh) من الكهرباء سنويًا، وهو ما يعادل 1% من الطلب العالمي على الكهرباء. يتوقع تقرير من McKinsey أن استهلاك طاقة مراكز البيانات في الولايات المتحدة قد يرتفع من 17 غيغاوات (GW) في عام 2017 إلى 35 غيغاوات بحلول عام 2030، مما يتطلب إنتاجًا مكافئًا لتسعة سدود هوفر لتلبية هذا الطلب الإضافي.
• البصمة الكربونية: يساهم استهلاك الطاقة الكبير لتدريب نماذج الذكاء الاصطناعي التوليدية بشكل كبير في انبعاثات غازات الاحتباس الحراري، مما يزيد من تغير المناخ. وجدت دراسة في جامعة ماساتشوستس أمهرست أن تدريب نموذج الذكاء الاصطناعي الكبير يمكن أن يصدر كمية كربون دي أكسيد تصل إلى 626000 رطل من ثاني أكسيد الكربون، وهو ما يعادل بصمة كربونية تصل إلى 315 رحلة جوية عبر أمريكا.

تنبع هذه التحديات بشكل رئيسي من مصدرين رئيسيين: الاعتماد على الأجهزة الحاسوبية المستهلكة للطاقة والكفاءة المنخفضة للخوارزميات الحالية. في حين أن مجتمع الذكاء الاصطناعي قد حقق تقدمًا في تطوير الأجهزة الكفئة في استهلاك الطاقة، هناك حاجة إلى التركيز على إنشاء خوارزميات أكثر ذكاءً يمكنها تحسين استخدام البيانات وتقليل أوقات التدريب. تُعتبر خوارزمية JEST التي قدمتها Google最近 بحثًا رائدًا في جعل خوارزميات التدريب أكثر ذكاءً. من خلال اختيار البيانات الهامة بشكل ذكي، تحسن JEST بشكل كبير من كفاءة تدريب الذكاء الاصطناعي، مما يفتح الطريق لتدريب نماذج الذكاء الاصطناعي التوليدية أكثر استدامة وتكلفة.

فهم خوارزمية JEST

JEST هي خوارزمية تعلم مصممة لتدريب نماذج الذكاء الاصطناعي التوليدية متعددة الوضعية بكفاءة أكبر. لتفهم كيف تعمل JEST، فكر في تدريب الذكاء الاصطناعي على أنه حل لغز معقد، حيث يساعد كل قطعة (نقطة بيانات) في بناء الصورة الكاملة (نموذج الذكاء الاصطناعي). تعمل JEST مثل حل لغز خبير، مما يجعل العملية أكثر كفاءة. كما يختار حل اللغز القطع الأكثر أهمية والتميز، تختار JEST أيضًا دفعات البيانات الأكثر قيمة من مجموعة البيانات، مما يضمن أن كل دفعة تلعب دورًا حاسمًا في تطوير الذكاء الاصطناعي.

تستخدم JEST نموذجًا اصطناعيًا أصغر لتقدير جودة دفعات البيانات. يتم تصنيف هذه الدفعات بعد ذلك بناءً على فعاليتها في تدريب النموذج. مع هذه الدفعات المختارة بعناية، تجمع JEST استراتيجيًا لتدريب النموذج. مثل حل اللغز الذي يرتب القطع لتحقيق أقصى كفاءة ووضوح، تزيد JEST بشكل كبير من سرعة عملية التدريب من خلال تحديد الأولويات واختيار الدفعات الأكثر إعلامية.

جزء مهم من نهج JEST هو التعلم التبايني المتعدد الوضعية. تركز هذه التقنية على تعلم التوافق بين أنواع البيانات المختلفة، مثل النص والصور. تستخدم JEST طريقة التعلم التبايني المتعدد الوضعية لتقدير فعالية عينة بيانات متعددة الوضعية في تدريب النموذج. بالإضافة إلى فعالية العينات الفردية، تقدر JEST أيضًا القابلية للتعلم الجماعي للعينات لاختيار دفعة صغيرة من البيانات من “دفعة siêu كبيرة”. يساعد هذا الإجراء JEST على اختيار وتحديد الأولويات لدفعات تقدم تحديات وفرص تعلم غنية.

النظر إلى الأمام: JEST بعد تدريب الذكاء الاصطناعي الأسرع والأرخص والأكثر صديقة للبيئة

بينما نستكشف الآثار المستقبلية لخوارزمية JEST (الاختيار المشترك للمثال)، يبدو أن مساهماتها تتجاوز مجرد تسريع تدريب الذكاء الاصطناعي وتخفيض التكاليف وتعزيز الاستدامة البيئية. هنا، نناقش كيف يمكن لـ JEST أن ي cải thiện ويحول مجال الذكاء الاصطناعي التوليدي:

• تحسين أداء النموذج ودقته: يؤدي نهج JEST المبتكر لاختيار البيانات وتحديد الأولويات إلى أوقات تدريب أسرع وأداء نموذج محسّن. من خلال التركيز على دفعات البيانات الأكثر إعلامية، يضمن JEST أن يتم تدريب نماذج الذكاء الاصطناعي على مدخلات عالية الجودة، مما يحسن دقتها ومتانتها. هذا الميزة هو أمر بالغ الأهمية في التطبيقات التي تكون فيها الدقة والموثوقية حاسمة، مثل التشخيص الطبي والتنبؤ المالي والأنظمة المستقلة.
• تحديد ومعالجة الانحياز في البيانات: الذكاء الاصطناعي معرض للانحياز في مجموعات البيانات حيث تكون بعض المجموعات أو وجهات النظر غير ممثلة أو تمثيلها غير دقيق. يتضمن نهج JEST لاختيار البيانات تقدير جودة دفعات البيانات وإعلاميتها. من خلال تحديد الأولويات للعينات الممثلة والمتنوعة، يمكن لـ JEST مساعدة أنظمة الذكاء الاصطناعي على التعلم من مجموعة بيانات أكثر توازنًا، مما يقلل من الانحياز في بيانات التدريب. على سبيل المثال، في تطبيقات الذكاء الاصطناعي الطبية، يمكن لـ JEST اختيار دفعات بيانات تشمل عوامل ديموغرافية متنوعة، مما يضمن أن يتم تدريب نماذج التشخيص الطبي على مجموعات مرضى متنوعة. هذا الاختيار يقلل من خطر الانحياز الذي قد يؤثر بشكل غير متناسب على مجموعات معينة بناءً على العرق أو الجنس أو الحالة الاجتماعية والاقتصادية.
• تسهيل الابتكار والبحث: من خلال تقليل الموارد الحسابية والأوقات المطلوبة لتدريب نماذج الذكاء الاصطناعي، تقلل JEST من حواجز الدخول للباحثين والمبتكرين. هذا النوع من الوصول يفضي إلى نظام بيئي أكثر نشاطًا لتنمية الذكاء الاصطناعي، حيث يمكن لأي فرق أو منظمات صغيرة تجربة وتطبيق حلول الذكاء الاصطناعي المتقدمة. بالإضافة إلى ذلك، تتيح مكاسب الكفاءة التي تقدمها JEST إعادة توجيه الموارد التي يمكن تخصيصها لاستكشاف مجالات جديدة في الذكاء الاصطناعي، مثل الهياكل الجديدة والخوارزميات المتقدمة والإطارات الأخلاقية للذكاء الاصطناعي.
• تعزيز تنمية الذكاء الاصطناعي الشاملة: ينبغي أن تشمل تنمية الذكاء الاصطناعي وجهات نظر ومساهمات متنوعة لتحقيق التخفيف من الانحياز والقضايا الأخلاقية. تتيح JEST اختيار البيانات بناءً على قيمتها الإعلامية وتمثيلها، مما يشجع على ممارسات شاملة في صيانة مجموعات البيانات. يمكن لمطوري الذكاء الاصطناعي ضمان أن JEST تتعامل بشكل فعال مع الانحياز والقضايا الأخلاقية من خلال إشراك فرق متعددة التخصصات في تحديد معايير اختيار البيانات، بما في ذلك الخبراء في الأخلاقيات والعلوم الاجتماعية والمجالات الخاصة بالموضوع.

النقطة الأساسية

تمثل تقديم DeepMind لخوارزمية JEST خطوة كبيرة إلى الأمام في تدريب الذكاء الاصطناعي التوليدي. من خلال تسريع عمليات التدريب وتقليل استهلاك الطاقة، تقدم JEST وفورات كبيرة في التكاليف وتعالج القضايا البيئية المرتبطة بتنمية الذكاء الاصطناعي. إلى جانب هذه المزايا، تتمتع JEST بإمكانية تحسين دقة النموذج وتقليل الانحياز وتعزيز الابتكار وتعزيز تنمية الذكاء الاصطناعي الشاملة. من المتوقع أن يؤدي تطور وتطبيق JEST المستمر إلى إعادة تعريف مستقبل الذكاء الاصطناعي، مما يؤدي إلى حلول أكثر كفاءة واستدامة وأخلاقيًا.