نماذج ومنصات الذكاء الاصطناعي

مهندسون يطورون طريقة “طائر البزاة” الموفرة للطاقة لتدريب الشبكات العصبية العميقة

Alex McFarland
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةطريقة الطائر المبكر تقلل طاقة تدريب الشبكات العصبية العميقة بمقدار 10.7 مرات دون فقدان…
عرض المزيد
  • طريقة الطائر المبكر تقلل طاقة تدريب الشبكات العصبية العميقة بمقدار 10.7 مرات دون فقدان الدقة.
  • الطائر المبكر يحدد الشبكة المشذبة النهائية خلال أول 10% من التدريب.
  • تهدف الطريقة إلى تقليل الأثر البيئي للذكاء الاصطناعي وخفض الحواجز المالية.

قام مهندسون في جامعة رايس بتطوير طريقة جديدة لتدريب الشبكات العصبية العميقة (DNNs) باستخدام جزء صغير من الطاقة المعتادة.

تم توضيح طائر البزاة في ورقة في 29 أبريل من قبل باحثين من رايس وجامعة تكساس A&M.

كانت مؤلفي الدراسة هم Haoran You و Chaojian Li من مختبر الحوسبة الفعالة والذكية (EIC) في رايس.

قاد البحث Yingyan Lin، Richard Baraniuk من رايس، و Zhangyang Wang من تكساس A&M.

“القوة الدافعة الرئيسية في اختراقات الذكاء الاصطناعي الحديثة هي إدخال شبكات عصبية عميقة أكبر وأكثر تكلفة”، قال لين.

مكلفة لتدريب DNNs

يمكن أن تكون تدريب أفضل الشبكات العصبية العميقة في العالم مكلفة للغاية، وستزداد التكلفة.

تتكون الشبكات العصبية العميقة من ملايين العصبونات الاصطناعية.

قص وتدريب

لين هو أستاذ مساعد في الهندسة الكهربائية والحاسوب في مدرسة رايس للهندسة.

“الطريقة الحالية لتدريب الشبكات العصبية العميقة هي التقليم التدريجي والتدريب”، قال لين.

تستخدم هذه الطريقة لأن ليس كل العصبونات الاصطناعية ضرورية لإنجاز المهمة المتخصصة.

“الخطوة الأولى، تدريب الشبكة الكثيفة العملاقة، هي الأكثر تكلفة”، قال لين.

يتم ذلك عن طريق البحث عن أنماط الاتصال الرئيسية في الشبكة.

طائر البزاة في مرحلة التدريب الأولى

وجد لين والباحثون الآخرون أن طائر البزاة يمكن أن يظهر في جزء صغير من المرحلة الأولى من التدريب.

“يمكن لطريقةنا تحديد تذاكر طائر البزاة تلقائيًا في أول 10٪ أو أقل من تدريب الشبكات الكثيفة العملاقة”، قال لين.

除了 كونها أسرع وأكثر كفاءة في الطاقة، يركز الباحثون على التأثير البيئي.

“هدفنا هو جعل الذكاء الاصطناعي أكثر ملاءمة للبيئة ومزيدًا من الانفتاح”، قالت.

تم دعم البحث من قبل مؤسسة العلوم الوطنية.

يقود أليكس عمليات الأخبار المدعومة بالذكاء الاصطناعي في Unite.AI، حيث يجمع بين الصحافة والبحث والأتمتة لدعم تغطية سريعة وقابلة للتوسع للذكاء الاصطناعي. يساعد عمله في ضمان ظهور التطورات الناشئة في مجال الذكاء الاصطناعي بشكل فعال مع الحفاظ على معايير التحرير في النشرة.