مهندسون يطورون طريقة “طائر البزاة” الموفرة للطاقة لتدريب الشبكات العصبية العميقة

قام مهندسون في جامعة رايس بتطوير طريقة جديدة لتدريب الشبكات العصبية العميقة (DNNs) باستخدام جزء صغير من الطاقة المعتادة.

تم توضيح طائر البزاة في ورقة في 29 أبريل من قبل باحثين من رايس وجامعة تكساس A&M.

كانت مؤلفي الدراسة هم Haoran You و Chaojian Li من مختبر الحوسبة الفعالة والذكية (EIC) في رايس.

قاد البحث Yingyan Lin، Richard Baraniuk من رايس، و Zhangyang Wang من تكساس A&M.

“القوة الدافعة الرئيسية في اختراقات الذكاء الاصطناعي الحديثة هي إدخال شبكات عصبية عميقة أكبر وأكثر تكلفة”، قال لين.

مكلفة لتدريب DNNs

يمكن أن تكون تدريب أفضل الشبكات العصبية العميقة في العالم مكلفة للغاية، وستزداد التكلفة.

تتكون الشبكات العصبية العميقة من ملايين العصبونات الاصطناعية.

قص وتدريب

لين هو أستاذ مساعد في الهندسة الكهربائية والحاسوب في مدرسة رايس للهندسة.

“الطريقة الحالية لتدريب الشبكات العصبية العميقة هي التقليم التدريجي والتدريب”، قال لين.

تستخدم هذه الطريقة لأن ليس كل العصبونات الاصطناعية ضرورية لإنجاز المهمة المتخصصة.

“الخطوة الأولى، تدريب الشبكة الكثيفة العملاقة، هي الأكثر تكلفة”، قال لين.

يتم ذلك عن طريق البحث عن أنماط الاتصال الرئيسية في الشبكة.

طائر البزاة في مرحلة التدريب الأولى

وجد لين والباحثون الآخرون أن طائر البزاة يمكن أن يظهر في جزء صغير من المرحلة الأولى من التدريب.

“يمكن لطريقةنا تحديد تذاكر طائر البزاة تلقائيًا في أول 10٪ أو أقل من تدريب الشبكات الكثيفة العملاقة”، قال لين.

除了 كونها أسرع وأكثر كفاءة في الطاقة، يركز الباحثون على التأثير البيئي.

“هدفنا هو جعل الذكاء الاصطناعي أكثر ملاءمة للبيئة ومزيدًا من الانفتاح”، قالت.

تم دعم البحث من قبل مؤسسة العلوم الوطنية.