วิศวกรพัฒนา “Early Bird” วิธีการฝึกอบรมเครือข่ายประสาทเทียมที่มีประสิทธิภาพด้านพลังงาน

วิศวกรจาก Rice University ได้พัฒนาแนวทางใหม่ในการฝึกอบรมเครือข่ายประสาทเทียมลึก (DNNs) โดยใช้พลังงานเพียงเศษเสี้ยวของที่จำเป็น DNNs เป็นรูปแบบของปัญญาประดิษฐ์ (AI) ที่มีบทบาทสำคัญในการพัฒนเทคโนโลยี เช่น รถยนต์ไร้คนขับ ผู้ช่วยอัจฉริยะ การจดจำใบหน้า และแอปพลิเคชันอื่นๆ

Early Bird ได้รับการอธิบายไว้ใน เอกสารวิจัย เมื่อวันที่ 29 เมษายน โดยนักวิจัยจาก Rice และ Texas A&M University ซึ่งจัดขึ้นที่ การประชุมสัมมนาเรื่องการเรียนรู้การแสดง หรือ ICLR 2020

ผู้เขียนหลักของการศึกษานี้คือ Haoran You และ Chaojian Li จากห้องปฏิบัติการคอมพิวเตอร์ที่มีประสิทธิภาพและอัจฉริยะ (EIC) ของ Rice ในหนึ่งการศึกษา พวกเขาทำให้เห็นว่าวิธีการนี้สามารถฝึกอบรม DNN ได้เทียบเท่ากับวิธีการในปัจจุบัน แต่ใช้พลังงานน้อยกว่า 10.7 เท่า

การวิจัยนี้ได้รับการนำโดย Yingyan Lin ผู้อำนวยห้องปฏิบัติการ EIC ของ Rice และ Richard Baraniuk ของ Rice และ Zhangyang Wang ของ Texas A&M ผู้เขียนร่วมคนอื่นๆ ได้แก่ Pengfei Xu, Yonggan Fu, Yue Wang และ Xiaohan Chen

“ปัจจัยขับเคลื่อนหลักในการพัฒนา AI ในช่วงไม่กี่ปีที่ผ่านมาคือการนำเสนอ DNN ที่ใหญ่ขึ้นและแพงกว่า” Lin กล่าว “แต่การฝึกอบรม DNN เหล่านี้ต้องใช้พลังงานมาก ดังนั้นจึงจำเป็นต้องค้นหาวิธีการฝึกอบรม ‘สีเขียว’ ที่สามารถแก้ไขปัญหาสิ่งแวดล้อมและลดอุปสรรคทางการเงินในการวิจัย AI”

มีค่าใช้จ่ายสูงในการฝึกอบรม DNNs

การฝึกอบรม DNNs ที่ดีที่สุดในโลกอาจมีค่าใช้จ่ายสูง และราคาเพิ่มขึ้นเรื่อยๆ ในปี 2019 การศึกษาที่นำโดยสถาบัน AI ของ Allen ใน Seattle พบว่าในการฝึกอบรม DNNs ที่ดีที่สุด จำเป็นต้องมีการคำนวณมากถึง 300,000 เท่าเมื่อเทียบกับปี 2012-2018 การศึกษาอื่นๆ ในปี 2019 ที่นำโดยนักวิจัยจาก University of Massachusetts Amherst พบว่าการฝึกอบรม DNNs เพียงหนึ่งครั้งสามารถปล่อยก๊าซคาร์บอนไดออกไซด์เท่ากับรถยนต์ 5 คันในอเมริกา

DNNs ต้องประกอบด้วยนิวรอนเทียมอย่างน้อยหลายล้านตัว เพื่อให้สามารถทำงานได้อย่างมีประสิทธิภาพ พวกมันสามารถเรียนรู้ได้โดยไม่ต้องมีการเขียนโปรแกรมอย่างชัดเจน

การฝึกอบรมและการตัดทอน

Lin เป็นอาจารย์ผู้ช่วยสาขาวิศวกรรมไฟฟ้าและคอมพิวเตอร์ใน Brown School of Engineering ของ Rice

“วิธีการฝึกอบรม DNNs ที่ดีที่สุดในปัจจุบันคือการฝึกอบรมแบบค่อยเป็นค่อยไปและตัดทอน” Lin กล่าว “ก่อนอื่น คุณฝึกอบรมเครือข่ายที่มีขนาดใหญ่และหนาแน่น จากนั้นจึงตัดทอนส่วนที่ไม่สำคัญ เช่น การตัดกิ่งไม้ จากนั้นจึงฝึกอบรมเครือข่ายที่ตัดทอนแล้วอีกครั้งเพื่อปรับปรุงประสิทธิภาพ เนื่องจากประสิทธิภาพจะลดลงหลังจากการตัดทอน ในทางปฏิบัติ คุณต้องตัดทอนและฝึกอบรมหลายครั้งเพื่อให้ได้ประสิทธิภาพที่ดี”

วิธีการนี้ใช้เนื่องจากไม่ใช่นิวรอนเทียมทั้งหมดที่จำเป็นต่อการทำงานเฉพาะของ DNNs การเชื่อมต่อระหว่างนิวรอนจะถูกเสริมสร้างขึ้นระหว่างการฝึกอบรม และบางส่วนสามารถถูกทิ้งได้ วิธีการตัดทอนนี้ช่วยลดค่าใช้จ่ายในการคำนวณและลดขนาดของแบบจำลอง ทำให้ DNNs ที่ฝึกอบรมแล้วมีราคาไม่แพง

“ขั้นตอนแรก คือ การฝึกอบรมเครือข่ายที่มีขนาดใหญ่และหนาแน่น เป็นขั้นที่มีค่าใช้จ่ายสูงที่สุด” Lin กล่าว “ความคิดของเราในงานนี้คือการระบุเครือข่ายที่ตัดทอนแล้วซึ่งเรียกว่า ‘ตั๋วเริ่มต้น’ ในขั้นตอนแรกที่มีค่าใช้จ่ายสูง”

นักวิจัยทำสิ่งนี้โดยการค้นหารูปแบบการเชื่อมต่อเครือข่ายที่สำคัญ และพวกเขาสามารถค้นหาตั๋วเริ่มต้นเหล่านี้ได้ ซึ่งช่วยให้การฝึกอบรม DNNs เร็วขึ้น

การเริ่มต้นในระยะแรกของการฝึกอบรม

Lin และนักวิจัยคนอื่นๆ พบว่า Early Bird สามารถปรากฏขึ้นได้ภายใน 10% หรือน้อยกว่านั้นของระยะแรกของการฝึกอบรม

“วิธีการของเราสามารถระบุตั๋วเริ่มต้นภายใน 10% หรือน้อยกว่านั้นของการฝึกอบรมเครือข่ายที่มีขนาดใหญ่และหนาแน่น” Lin กล่าว “ซึ่งหมายความว่าคุณสามารถฝึกอบรม DNNs เพื่อให้ได้ความแม่นยำเทียบเท่ากับวิธีการเดิมๆ ในเวลาประมาณ 10% หรือน้อยกว่านั้นของเวลาที่จำเป็นสำหรับการฝึกอบรมแบบดั้งเดิม ซึ่งสามารถช่วยลดค่าใช้จ่ายในการคำนวณและพลังงานได้มากกว่าหนึ่งอันดับ”

นอกเหนือจากความเร็วและประสิทธิภาพด้านพลังงาน นักวิจัยยังมุ่งเน้นไปที่ผลกระทบต่อสิ่งแวดล้อม

“เป้าหมายของเราคือการทำให้ AI มีความเป็นมิตรต่อสิ่งแวดล้อมและครอบคลุมมากขึ้น” เธอกล่าว “ขนาดของปัญหาที่ซับซ้อนของ AI ได้ขัดขวางผู้เล่นที่เล็กกว่า AI ที่เป็นมิตรต่อสิ่งแวดล้อมสามารถเปิดประตูให้กับนักวิจัยที่มีแล็ปท็อปหรือทรัพยากรการคำนวณที่จำกัดในการสำรวจนวัตกรรม AI”

การวิจัยได้รับการสนับสนุนจาก National Science Foundation