การเรียนรู้บนอุปกรณ์แบบตลอดชีวิตใกล้ความเป็นจริงมากขึ้นด้วยเทคนิคการฝึกอบรมใหม่

ทีมนักวิจัยจาก MIT และ MIT-IBM Watson AI Lab ได้พัฒนาเทคนิคใหม่ที่ช่วยให้สามารถฝึกอบรมบนอุปกรณ์ได้โดยใช้หน่วยความจำน้อยกว่าหนึ่งในสี่ของเมกะไบต์ การพัฒนานี้เป็นความสำเร็จที่น่าประทับใจ เนื่องจากโซลูชันการฝึกอบรมอื่นๆ มักต้องการหน่วยความจำมากกว่า 500 เมกะไบต์ ซึ่งมากกว่าความจุ 256 กิโลไบต์ของไมโครคอนโทรลเลอร์ส่วนใหญ่

การฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องบนอุปกรณ์ขอบเขตรู้สามารถปรับตัวให้เข้ากับข้อมูลใหม่และทำการคาดการณ์ที่ดีขึ้น อย่างไรก็ตาม การฝึกอบรมมักต้องการหน่วยความจำจำนวนมาก ดังนั้นจึงมักจะดำเนินการบนคอมพิวเตอร์ที่ศูนย์ข้อมูลก่อนที่จะนำแบบจำลองไปใช้บนอุปกรณ์ กระบวนการนี้มีค่าใช้จ่ายสูงกว่าและทำให้เกิดความกังวลเกี่ยวกับความเป็นส่วนตัวมากกว่าเทคนิคใหม่ที่ทีมพัฒนา

นักวิจัยได้พัฒนาแอลกอริทึมและเฟรมเวิร์กเพื่อลดการคำนวณที่จำเป็นในการฝึกอบรมแบบจำลอง ทำให้กระบวนการเร็วขึ้นและใช้หน่วยความจำได้อย่างมีประสิทธิภาพ เทคนิคนี้ช่วยให้สามารถฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องบนไมโครคอนโทรลเลอร์ได้ภายในเวลาเพียงไม่กี่นาที

เทคนิคนี้ยังช่วยด้านความเป็นส่วนตัวโดยการเก็บข้อมูลบนอุปกรณ์ ซึ่งสำคัญเมื่อเกี่ยวข้องกับข้อมูลที่มีความละเอียดอ่อน ในขณะเดียวกัน เฟรมเวิร์กยังปรับปรุงความแม่นยำของแบบจำลองเมื่อเทียบกับแนวทางอื่นๆ

ซอง ฮัน เป็นรองศาสตราจารย์ในภาควิชาวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ (EECS) และเป็นสมาชิกของ MIT-IBM Watson AI Lab และเป็นนักวิจัยหลักของกระดาษวิจัย

“การศึกษาของเราทำให้อุปกรณ์ IoT สามารถไม่เพียงแต่ทำการอนุมาน แต่ยังสามารถอัปเดตแบบจำลอง AI ให้เข้ากับข้อมูลใหม่ที่เก็บได้ ซึ่งเปิดทางให้เกิดการเรียนรู้บนอุปกรณ์แบบตลอดชีวิต” ฮันกล่าว “การใช้ทรัพยากรที่ต่ำทำให้การเรียนรู้ลึกสามารถเข้าถึงได้และสามารถมีผลกระทบได้กว้างขึ้น โดยเฉพาะสำหรับอุปกรณ์ขอบเขตรู้ที่มีพลังงานต่ำ”

กระดาษวิจัยรวมถึงผู้เขียนนำหน้า Ji Lin และ Ligeng Zhu และนักวิจัยหลังปริญญาโท Wei-Ming Chen และ Wei-Chen Wang จาก MIT และ Chuang Gan ผู้ช่วยวิจัยหลักจาก MIT-IBM Watson AI Lab

การทำให้กระบวนการฝึกอบรมมีประสิทธิภาพมากขึ้น

เพื่อให้กระบวนการฝึกอบรมมีประสิทธิภาพและใช้หน่วยความจำน้อยลง ทีมได้พึ่งพาโซลูชันแอลกอริทึมสองแบบแรกเรียกว่า การอัปเดตแบบกระจาย (sparse update) ซึ่งใช้แอลกอริทึมที่ระบุน้ำหนักที่สำคัญที่สุดในการอัปเดตในแต่ละรอบของการฝึกอบรม แอลกอริทึมจะแช่น้ำหนักตัวเดียวจนกว่าความแม่นยำจะลดลงถึงเกณฑ์หนึ่ง ณ จุดนั้นจะหยุด การอัปเดตที่เหลือจะดำเนินการต่อ และการทำงานที่เกี่ยวข้องกับน้ำหนักที่แช่ไม่จำเป็นต้องเก็บไว้ในหน่วยความจำ

“การอัปเดตแบบจำลองทั้งหมดมีค่าใช้จ่ายสูงมาก เนื่องจากมีการทำงานมากมาย ดังนั้นผู้คนมักจะอัปเดตเฉพาะชั้นสุดท้าย แต่เช่นคุณคิดได้ว่าสิ่งนี้จะส่งผลเสียต่อความแม่นยำ” ฮันกล่าว “สำหรับวิธีการของเรา เราเลือกอัปเดตน้ำหนักที่สำคัญและรับรองว่าความแม่นยำถูกเก็บไว้ครบถ้วน”

โซลูชันที่สองที่ทีมพัฒนาคือการฝึกอบรมแบบปริมาณ (quantized training) และการทำให้น้ำหนักง่ายขึ้น แอลกอริทึมจะปัดเศษน้ำหนักให้เหลือเพียง 8 บิตผ่านกระบวนการปริมาณ ซึ่งยังลดขนาดหน่วยความจำที่จำเป็นสำหรับการฝึกอบรมและการอนุมาน โดยการอนุมานคือกระบวนการนำแบบจำลองไปใช้กับชุดข้อมูลและสร้างการคาดการณ์ แอลกอริทึมจะพึ่งพาเทคนิคที่เรียกว่าการปรับขนาดที่ตระหนักถึงการปริมาณ (quantization-aware scaling) ซึ่งทำหน้าที่เหมือนตัวคูณเพื่อปรับอัตราส่วนระหว่างน้ำหนักและความชัน ซึ่งช่วยหลีกเลี่ยงการลดความแม่นยำที่อาจเกิดขึ้นจากการฝึกอบรมแบบปริมาณ

นักวิจัยได้พัฒนาระบบที่เรียกว่าเครื่องยนต์ฝึกอบรมขนาดเล็ก (tiny training engine) ซึ่งรันนวัตกรรมแอลกอริทึมบนไมโครคอนโทรลเลอร์แบบง่ายที่ไม่มีระบบปฏิบัติการ เพื่อทำงานมากขึ้นในขั้นตอนการคอมไพล์ก่อนที่จะนำแบบจำลองไปใช้บนอุปกรณ์ขอบเขตรู้ ระบบจะเปลี่ยนลำดับการดำเนินการในกระบวนการฝึกอบรม

“เราขยายการคำนวณ เช่น การแยกความแตกต่างอัตโนมัติและการเพิ่มประสิทธิภาพกราฟ ไปยังขั้นตอนการคอมไพล์ เรายังตัดตัวดำเนินการซ้ำๆ ออกเพื่อสนับสนุนการอัปเดตแบบกระจาย เมื่อถึงเวลาทำงาน เรามีงานที่ต้องทำบนอุปกรณ์น้อยลง” ฮันกล่าว

เทคนิคที่มีประสิทธิภาพสูง

ในขณะที่เทคนิคแบบดั้งเดิมที่ออกแบบมาเพื่อการฝึกอบรมแบบเบาสามารถต้องการหน่วยความจำประมาณ 300 ถึง 600 เมกะไบต์ โอเพอเรชันของทีมต้องการเพียง 157 กิโลไบต์เพื่อฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องบนไมโครคอนโทรลเลอร์

เฟรมเวิร์กถูกทดสอบโดยการฝึกอบรมแบบจำลองการมองเห็นคอมพิวเตอร์เพื่อตรวจจับคนในภาพ และสามารถเรียนรู้เพื่อทำภารกิจนี้ได้ภายในเวลาเพียง 10 นาที วิธีการนี้ยังสามารถฝึกอบรมแบบจำลองได้เร็วกว่าวิธีอื่นๆ มากกว่า 20 เท่า

นักวิจัยจะพยายามนำเทคนิคนี้ไปใช้กับแบบจำลองภาษาและประเภทข้อมูลที่แตกต่างกัน พวกเขายังต้องการใช้ความรู้ที่ได้รับมาเพื่อทำให้แบบจำลองขนาดใหญ่เล็กลงโดยไม่สูญเสียความแม่นยำ ซึ่งอาจช่วยลดการปล่อยก๊าซคาร์บอนของการฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องขนาดใหญ่ด้วย