วิธีการรักษาความเย็นของสมาร์ทโฟนเมื่อทำงานกับโมเดล Machine Learning

นักวิจัยจากมหาวิทยาลัยออสตินและคาร์เนกีเมลลอนได้เสนอวิธีการใหม่ในการทำงานกับโมเดล Machine Learning ที่มีค่าใช้จ่ายในการคำนวณสูงบนอุปกรณ์มือถือ เช่น สมาร์ทโฟน และอุปกรณ์ Edge ที่มีพลังงานต่ำ โดยไม่ทำให้เกิด การลดประสิทธิภาพเพื่อควบคุมอุณหภูมิ – กลไกป้องกันที่พบในอุปกรณ์ระดับมืออาชีพและผู้บริโภค ซึ่งออกแบบมาเพื่อลดอุณหภูมิของอุปกรณ์โดยการชะลอการทำงานจนกว่าจะได้อุณหภูมิที่ยอมรับได้

แนวทางใหม่นี้อาจช่วยให้โมเดล Machine Learning ที่ซับซ้อนยิ่งขึ้นทำงานอนุมานและงานประเภทอื่นได้โดยไม่ทำให้เสถียรภาพของสมาร์ทโฟนลดลง

แนวคิดหลักคือการใช้ เครือข่ายแบบไดนามิก โดยที่ น้ำหนัก ของโมเดลสามารถเข้าถึงได้โดยทั้ง ‘ความกดดันต่ำ’ และ ‘ความเข้มสูง’ ของโมเดล Machine Learning ท้องถิ่น

ในกรณีที่การทำงานของโมเดล Machine Learning ท้องถิ่นควรทำให้อุณหภูมิของอุปกรณ์ขึ้นสูงอย่างวิกฤติ โมเดลจะเปลี่ยนไปใช้โมเดลที่ต้องการพลังงานน้อยลงจนกว่าอุณหภูมิจะเสถียร และจากนั้นเปลี่ยนกลับไปใช้เวอร์ชันเต็ม

งานทดสอบประกอบด้วยงานจำแนกภาพและงานอนุมานภาษาธรรมชาติจากคู่คำถามและคำตอบ (QNLI) – ทั้งสองงานนี้เป็นงานที่มีแนวโน้มว่าจะใช้กับแอปพลิเคชัน AI บนมือถือ ที่มา: https://arxiv.org/pdf/2206.10849.pdf

นักวิจัยได้ทำการทดสอบแนวคิดสำหรับโมเดลการมองเห็นและโมเดลภาษาธรรมชาติบนสมาร์ทโฟน Honor V30 Pro รุ่นปี 2019 และ Raspberry Pi 4B 4GB

จากผลลัพธ์ (สำหรับสมาร์ทโฟน) เราสามารถเห็นได้ว่าอุณหภูมิของอุปกรณ์ขึ้นและลงตามการใช้งาน เส้นสีแดงแสดงถึงโมเดลที่ทำงาน ไม่มี Dynamic Shifting

แม้ว่าผลลัพธ์จะดูคล้ายกัน แต่ไม่ใช่: สิ่งที่ทำให้อุณหภูมิเปลี่ยนแปลงสำหรับ เส้นสีน้ำเงิน (คือการใช้วิธีการใหม่) คือการเปลี่ยนไปมาระหว่างโมเดลที่ซับซ้อนกว่าและโมเดลที่ต้องการพลังงานน้อยลง ไม่มีการกระตุ้นการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิใดๆ

สิ่งที่ทำให้อุณหภูมิขึ้นและลงในกรณีของ เส้นสีแดง คือการกระตุ้นการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิในอุปกรณ์ ซึ่งชะลอการทำงานของโมเดลและเพิ่มความล่าช้า

ในแง่ของความสามารถในการใช้งานของโมเดล เราสามารถเห็นได้ว่าความล่าช้าสำหรับโมเดลที่ไม่ได้รับการช่วยเหลือคือสูงกว่าเมื่อถูกลดประสิทธิภาพเพื่อควบคุมอุณหภูมิ:

ในเวลาเดียวกัน ภาพด้านบนแสดงให้เห็นว่าไม่มีการเปลี่ยนแปลงความล่าช้าสำหรับโมเดลที่ได้รับการจัดการโดย Dynamic Shifting ซึ่งยังคงทำงานได้ตลอดเวลา

สำหรับผู้ใช้ ความล่าช้าที่สูงสามารถทำให้เวลาในการรอเพิ่มขึ้น ซึ่งอาจทำให้ผู้ใช้ละทิ้งงานและไม่พอใจกับแอปพลิเคชันที่ใช้งาน

ในกรณีของระบบ NLP (มากกว่าการมองเห็น) ความล่าช้าที่สูงสามารถทำให้ผู้ใช้รู้สึกไม่สบายใจมากขึ้น เนื่องจากงานอาจต้องการการตอบสนองที่รวดเร็ว (เช่น การแปลภาษาหรือการช่วยเหลือผู้พิการ)

สำหรับแอปพลิเคชันที่ต้องการเวลาอย่างจริงจัง – เช่น VR/AR ในเวลาจริง – ความล่าช้าที่สูงจะทำให้โมเดลไม่มีประโยชน์

นักวิจัยระบุ:

‘เราพบว่าการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิเป็นภัยคุกคามที่ร้ายแรงต่อแอปพลิเคชัน Machine Learning บนมือถือที่ต้องการความล่าช้าต่ำ สำหรับตัวอย่างเช่น ในระหว่างการแสดงภาพแบบเรียลไทม์สำหรับการสตรีมวิดีโอหรือเกม การเพิ่มขึ้นของความล่าช้าในการประมวลผลต่อเฟรมจะมีผลกระทบอย่างมากต่อประสบการณ์ของผู้ใช้ นอกจากนี้ ระบบปฏิบัติการมือถือสมัยใหม่มักจะมีการบริการและแอปพลิเคชันพิเศษสำหรับผู้ที่มีปัญหาการมองเห็น เช่น VoiceOver บน iOS และ TalkBack บน Android’

‘ผู้ใช้โดยทั่วไปโต้ตอบกับโทรศัพท์มือถือโดยอาศัยการพูดอย่างสมบูรณ์ ดังนั้นคุณภาพของบริการเหล่านี้จึงขึ้นอยู่กับการตอบสนองหรือความล่าช้าของแอปพลิเคชัน’

กราฟแสดงผลการทำงานของ BERT w50 d50 ที่ไม่ได้รับการช่วยเหลือ (สีแดง) และได้รับการช่วยเหลือจาก Dynamic Shifting (สีน้ำเงิน) สังเกตว่าความล่าช้าสม่ำเสมอเมื่อใช้ Dynamic Shifting

เอกสารวิจัยนี้มีชื่อว่า Play It Cool: Dynamic Shifting Prevents Thermal Throttling และเป็นผลงานร่วมกันระหว่างนักวิจัยสองคนจาก UoA หนึ่งคนจาก Carnegie Mellon และหนึ่งคนจากทั้งสองสถาบัน

AI บนมือถือที่ใช้ CPU

แม้ว่า Dynamic Shifting และสถาปัตยกรรมหลายขนาดจะเป็น สาขาวิจัยที่มีการศึกษาอย่างต่อเนื่อง แต่การวิจัยส่วนใหญ่เน้นไปที่อุปกรณ์คำนวณที่มีพลังงานสูง และการวิจัยในปัจจุบันแบ่งออกเป็นสองส่วนหลัก: การปรับให้เหมาะสมของโมเดล Machine Learning ท้องถิ่น (โดยทั่วไปสำหรับการอนุมานมากกว่าการฝึกอบรม) และการปรับปรุงฮาร์ดแวร์มือถือที่เฉพาะเจาะจง

การทดสอบที่นักวิจัยทำได้ถูกดำเนินการบน CPU มากกว่า GPU แม้ว่าจะมีความสนใจที่เพิ่มขึ้นในการใช้ทรัพยากร GPU ท้องถิ่นในแอปพลิเคชัน Machine Learning บนมือถือ (และแม้กระทั่ง การฝึกอบรมบนอุปกรณ์มือถือ ซึ่ง สามารถปรับปรุงคุณภาพ ของโมเดลสุดท้าย) GPU มักจะใช้พลังงานมากกว่า ซึ่งเป็นปัจจัยสำคัญในความพยายามของ AI ที่จะทำงานอิสระ (ไม่ขึ้นอยู่กับบริการคลาวด์) และมีประโยชน์บนอุปกรณ์ที่มีทรัพยากรจำกัด

การทดสอบการแบ่งปันน้ำหนัก

เครือข่ายที่ทดสอบสำหรับโครงการนี้คือ เครือข่ายที่ปรับความกว้างได้ (slimmable) และ DynaBERT ซึ่งแสดงถึงงานการมองเห็นและงาน NLP ตามลำดับ

แม้ว่าจะมีความพยายามหลายครั้งในการสร้างโมเดล BERT ที่สามารถทำงานได้อย่างมีประสิทธิภาพและประหยัดบนอุปกรณ์มือถือ แต่บางครั้งก็ถูกวิพากษ์วิจารณ์ว่าเป็นวิธีแก้ปัญหาที่ยุ่งยาก และนักวิจัยของเอกสารวิจัยใหม่ระบุว่าการใช้ BERT ในพื้นที่มือถือเป็นความท้าทาย และ ‘โมเดล BERT โดยทั่วไปต้องใช้การคำนวณมากเกินไปสำหรับโทรศัพท์มือถือ’

DynaBERT เป็นโครงการของจีนเพื่อปรับเฟรมเวิร์ก NLP/NLU ของ Google ให้เหมาะสมกับสภาพแวดล้อมที่มีทรัพยากรจำกัด แต่แม้กระทั่งการนำไปใช้ของ BERT นี้ นักวิจัยพบว่ามีความต้องการทรัพยากรสูง

อย่างไรก็ตาม ทั้งบนสมาร์ทโฟนและอุปกรณ์ Raspberry PI นักวิจัยได้ทำการทดสอบสองครั้ง ในการทดสอบ CV ได้ประมวลผลภาพเดียวที่เลือกแบบสุ่มอย่างต่อเนื่องและซ้ำๆ ใน ResNet50 เป็นงานจำแนกภาพ และสามารถทำงานได้อย่างเสถียรและไม่กระตุ้นการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิตลอดชั่วโมงของการทดสอบ

เอกสารวิจัยระบุ:

‘แม้ว่าจะเสียความแม่นยำบ้าง แต่วิธีการ Dynamic Shifting มีความเร็วในการอนุมานที่เร็วขึ้น สิ่งสำคัญที่สุดคือวิธีการ Dynamic Shifting ของเรามีความสม่ำเสมอในการอนุมาน’

การทำงานของ ResNet50 ที่ไม่ได้รับการช่วยเหลือและได้รับการช่วยเหลือจาก Dynamic Shifting ระหว่าง Slimmable ResNet50 x1.0 และ x0.25 ในงานจำแนกภาพแบบต่อเนื่องเป็นเวลา 60 นาที

สำหรับการทดสอบ NLP นักวิจัยตั้งค่าการทดสอบให้เปลี่ยนระหว่างสองโมเดลที่เล็กที่สุดในชุด DynaBERT แต่พบว่าเมื่อความล่าช้าอยู่ที่ 1.4 เท่า BERT จะขัดขวางที่ประมาณ 70° ดังนั้นจึงตั้งค่าการเปลี่ยนไปใช้เมื่ออุณหภูมิทำงานถึง 65°

การทดสอบ BERT เกี่ยวข้องกับการให้การติดตั้งทำงานแบบอนุมานอย่างต่อเนื่องบนคู่คำถามและคำตอบจาก ชุดข้อมูล ONLI ของ GLUE

การแลกเปลี่ยนระหว่างความล่าช้าและความแม่นยำรุนแรงกว่าสำหรับการทดสอบ BERT มากกว่าการนำไปใช้การมองเห็น และความแม่นยำมาพร้อมกับความต้องการที่รุนแรงกว่าในการควบคุมอุณหภูมิของอุปกรณ์เพื่อหลีกเลี่ยงการขัดขวาง:

ความล่าช้าเทียบกับความแม่นยำสำหรับการทดสอบของนักวิจัยทั่วทั้งสองงาน

นักวิจัยสังเกต:

‘Dynamic Shifting โดยทั่วไปไม่สามารถป้องกันการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิของโมเดล BERT ได้ เนื่องจากโมเดลมีความซับซ้อนที่มากเกินไป อย่างไรก็ตาม ภายใต้ข้อจำกัดบางประการ Dynamic Shifting ยังคงสามารถช่วยได้เมื่อนำโมเดล BERT ไปใช้บนโทรศัพท์มือถือ’

นักวิจัยพบว่าโมเดล BERT ทำให้อุณหภูมิของ CPU ในโทรศัพท์ Honor V30 ขึ้นถึง 80° ในเวลาไม่ถึง 32 วินาที และจะกระตุ้นการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิในเวลาไม่ถึง 6 นาทีของการทำงาน ดังนั้น นักวิจัยจึงใช้โมเดล BERT ที่มีความกว้างครึ่งหนึ่ง

การทดสอบถูกทำซ้ำบนอุปกรณ์ Raspberry PI และเทคนิคนี้สามารถป้องกันการลดประสิทธิภาพเพื่อควบคุมอุณหภูมิได้เช่นกันในสภาพแวดล้อมนั้น อย่างไรก็ตาม นักวิจัยสังเกตว่าอุปกรณ์ Raspberry PI ไม่ได้ทำงานภายใต้ข้อจำกัดทางความร้อนที่รุนแรงเหมือนกับสมาร์ทโฟนที่มีการบรรจุแน่น และดูเหมือนว่านักวิจัยได้เพิ่มการทดสอบเหล่านี้เพื่อแสดงให้เห็นถึงประสิทธิผลของวิธีการในสภาพแวดล้อมที่มีการติดตั้งแบบปานกลาง

เผยแพร่ครั้งแรกเมื่อวันที่ 23 มิถุนายน 2022