איך לשמור על טלפונים חכמים קרים כאשר הם רצים מודלים של למידת מכונה

חוקרים מאוניברסיטת אוסטין וקרנגי מלון הציעו דרך חדשה לרוץ מודלים של למידת מכונה יקרים מבחינה חישובית על מכשירים ניידים כגון טלפונים חכמים, ועל מכשירים בעלי עוצמה נמוכה יותר, מבלי לגרום לתרגול תרמי – מנגנון הגנה נפוץ במכשירים מקצועיים וצרכניים, שנועד להוריד את הטמפרטורה של המכשיר המארח על ידי האטת ביצועיו, עד שתושגנה מחדש טמפרטורות פעולה מקובלות.

הגישה החדשה יכולה לעזור למודלים מורכבים יותר של ML לרוץ היקש וסוגים אחרים של משימות ללא איום על יציבותו של, למשל, הטלפון החכם המארח.

הרעיון המרכזי הוא להשתמש ברשתות דינמיות, שבהן משקל של מודל יכול להיות נגיש על ידי גרסה ‘בלחץ נמוך’ ו’בעוצמה מלאה’ של המודל המקומי של למידת מכונה.

במקרים שבהם פעולת התקנת מודל למידת מכונה מקומי צריכה לגרום לטמפרטורה של המכשיר לעלות באופן קריטי, המודל יעבור באופן דינמי למודל פחות דורשני עד שהטמפרטורה תייצב, ואז יחזור לגרסה המלאה.

המשימות הניסויות כללו משימת סיווג תמונות ומשימת הסקה טבעית של שפה (QNLI) – שתיהן סוגים של פעולות המעורבות ביישומי AI ניידים. מקור: https://arxiv.org/pdf/2206.10849.pdf

החוקרים ערכו ניסויים מוכחים למודלים של ראייה ממוחשבת ועיבוד שפה טבעית (NLP) על טלפון חכם Honor V30 Pro משנת 2019, ו-Raspberry Pi 4B 4GB.

מהתוצאות (עבור הטלפון החכם), אנו יכולים לראות בתמונה למטה את הטמפרטורה של המכשיר המארח עולה ויורדת עם השימוש. הקווים האדומים מייצגים מודל הרץ ללא Dynamic Shifting.

אף על פי שהתוצאות עשויות להראות דומות, הן לא: מה שגורם לטמפרטורה להתנדנד לקווים כחולים (כלומר השימוש בשיטת הנייר החדש) הוא המעבר הישר והשמאלה בין גרסאות מודל פשוטות יותר ומורכבות יותר. בשום שלב בפעולה מעולם לא נגרמת תרגול תרמי.

מה שגורם לטמפרטורה לעלות ולרדת במקרה של קווים אדומים הוא השתתפות אוטומטית של תרגול תרמי במכשיר, שמאט את פעולת המודל ומגביר את העיכוב שלו.

במונחים של יעילות המודל, אנו יכולים לראות בתמונה למטה כי העיכוב למודל הלא-מסייע הוא משמעותית גבוה יותר בזמן שהוא נתון לתרגול תרמי:

בו-זמנית, התמונה למעלה מראה כמעט אין שינוי בעיכוב עבור המודל שנוהל על ידי Dynamic Shifting, שנותר רגיש לאורך כל הזמן.

עבור המשתמש הסופי, עיכוב גבוה יכול להיות זמן המתנה מוגבר, שעלול לגרום לנטישת משימה ואי-שביעות רצון מהאפליקציה המארחת אותה.

במקרה של מערכות NLP (לעומת ראייה ממוחשבת) הזמנים העיכוב יכולים להיות אף יותר מדאיגים, שכן המשימות עשויות להיות תלויות בתגובה מהירה (כגון תרגום אוטומטי, או יישומים לעזרת משתמשים עם מוגבלויות).

עבור יישומים בזמן אמת – כגון VR/AR – עיכוב גבוה יכול להרוג באופן יעיל את היעילות העיקרית של המודל.

החוקרים טוענים:

‘אנו טוענים כי תרגול תרמי מהווה איום רציני על יישומי ML ניידים הרגישים לעיכוב. למשל, במהלך רינדור ויזואלי בזמן אמת עבור שידור וידאו או משחקים, עלייה פתאומית בעיכוב עיבוד לכל פריים תהיה בעלת השפעה שלילית משמעותית על חוויית המשתמש. כמו כן, מערכות הפעלה ניידות מודרניות רבות מספקות שירותים ויישומים מיוחדים עבור אנשים עם לקויות ראייה, כגון VoiceOver ב-iOS ו-TalkBack ב-Android. ‘

‘המשתמש בדרך כלל מתייחס עם טלפונים ניידים באמצעות תלות מוחלטת בדיבור, כך שאיכות השירותים הללו תלויה מאוד ברגישות או בעיכוב של היישום.’

גרפים המדגימים את ביצועי BERT w50 d50 ללא סיוע (אדום), ועם Dynamic Shifting (כחול). שימו לב לאחידות העיכוב ב-Dynamic Shifting (כחול).

הנייר כותרת Play It Cool: Dynamic Shifting Prevents Thermal Throttling, והוא שיתוף פעולה בין שני חוקרים מ-UoA; אחד מ-Carnegie Mellon; ואחד המייצג את שני המוסדות.

Mobile AI המבוססת על CPU

אף על פי ש-Dynamic Shifting וארכיטקטורות רב-סקאלה הם תחום מוכר ופעיל של מחקר, רוב היוזמות התרכזו במערכים גבוהים יותר של מכשירים חישוביים, ונקודת המאמץ בזמן הנוכחי מחולקת ב间 אופטימיזציה אינטנסיבית של רשתות נוירונים מקומיות (כלומר, על בסיס מכשיר), בדרך כלל לצורך היקש ולא לאימון, ושיפור החומרה הניידת.

הניסויים שבוצעו על ידי החוקרים נערכו על שבבי CPU ולא GPU. על אף עלייה בעניין בניצול משאבי GPU מקומיים ביישומי למידת מכונה ניידים (ואפילו אימון ישיר על מכשירים ניידים, שיכול לשפר את איכות המודל הסופי), GPUs אופייניים צורכים יותר כוח, גורם קריטי במאמצים של AI להיות עצמאי (משירותי ענן) ושימושי במכשיר עם משאבים מוגבלים.

בדיקת שיתוף משקל

הרשתות שנבדקו עבור הפרויקט היו רשתות Slimmable וDynaBERT, המייצגות, בהתאמה, משימת ראייה ממוחשבת ומשימת NLP.

אף על פי שהיו יוזמות שונות ליצור איטרציות של BERT שיכולות לרוץ באופן יעיל וכלכלי על מכשירים ניידים, חלק מהניסיונות נמתחו כפתרונות מסובכים, והחוקרים של הנייר החדש מציינים כי השימוש ב-BERT בתחום הנייד הוא אתגר, וכי ‘מודלים של BERT בכללותם מדי מסובכים מבחינה חישובית עבור טלפונים חכמים’.

DynaBERT הוא יוזמה סינית לאופטימיזציה של מסגרת NLP/NLU החזקה של Google לתוך הקשר של סביבת משאבים דלים; אך אפילו יישום זה של BERT, החוקרים מצאו, היה דורשני מאוד.

בכל זאת, על הטלפון החכם ועל מכשיר ה-Raspberry PI, המחברים רצו שני ניסויים. בניסוי ה-CV, תמונה יחידה, נבחרה באופן אקראי, עובדה ברציפות וחוזרת כמשימת סיווג ב-ResNet50, והצליחה לרוץ באופן יציב וללא הפעלת תרגול תרמי לאורך כל שעה של זמן ריצה של הניסוי.

הנייר קובע:

‘אף על פי שהוא עלול לוותר על דיוק מסוים, Dynamic Shifting המוצע הוא בעל מהירות היקש מהירה יותר. החשוב ביותר, הגישה שלנו ל-Dynamic Shifting נהנית מהיקש עקבי.’

ריצה של ResNet50 ללא סיוע ועם Dynamic Shifting בין Slimmable ResNet50 x1.0 והגרסה x0.25, על משימת סיווג תמונות רציפה, למשך שעה.

עבור הניסויים של NLP, המחברים הגדירו את הניסוי למעבר בין שני המודלים הקטנים ביותר בחבילת DynaBERT, אך מצאו כי בעיכוב של 1.4X, BERT תורגלת בסביבות 70°. הם על כן הגדירו את המעבר המטה להתרחש כאשר הטמפרטורה המבצעית הגיעה ל-65°.

ניסוי BERT כלל הרצת התקנה ברציפות על זוג שאלה/תשובה ממאגר ה-ONLI של GLUE.

הפשרות של עיכוב ודיוק היו חמורות יותר עם משימת BERT התובענית מאשר עם יישום הראייה הממוחשבת, ודיוק הגיע במחיר של צורך חריף יותר לבקר את טמפרטורת המכשיר, כדי למנוע תרגול:

עיכוב לעומת דיוק עבור ניסויים של החוקרים בשני סוגי המשימות.

המחברים מציינים:

‘Dynamic Shifting, בכלל, לא יכול למנוע ממודלים של BERT לתרגול תרמי בגלל עוצמת החישוב העצומה של המודל. אולם, תחת הגבלות מסוימות, Dynamic Shifting עדיין יכול להיות מועיל כאשר מפריסים מודלים של BERT על טלפונים חכמים.’

המחברים מצאו כי מודלים של BERT גורמים לטמפרטורה של טלפון Honor V30 לעלות ל-80° בפחות מ-32 שניות, ויגרמו לתרגול תרמי בפחות מ-6 דקות של פעילות. לפיכך, המחברים השתמשו רק במודלים של BERT ברוחב מלא.

הניסויים חוזרו על ערכת Raspberry PI, והטכניקה הייתה מסוגלת גם בסביבה זו למנוע את הפעלת תרגול תרמי. אולם, המחברים מציינים כי Raspberry PI אינו פועל תחת אותן הגבלות תרמיות קיצוניות כמו טלפון חכם צפוף, ונראה כי הוסיפו את סדרת הניסויים הזו כהדגמה נוספת של יעילות השיטה בסביבות עיבוד מודרות.

פורסם לראשונה ב-23 ביוני 2022.