ืืื ื ืืืืืืชืืช
ืืืงืจืื ืืืฆืจืื ืืืืคื ื-GPU
מדעני מחשב מאוניברסיטת רייס, לצד שותפים מ-Intel, פיתחו חלופה יותר יעילה מבחינת עלות ל-GPU. האלגוריתם החדש נקרא “מנוע למידה עמוקה תת-ליניארי” (SLIDE), והוא משתמש ביחידות עיבוד מרכזיות (CPUs) כלליות ללא חומרה מואצת מיוחדת.
התוצאות הוצגו במרכז הכנסים אוסטין, המארח את ועידת מערכות הלמידה האוטומטית MLSys.
אחד האתגרים הגדולים בתוך בינה מלאכותית (AI) סובב את חומרה מואצת מיוחדת כגון יחידות עיבוד גרפי (GPUs). לפני הפיתוחים החדשים, האמינו כי על מנת להאיץ את הטכנולוגיה של למידה עמוקה, נדרש שימוש בחומרה מואצת מיוחדת.
חברות רבות השקיעו רבות ב-GPU ובחומרה מיוחדת ללמידה עמוקה, האחראית לטכנולוגיה כגון עוזרים דיגיטליים, זיהוי פנים ומערכות המלצות מוצרים. חברה אחת כזו היא Nvidia, היוצרת את Tesla V100 Tensor Core GPUs. Nvidia דיווחה לאחרונה על עלייה של 41% בהכנסותיה ברבעון הרביעי לעומת השנה הקודמת.
פיתוח SLIDE פותח אפשרויות חדשות לגמרי.
אנשומאלי שריבסטאבה הוא פרופסור עוזר בבית הספר להנדסה בראון של רייס וסייע להמציא את SLIDE עם סטודנטים לתואר שני ביידי צ’ן ות’ארון מדיני.
“בדיקותינו מראות כי SLIDE הוא היישום האלגוריתמי החכם הראשון של למידה עמוקה על CPU שיכול להתגבר על חומרת ה-GPU בנתונים תעשייתיים של המלצות עם ארכיטקטורות מלאות גדולות”, אמר שריבסטאבה.
SLIDE עוקף את האתגר של GPUs בגלל הגישה השונה לחלוטין ללמידה עמוקה. כרגע, הטכניקה הסטנדרטית לאימון רשתות נוירונים עמוקות היא “הפצה לאחור”, והיא דורשת כפל מטריצות. עומס עבודה זה דורש שימוש ב-GPU, כך שהחוקרים שינו את אימון הרשת הנוירונית כך שיוכל להיפתר עם טבלאות השקה.
גישה זו מקטינה באופן משמעותי את הנטל החישובי עבור SLIDE. פלטפורמת ה-GPU הטובה ביותר הנוכחית שחברות כגון Amazon ו-Google משתמשות בה ללמידה עמוקה מבוססת ענן היא שמונה Tesla V100s, והמחיר הוא סביב $100,000.
“יש לנו אחד במעבדה, ובמקרה הבדיקה שלנו לקחנו עומס עבודה שמושלם ל-V100, אחד עם יותר מ-100 מיליון פרמטרים ברשתות מלאות גדולות שמתאימות לזיכרון ה-GPU”, אמר שריבסטאבה. “אימנו אותו עם החבילה הטובה ביותר (תוכנה) שיש, Google’s TensorFlow, וזה לקח 3.5 שעות לאימון.
“אז הראינו כי האלגוריתם החדש שלנו יכול לבצע את האימון בשעה אחת, לא על GPUs אלא על CPU מדגם Xeon בעל 44 ליבות”, הוא המשיך.
השקה היא שיטת אינדקס נתונים מסוג מסוים שהומצאה בשנות ה-90 לחיפוש באינטרנט. שיטות מסחריות משמשות לקודד כמויות גדולות של מידע כרצף ספרות, הנקרא השקה. ההשקות רשומות כדי ליצור טבלאות שניתן לחפש בהן במהירות.
“זה היה לא הגיוני ליישם את האלגוריתם שלנו על TensorFlow או PyTorch, מכיוון שהדבר הראשון שהם רוצים לעשות הוא להמיר את מה שאתה עושה לבעיה של כפל מטריצות”, אמר צ’ן. “זה בדיוק מה שרצינו להימנע ממנו. כך שכתבנו את הקוד C++ שלנו מאפס”.
לפי שריבסטאבה, היתרון הגדול ביותר של SLIDE הוא שהוא מקביל לנתונים.
“במובן של מקביל לנתונים, אני מתכוון שאם יש לי שני מקרי נתונים שאני רוצה לאמ
