מהי למידה מאוגדת?

מהי למידה מאוגדת?

השיטה המסורתית לאימון מודלים של AI כוללת הקמת שרתים שבהם מודלים מאומנים על נתונים, לרוב באמצעות שימוש בפלטפורמת מחשוב מבוססת ענן. עם זאת, במהלך השנים האחרונות נוצרה צורה חלופית של יצירת מודלים, הנקראת למידה מאוחדת. למידה מאוחדת מביא מודלים של למידת מכונה למקור הנתונים, במקום להביא את הנתונים למודל. למידה מאוחדת מחברת התקני חישוב מרובים למערכת מבוזרת המאפשרת למכשירים הבודדים שאוספים נתונים לסייע באימון המודל.

במערכת למידה מאוחדת, למכשירים השונים המהווים חלק מרשת הלמידה יש ​​כל אחד עותק של הדגם במכשיר. המכשירים/לקוחות השונים לאמן עותק משלהם של הדגם באמצעות הנתונים המקומיים של הלקוח, ולאחר מכן הפרמטרים/המשקלים מהדגמים הבודדים נשלחים למכשיר ראשי, או שרת, שאוסף את הפרמטרים ומעדכן את המודל הגלובלי. לאחר מכן ניתן לחזור על תהליך אימון זה עד להשגת רמת דיוק רצויה. בקיצור, הרעיון מאחורי למידה מאוחדת הוא שאף אחד מנתוני ההדרכה לא מועבר מעולם בין מכשירים או בין צדדים, אלא רק העדכונים הקשורים למודל.

ניתן לפרק למידה מאוחדת לשלושה שלבים או שלבים שונים. למידה מאוחדת מתחילה בדרך כלל במודל גנרי שפועל כבסיס ומאומן בשרת מרכזי. בשלב הראשון, המודל הגנרי הזה נשלח ללקוחות האפליקציה. עותקים מקומיים אלו מאומנים לאחר מכן על נתונים שנוצרו על ידי מערכות הלקוח, לומדים ומשפרים את הביצועים שלהם.

בשלב השני, כל הלקוחות שולחים את פרמטרי המודל הנלמדים שלהם לשרת המרכזי. זה קורה מעת לעת, על פי לוח זמנים מוגדר.

בשלב השלישי, השרת צובר את הפרמטרים הנלמדים כאשר הוא מקבל אותם. לאחר צבירת הפרמטרים, המודל המרכזי מתעדכן ומשותף פעם נוספת עם הלקוחות. לאחר מכן כל התהליך חוזר על עצמו.

השמיים היתרון בקבלת עותק של הדגם במכשירים השונים הוא שהשהיות ברשת מצטמצמות או מתבטלות. העלויות הכרוכות בשיתוף נתונים עם השרת מתבטלות גם כן. יתרונות נוספים של שיטות למידה מאוחדות כוללים את העובדה שמודלי למידה מאוחדים נשמרים בפרטיות, ותגובות המודל מותאמות אישית למשתמש במכשיר.

דוגמאות למודלים של למידה מאוחדת כוללות מנועי המלצות, מודלים לגילוי הונאה ומודלים רפואיים. מנועי המלצות מדיה, מהסוג המשמשים את נטפליקס או אמזון, יכולים להיות מאומנים על נתונים שנאספו מאלפי משתמשים. מכשירי הלקוח יאמנו מודלים נפרדים משלהם והמודל המרכזי ילמד לבצע תחזיות טובות יותר, למרות שנקודות הנתונים הבודדות יהיו ייחודיות למשתמשים השונים. באופן דומה, ניתן לאמן מודלים לגילוי הונאה המשמשים בנקים על דפוסי פעילות ממכשירים רבים ושונים, וקומץ של בנקים שונים יכולים לשתף פעולה כדי להכשיר מודל משותף. במונחים של מודל למידה פדרציה רפואית, בתי חולים מרובים יכולים לחבור לאמן מודל משותף שיוכל לזהות גידולים פוטנציאליים באמצעות סריקות רפואיות.

סוגי למידה מאוחדת

סכימות למידה מאוחדות בדרך כלל נופלים לאחד משני מחלקות שונות: מערכות רב-צדדיות ומערכות חד-צדדיות. מערכות למידה מאוחדות של צד אחד נקראות "צד אחד" מכיוון שרק ישות אחת אחראית לפקח על לכידת וזרימת הנתונים בכל מכשירי הלקוח ברשת הלמידה. המודלים הקיימים במכשירי הלקוח מאומנים על נתונים עם אותו מבנה, אם כי נקודות הנתונים בדרך כלל ייחודיות למשתמשים ולמכשירים השונים.

בניגוד למערכות חד-צדדיות, מערכות רב-צדדיות מנוהלות על ידי שני גורמים או יותר. גופים אלה משתפים פעולה כדי להכשיר מודל משותף על ידי שימוש במכשירים ובמערכי הנתונים השונים שיש להם גישה אליהם. הפרמטרים ומבני הנתונים דומים בדרך כלל בכל המכשירים השייכים למספר הישויות, אבל הם לא חייבים להיות זהים לחלוטין. במקום זאת, נעשה עיבוד מקדים לסטנדרטיזציה של התשומות של המודל. ניתן להשתמש בישות ניטרלית כדי לצבור את המשקולות שנקבעו על ידי המכשירים הייחודיים לישויות השונות.

מסגרות ללמידה מאוחדת

מסגרות פופולריות המשמשות ללמידה מאוחדת כוללות Tensorflow Federated, מאפשר טכנולוגיית AI מאוחדת (FATE), ו PySyft. PySyft היא ספריית למידה מאוחדת בקוד פתוח המבוססת על ספריית הלמידה העמוקה PyTorch. PySyft נועד להבטיח למידה עמוקה פרטית ומאובטחת בין שרתים וסוכנים באמצעות חישוב מוצפן. בינתיים, Tensorflow Federated היא עוד מסגרת קוד פתוח שנבנתה על פלטפורמת Tensorflow של גוגל. בנוסף לאפשר למשתמשים ליצור אלגוריתמים משלהם, Tensorflow Federated מאפשר למשתמשים לדמות מספר אלגוריתמי למידה מאוחדים הכלולים על המודלים והנתונים שלהם. לבסוף, FATE היא גם מסגרת קוד פתוח שתוכננה על ידי Webank AI, והיא נועדה לספק למערכת האקולוגית של AI Federated מסגרת מחשוב מאובטחת.

אתגרי למידה מאוחדים

מכיוון שלמידה מאוחדת עדיין בהתהוות למדי, מספר אתגרים עדיין צריך לנהל משא ומתן על מנת שהוא ישיג את מלוא הפוטנציאל שלו. יכולות ההדרכה של מכשירי קצה, תיוג נתונים וסטנדרטיזציה והתכנסות מודלים הם חסמים פוטנציאליים לגישות למידה מאוחדות.

היכולות החישוביות של מכשירי הקצה, כשמדובר באימון מקומי, צריכות להילקח בחשבון בעת ​​תכנון גישות למידה מאוחדות. בעוד שרוב הסמארטפונים, הטאבלטים ומכשירים אחרים התואמים ל-IoT מסוגלים לאמן מודלים של למידת מכונה, הדבר פוגע בדרך כלל בביצועי המכשיר. יהיה צורך לעשות פשרות בין דיוק הדגם לביצועי המכשיר.

תיוג וסטנדרטיזציה של נתונים הם אתגר נוסף שמערכות למידה מאוחדות חייבות להתגבר עליו. מודלים של למידה בפיקוח דורשים נתוני אימון מסומנים בצורה ברורה ועקבית, דבר שעלול להיות קשה לבצע בכל מכשירי הלקוח הרבים שהם חלק מהמערכת. מסיבה זו, חשוב לפתח צינורות נתונים של מודלים שמחילים אוטומטית תוויות בצורה סטנדרטית בהתבסס על אירועים ופעולות משתמש.

זמן התכנסות מודלים הוא אתגר נוסף עבור למידה מאוחדת, שכן מודלים של למידה מאוחדת לוקחים בדרך כלל זמן רב יותר להתכנס מאשר מודלים מאומנים מקומית. מספר המכשירים המעורבים באימון מוסיף אלמנט של אי-חיזוי לאימון המודל, שכן בעיות חיבור, עדכונים לא סדירים ואפילו זמני שימוש שונים באפליקציה יכולים לתרום להגדלת זמן ההתכנסות ולירידה באמינות. מסיבה זו, פתרונות למידה מאוחדים הם בדרך כלל שימושיים ביותר כאשר הם מספקים יתרונות משמעותיים על פני אימון מרכזי של מודל, כגון מקרים שבהם מערכי נתונים גדולים ומפוזרים במיוחד.

תמונה: Jeromemetronome באמצעות Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)