מה זה למידת אנסמבל?

אחת מטכניקות למידת המכונה החזקות ביותר היא למידת אנסמבל. יחד למידה הוא השימוש במספר מודלים של למידת מכונה כדי לשפר את המהימנות והדיוק של התחזיות. אולם כיצד השימוש במספר מודלים של למידת מכונה מוביל לתחזיות מדויקות יותר? איזה סוג של טכניקות משמשות ליצירת מודלים של למידה אנסמבל? נחקור את התשובה לשאלות אלו, ונבחן את ההיגיון מאחורי השימוש במודלים של אנסמבל ואת הדרכים העיקריות ליצירת מודלים של אנסמבל.

מה זה למידת אנסמבל?

במילים פשוטות, למידת אנסמבל היא תהליך של הכשרת דגמי למידת מכונה מרובים ושילוב התפוקות שלהם יחד. המודלים השונים משמשים כבסיס ליצירת מודל חיזוי אופטימלי אחד. שילוב של סט מגוון של מודלים בודדים של למידת מכונה יכול לשפר את היציבות של המודל הכולל, ולהוביל לתחזיות מדויקות יותר. מודלים של למידה אנסמבלים הם לרוב אמינים יותר ממודלים בודדים, וכתוצאה מכך, הם לרוב במקום הראשון בתחרויות רבות של למידת מכונה.

ישנן טכניקות שונות שמהנדס יכול להשתמש כדי ליצור מודל למידה אנסמבל. טכניקות למידת אנסמבל פשוטות כוללות דברים כמו ממוצע התפוקות של מודלים שונים, בעוד שיש גם שיטות ואלגוריתמים מורכבים יותר שפותחו במיוחד כדי לשלב את התחזיות של לומדים/מודלים בסיסיים רבים יחד.

למה להשתמש בשיטות אימון אנסמבל?

מודלים של למידת מכונה יכולים להיות שונים זה מזה ממגוון סיבות. מודלים שונים של למידת מכונה עשויים לפעול על מדגמים שונים של נתוני האוכלוסייה, ניתן להשתמש בטכניקות דוגמנות שונות, וייתכן שייעשה שימוש בהשערה שונה.

תאר לעצמך שאתה משחק במשחק טריוויה עם קבוצה גדולה של אנשים. אם אתה בצוות לבד, בטח יש כמה נושאים שיש לך ידע עליהם ונושאים רבים שאין לך ידע עליהם. עכשיו נניח שאתה משחק בקבוצה עם אנשים אחרים. בדיוק כמוך, יהיה להם קצת ידע לגבי ההתמחויות שלהם וללא ידע בנושאים אחרים. עם זאת, כאשר הידע שלך משולב, יש לך ניחושים מדויקים יותר עבור תחומים נוספים, ומספר הנושאים שאין לצוות שלך ידע בהם מתכווץ. זהו אותו עיקרון שעומד בבסיס למידת אנסמבל, המשלב את התחזיות של חברי צוות שונים (מודלים בודדים) כדי לשפר את הדיוק ולמזער שגיאות.

סטטיסטיקאים הוכיחו שכאשר קהל של אנשים מתבקש לנחש את התשובה הנכונה לשאלה נתונה עם מגוון תשובות אפשריות, כל התשובות שלהם יוצרות התפלגות הסתברות. האנשים שיודעים באמת את התשובה הנכונה יבחרו את התשובה הנכונה בביטחון, בעוד האנשים שיבחרו בתשובות השגויות יחלקו את הניחושים שלהם על פני מגוון התשובות השגויות האפשריות. אם נחזור לדוגמא של משחק טריוויה, אם אתה ושני חבריך יודעים שהתשובה הנכונה היא א', שלושתכם תצביעו א', בעוד ששלושת האנשים האחרים בצוות שלך שלא יודעים את התשובה צפויים להצביע בצורה שגויה נחש את ב', ג', ד' או ה'. התוצאה היא של-A יש שלושה קולות ולשאר התשובות צפויות להיות רק קול אחד או שניים לכל היותר.

בכל הדגמים יש כמות מסוימת של שגיאות. השגיאות עבור דגם אחד יהיו שונות מהטעויות המיוצרות על ידי דגם אחר, שכן הדגמים עצמם שונים מהסיבות שתוארו לעיל. כאשר כל השגיאות נבדקות, הן לא יתקבצו סביב תשובה כזו או אחרת, אלא הן יהיו מפוזרות מסביב. הניחושים השגויים מתפזרים בעצם על פני כל התשובות השגויות האפשריות, ומבטלים זה את זה. בינתיים, הניחושים הנכונים מהדגמים השונים יתקבצו סביב התשובה האמיתית והנכונה. כאשר משתמשים בשיטות אימון אנסמבל, ניתן למצוא את התשובה הנכונה באמינות רבה יותר.

שיטות אימון פשוטות של אנסמבל

שיטות אימון פשוטות של אנסמבל בדרך כלל כוללות רק יישום של טכניקת סיכום סטטיסטיs, כגון קביעת מצב, ממוצע או ממוצע משוקלל של קבוצת תחזיות.

מצב מתייחס לרכיב הנפוץ ביותר בתוך קבוצת מספרים. על מנת לקבל את המצב, מודלי הלמידה האישיים מחזירים את התחזיות שלהם ותחזיות אלו נחשבות להצבעות לקראת התחזית הסופית. קביעת הממוצע של התחזיות נעשית פשוט על ידי חישוב הממוצע האריתמטי של התחזיות, מעוגל למספר השלם הקרוב ביותר. לבסוף, ניתן לחשב ממוצע משוקלל על ידי הקצאת משקלים שונים למודלים המשמשים ליצירת תחזיות, כאשר המשקולות מייצגות את החשיבות הנתפסת של אותו מודל. הייצוג המספרי של חיזוי המחלקה מוכפל לצד משקל מ-0 ל-1.0, לאחר מכן מסוכמים התחזיות המשוקללות הבודדות יחד והתוצאה מעוגלת למספר השלם הקרוב ביותר.

שיטות אימון מתקדמות של אנסמבל

ישנן שלוש טכניקות אימון מתקדמות ראשוניות של אנסמבל, שכל אחת מהן נועדה להתמודד עם סוג מסוים של בעיית למידת מכונה. טכניקות "שקיות". משמשים להקטנת השונות של תחזיות של מודל, כאשר השונות מתייחסת לכמה שונה התוצאה של התחזיות כשהן מבוססות על אותה תצפית. טכניקות "חיזוק". משמשים כדי להילחם בהטיה של מודלים. סוף כל סוף, "הַעֲרָמָה" משמש לשיפור התחזיות באופן כללי.

בדרך כלל ניתן לחלק את שיטות לימוד האנסמבל עצמן לאחת משתי קבוצות שונות: שיטות עוקבות ושיטות אנסמבל מקבילות.

שיטות אנסמבל עוקבות מקבלות את השם "רציף" מכיוון שהלומדים/מודלים הבסיסיים נוצרים ברצף. במקרה של שיטות עוקבות, הרעיון המהותי הוא שהתלות בין לומדי הבסיס מנוצלת על מנת לקבל תחזיות מדויקות יותר. לדוגמאות עם תיוג שגוי, המשקולות שלהן מותאמות בעוד שדוגמאות המסומנות כהלכה שומרות על אותם משקלים. בכל פעם שלומד חדש נוצר המשקולות משתנות והדיוק (בתקווה) משתפר.

בניגוד למודלים של אנסמבל עוקב, שיטות אנסמבל מקבילות מייצרות את הלומדים הבסיסיים במקביל. כאשר מבצעים למידה אנסמבלית מקבילה, הרעיון הוא לנצל את העובדה שלתלמידי הבסיס יש עצמאות, שכן ניתן להפחית את שיעור השגיאות הכללי על ידי ממוצע של התחזיות של הלומדים הבודדים.

שיטות אימון אנסמבל יכולות להיות הומוגניות או הטרוגניות בטבען. רוב שיטות הלמידה של האנסמבל הן הומוגניות, כלומר הן משתמשות בסוג יחיד של מודל/אלגוריתם למידה בסיסי. לעומת זאת, הרכבים הטרוגניים עושים שימוש באלגוריתמי למידה שונים, מגוונים ומגוונים את הלומדים כדי להבטיח שהדיוק יהיה גבוה ככל האפשר.

דוגמאות לאלגוריתמים ללימוד אנסמבל

הדמיה של הגברת האנסמבל. תמונה: Sirakorn באמצעות Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

דוגמאות לשיטות אנסמבל עוקבות כוללות AdaBoost, XGBoost, ו הגברת עץ שיפוע. כל אלה הם דגמים מחזקים. עבור מודלים מגבירים אלה, המטרה היא להמיר את הלומדים החלשים, עם ביצועים נמוכים יותר, ללומדים חזקים יותר. מודלים כמו AdaBoost ו-XGBoost מתחילים עם הרבה לומדים חלשים שמבצעים רק מעט טוב יותר מאשר ניחוש אקראי. ככל שהאימון נמשך, משקולות מוחלים על הנתונים ומותאמים. מקרים שסווגו באופן שגוי על ידי הלומדים בסבבי אימון מוקדמים יותר מקבלים משקל רב יותר. לאחר שתהליך זה חוזר על מספר סבבי האימון הרצוי, תחזיות מחוברות יחד באמצעות סכום משוקלל (עבור משימות רגרסיה) והצבעה משוקללת (עבור משימות סיווג).

תהליך הלמידה של השקיות. תמונה: SeattleDataGuy באמצעות Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

דוגמה לדגם אנסמבל מקביל הוא א יער אקראי מסווג, ויערות אקראיים היא גם דוגמה לטכניקת שקיות. המונח "שקיות" מגיע מ"צבירה של רצועות האתחול". דגימות נלקחות ממערך הנתונים הכולל באמצעות טכניקת דגימה המכונה "דגימת bootstrap", המשמשת את הלומדים בבסיס לביצוע תחזיות. עבור משימות סיווג, התפוקות של המודלים הבסיסיים מצטברים באמצעות הצבעה, בעוד שהם ממוצעים יחד עבור משימות רגרסיה. Random Forests משתמש בעצי החלטה אינדיבידואליים כתלמידי הבסיס שלהם, וכל עץ באנסמבל נבנה באמצעות מדגם שונה ממערך הנתונים. תת-קבוצה אקראית של תכונות משמשת גם ליצירת העץ. מוביל לעצי החלטה אינדיבידואליים מאוד אקראיים, שכולם משולבים יחד כדי לספק תחזיות מהימנות.

הדמיה של ערימת אנסמבל. צילום: Supun Setunga דרך Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

במונחים של טכניקות הערמה של אנסמבל, מודלים מרובים של רגרסיה או סיווג משולבים יחד באמצעות מטא-מודל ברמה גבוהה יותר. ברמה הנמוכה יותר, מודלים בסיסיים מתאמנים על ידי הזנת מערך הנתונים כולו. התפוקות של דגמי הבסיס משמשות לאחר מכן כתכונות לאימון המטא-מודל. דגמי אנסמבל הערימה הם לעתים קרובות הטרוגניים באופיים.