מהי מטא-למידה?

מהי מטא-למידה?

אחד מתחומי המחקר הצומחים ביותר בלמידת מכונה הוא התחום של למידה מטא. Meta-learning, בהקשר של למידת מכונה, היא השימוש באלגוריתמים של למידת מכונה כדי לסייע בהדרכה ואופטימיזציה של מודלים אחרים של למידת מכונה. ככל שמטה-למידה הופכת יותר ויותר פופולרית ויותר טכניקות מטא-למידה מפותחות, כדאי להבין מהי מטא-למידה ולהבין את הדרכים השונות שניתן ליישם אותה. בואו נבחן את הרעיונות מאחורי למידה מטה, סוגי מטא-למידה, כמו גם כמה מהדרכים שבהן ניתן להשתמש ב-meta-learning.

המונח מטה-למידה נטבע על ידי דונלד מודסלי כדי לתאר תהליך שבו אנשים מתחילים לעצב את מה שהם לומדים, כשהם "שולטים יותר ויותר בהרגלי תפיסה, חקירה, למידה וצמיחה שהם הפנימו". מאוחר יותר, מדעני קוגניציה ופסיכולוגים יתארו מטה-למידה כ"לומד כיצד ללמוד".

עבור גרסת למידת מכונה של מטא-למידה, הרעיון הכללי של "ללמוד כיצד ללמוד" מיושם על מערכות בינה מלאכותית. במובן הבינה המלאכותית, למידה מטה היא היכולת של מכונה אינטליגנטית באופן מלאכותי ללמוד כיצד לבצע משימות מורכבות שונות, תוך נטילת העקרונות שבהם השתמשה כדי ללמוד משימה אחת וליישם אותה במשימות אחרות. בדרך כלל יש לאמן מערכות בינה מלאכותית כדי לבצע משימה באמצעות שליטה בתתי-משימות קטנות רבות. הכשרה זו עשויה להימשך זמן רב וסוכני AI אינם מעבירים בקלות את הידע הנלמד במהלך משימה אחת למשימה אחרת. יצירת מודלים וטכניקות של מטא-למידה יכולה לעזור לבינה מלאכותית ללמוד להכליל שיטות למידה ולרכוש מיומנויות חדשות מהר יותר.

סוגי מטא-למידה

מטא-למידה מייעל

למידה מטה משמשת לעתים קרובות כדי לייעל את הביצועים של רשת עצבית שכבר קיימת. שיטות למידה של מטא אופטימיזציה פועלות בדרך כלל על ידי התאמה של הפרמטרים ההיפרמטרים של רשת עצבית אחרת על מנת לשפר את הביצועים של הרשת העצבית הבסיסית. התוצאה היא שרשת היעד צריכה להיות טובה יותר בביצוע המשימה עליה היא מאומנת. דוגמה אחת למיטוב מטא-למידה היא השימוש ברשת לשיפור ירידת שיפוע תוצאות.

מעט-שוטים מטא-למידה

גישת למידת מטא של כמה יריות היא גישה שבה הנדסה רשת עצבית עמוקה המסוגלת להכליל ממערכי הנתונים של האימון למערכי נתונים בלתי נראים. מופע של סיווג מועט דומה למשימת סיווג רגילה, אך במקום זאת, דגימות הנתונים הן מערכי נתונים שלמים. המודל מאומן על משימות למידה שונות / מערכי נתונים ולאחר מכן הוא מותאם לביצועי שיא על שלל משימות האימון ונתונים בלתי נראים. בגישה זו, מדגם הכשרה יחיד מפוצל למספר כיתות. המשמעות היא שכל מדגם/מערך נתונים של אימון עשוי להיות מורכב משתי כיתות, בסך הכל של 4 יריות. במקרה זה, ניתן לתאר את משימת האימון הכוללת כמשימת סיווג של 4 יריות של 2 כיתות.

בלמידה של מעט יריות, הרעיון הוא שדגימות האימון הבודדות הן מינימליסטיות ושהרשת יכולה ללמוד לזהות אובייקטים לאחר שראתה רק כמה תמונות. זה דומה מאוד לאופן שבו ילד לומד להבחין בין אובייקטים לאחר שראה רק כמה תמונות. גישה זו שימשה ליצירת טכניקות כמו מודלים יצירתיים של צילום אחד ורשתות עצביות מוגדלות בזיכרון.

Meta-Learning מטרי

למידה מבוססת-מטרים היא ניצול של רשתות עצביות כדי לקבוע אם נעשה שימוש יעיל במדד ואם הרשת או הרשתות פוגעות במדד היעד. לימוד מטא מטרי דומה ללמידה של מעט יריות בכך שמשתמשים בכמה דוגמאות בלבד כדי לאמן את הרשת ולגרום לה ללמוד את המרחב המטרי. אותו מדד משמש על פני התחום המגוון ואם הרשתות חורגות מהמדד הן נחשבות ככשלות.

מודל מטא-למידה חוזר

Meta-learning של מודל חוזר הוא היישום של טכניקות מטה-למידה על רשתות עצביות חוזרות ורשתות דומות לזיכרון ארוך-טווח קצר. טכניקה זו פועלת על ידי אימון מודל RNN/LSTM ללמוד ברצף מערך נתונים ולאחר מכן שימוש במודל מאומן זה כבסיס ללומד אחר. המטא-לומד לוקח על עצמו את אלגוריתם האופטימיזציה הספציפי ששימש לאימון המודל הראשוני. הפרמטריזציה המורשת של המטא-לומד מאפשרת לו לאתחל ולהתכנס במהירות, אך עדיין להיות מסוגלת להתעדכן לתרחישים חדשים.

איך מטא-למידה עובדת?

הדרך המדויקת בה מתנהלת למידה מטה משתנה בהתאם למודל ולאופי המשימה העומדת על הפרק. עם זאת, באופן כללי, משימת למידה מטה כולל העתקה על הפרמטרים של הרשת הראשונה לתוך הפרמטרים של הרשת השנייה/האופטימיזר.

ישנם שני תהליכי הכשרה במטא למידה. מודל המטה-למידה מאומן בדרך כלל לאחר שבוצעו מספר שלבים של אימון על מודל הבסיס. לאחר שלבי קדימה, אחורה ואופטימיזציה המאמנים את מודל הבסיס, עובר האימון קדימה עבור מודל האופטימיזציה. לדוגמה, לאחר שלושה או ארבעה שלבים של אימון על מודל הבסיס, מטה-הפסד מחושב. לאחר חישוב המטא-אובדן, ההדרגות מחושבות עבור כל מטא-פרמטר. לאחר שזה מתרחש, המטא-פרמטרים בכלי האופטימיזציה מתעדכנים.

אפשרות אחת לחישוב המטה-הפסד היא לסיים את מעבר האימון קדימה של המודל הראשוני ולאחר מכן לשלב את ההפסדים שכבר חושבו. המטא-אופטימיזר יכול אפילו להיות מטא-לומד אחר, אם כי בשלב מסוים יש להשתמש במייעל דיסקרטי כמו ADAM או SGD.

מודלים רבים של למידה עמוקה יכולים לכלול מאות אלפי או אפילו מיליוני פרמטרים. יצירת מטא-לומד שיש לו סט חדש לגמרי של פרמטרים תהיה יקרה מבחינה חישובית, ומסיבה זו, בדרך כלל משתמשים בטקטיקה הנקראת שיתוף קואורדינטות. שיתוף קואורדינטות כולל הנדסת המטא-לומד/אופטימיזר כך שילמד פרמטר בודד מהמודל הבסיסי ואז פשוט ישכפל את הפרמטר הזה במקום כל שאר הפרמטרים. התוצאה היא שהפרמטרים שיש לאופטימיזציה אינם תלויים בפרמטרים של המודל.