למידה רב-מודאלית הופכת לבולטת בקרב מפתחי AI

Venture Beat (VB) הקדישה אחד מדוחותיה השבועיים ליתרונות של למידה רב-מודאלית בפיתוח הבינה המלאכותית. הזירה שלהם הייתה דו”ח של ABI Research בנושא.

המושג המרכזי טמון בעובדה ש” סטים הנתונים הם אבני היסוד של מערכות AI,” וכי ללא סטים של נתונים, “המודלים לא יכולים ללמוד את היחסים שמידעים את התחזיות שלהם.” דו”ח ABI מנבא כי “בעוד שהבסיס המותקן הכולל של התקני AI יגדל מ-2.69 מיליארד ב-2019 ל-4.47 מיליארד ב-2024, רק מעטים מהם יהיו משותפים בטווח הקצר.”

זה יכול לייצג בזבוז ניכר של זמן, אנרגיה ומשאבים, ” במקום לשלב את הגיגה-בייטים לפטה-בייטים של נתונים הזורמים דרכם לתוך מודל AI אחד או כלל, הם יעבדו באופן עצמאי והטרוגני כדי להבין את הנתונים שהם מקבלים.”

כדי להתגבר על כך, ABI מציע למידה רב-מודאלית, מתודולוגיה שיכולה לקבץ נתונים “מחיישנים וקלטים שונים למערכת אחת. למידה רב-מודאלית יכולה לשאת מידע משלים או מגמות, שלרוב רק מתבררות כאשר הן כוללות בתהליך הלמידה.”

VB מציגה דוגמה תקפה שמחשבה תמונות וכיתובי טקסט. ” אם מילים שונות מזוגות עם תמונות דומות, סביר להניח שמילים אלו משמשות לתיאור אותם דברים או אובייקטים. להפך, אם מילים מסוימות מופיעות ליד תמונות שונות, זה מרמז שתמונות אלו מייצגות את אותו אובייקט. נתון זאת, צריך להיות אפשר למודל AI לחזות אובייקטים של תמונות מתיאורי טקסט, ואכן, גוף של ספרות אקדמית הוכיח שזה המקרה.”

על אף היתרונות האפשריים, ABI מציינת כי אפילו ענקיות טכנולוגיה כמו IBM, Microsoft, Amazon, ו-Google ממשיכות להתמקד בעיקר במערכות אונימודאליות. אחת הסיבות היא האתגרים שכזה שינוי ייצג.

עדיין, חוקרי ABI מנבאים כי ” כמות ההתקנים שיישלחו תגדל מ-3.94 מיליון ב-2017 ל-514.12 מיליון ב-2023, בעיקר בשל האמצעות ברובוטיקה, צרכנות, בריאות ותחומי הבידור.” בין הדוגמאות לחברות שכבר מיישמות למידה רב-מודאלית הם Waymo שמשתמשת בגישות כאלו כדי לבנות ” כלי רכב עצמאיים היפר-מודעים,” ו- Intel Labs, שם צוות ההנדסה של החברה “חוקר טכניקות לאיסוף נתוני חיישנים בסביבות אמיתיות.”

המהנדס הראשי של Intel Labs, Omesh Tickoo, הסביר ל-VB כי “מה שעשינו הוא, באמצעות טכניקות לקביעת הקשר כגון שעת היום, בנינו מערכת שאומרת לך מתי נתוני חיישן אינם מהגבוהים ביותר. נתון ערך הביטחון, היא שוקלת חיישנים שונים זה מול זה בתקופות שונות ובוחרת את התערובת הנכונה כדי לתת לנו את התשובה שאנו מחפשים.”

VB מציינת כי למידה אונימודאלית תישאר דומיננטית במקומות שהיא מאוד יעילה – ביישומים כמו זיהוי תמונות ועיבוד שפה טבעית. בו-זמנית היא מנבאת כי “ככל שהאלקטרוניקה תהיה זולה יותר וחישוב יהיה יותר מסוקל, למידה רב-מודאלית תעלה כנראה רק בחשיבות.”