חוקרי בינה מלאכותית מפתחים שיטה מהירה לחישוב רווחי סמך, דיווח כאשר אין לסמוך על המודל

חוקרים מ-MIT יש לאחרונה פיתח טכניקה המאפשרת למודלים של רשת למידה עמוקה לחשב במהירות רמות ביטחון, מה שיכול לעזור למדעני נתונים ומשתמשי AI אחרים לדעת מתי לסמוך על התחזיות המוצגות על ידי מודל.

מערכות בינה מלאכותית המבוססות על רשתות עצביות מלאכותיות אחראיות ליותר ויותר החלטות בימינו, כולל החלטות רבות הכרוכות בבריאות ובבטיחות של אנשים. בשל כך, לרשתות עצביות צריכה להיות שיטה כלשהי להעריך את האמון בתפוקות שלהן, מה שמאפשר למדעני נתונים לדעת עד כמה אמינות התחזיות שלהם. לאחרונה, צוות חוקרים מהרווארד ו-MIT תכנן דרך מהירה לרשתות עצביות ליצור אינדיקציה לאמון המודל לצד התחזיות שלו.

מודלים של למידה עמוקה הפכו יותר ויותר מתוחכמים במהלך העשור האחרון, וכעת הם יכולים בקלות להתעלות על בני אדם במשימות סיווג נתונים. מודלים של למידה עמוקה נמצאים בשימוש בתחומים שבהם בריאותם ובטיחותם של אנשים עלולים להיות בסיכון אם הם ייכשלו, נהיגה בכלי רכב אוטונומיים ואבחון מצבים רפואיים מסריקות. במקרים אלו, לא מספיק שמודל מדויק ב-99%, 1% מהפעמים שהמודל נכשל יש לו פוטנציאל להוביל לאסון. כתוצאה מכך, צריכה להיות דרך שבה מדעני נתונים יוכלו לקבוע עד כמה כל תחזית נתונה אמינה.

ישנן מספר דרכים בהן ניתן ליצור רווח סמך יחד עם התחזיות של רשתות עצביות, אך שיטות מסורתיות להערכת אי ודאות עבור רשת עצבית הן איטיות למדי ויקרות מבחינה חישובית. רשתות עצביות יכולות להיות גדולות ומורכבות להפליא, מלאות במיליארדי פרמטרים. עצם יצירת התחזיות עשויה להיות יקרה מבחינה חישובית ולקחת זמן רב, ויצירת רמת ביטחון לתחזיות נמשכת אפילו יותר זמן. רוב השיטות הקודמות לכימות אי ודאות הסתמכו על דגימה או הפעלת רשת שוב ושוב כדי לקבל אומדן של האמון שלה. זה לא תמיד אפשרי עבור יישומים הדורשים תעבורה במהירות גבוהה.

כפי שדווח על ידי MIT News, אלכסנדר אמיני מוביל את קבוצת החוקרים המשולבת מ-MIT והרווארד, ולפי אמיני השיטה שפיתחו החוקרים שלהם מאיצה את תהליך יצירת הערכות אי הוודאות באמצעות טכניקה הנקראת "רגרסיה ראייתית עמוקה". אמיני הסביר באמצעות MIT כי מדעני נתונים דורשים גם מודלים מהירים וגם הערכות אמינות של אי ודאות כדי שניתן יהיה להבחין במודלים לא אמינים. על מנת לשמר גם את מהירות המודל וגם לייצר אומדן אי ודאות, החוקרים תכננו דרך להעריך את אי הוודאות מהרצה בודדת של המודל.

החוקרים תכננו את מודל הרשת העצבית בצורה כזו שנוצרה התפלגות הסתברותית לצד כל החלטה. הרשת אוחזת בראיות להחלטותיה במהלך תהליך ההכשרה, ויוצרת התפלגות הסתברות על סמך העדויות. ההתפלגות הראייתית מייצגת את אמון המודל, והיא מייצגת אי ודאות הן להחלטה הסופית של המודל והן לנתוני הקלט המקוריים. לכידת אי ודאות הן עבור נתוני קלט והן עבור החלטות חשובה, שכן הפחתת אי הוודאות תלויה בידיעת מקור אי הוודאות.

החוקרים בדקו את טכניקת הערכת אי הוודאות שלהם על ידי יישומו על משימת ראייה ממוחשבת. לאחר שהמודל הוכשר על סדרת תמונות, הוא יצר הן תחזיות והן הערכות אי ודאות. הרשת הציגה נכונה אי ודאות גבוהה למקרים שבהם נעשתה חיזוי שגוי. "זה היה מכויל מאוד לטעויות שהרשת עושה, שלדעתנו היה אחד הדברים החשובים ביותר בשיפוט האיכות של אומדן אי ודאות חדש", אמר אמיני לגבי תוצאות הבדיקה של המודל.

צוות המחקר המשיך לערוך בדיקות נוספות עם ארכיטקטורת הרשת שלהם. על מנת לבחון את הטכניקה, הם גם בדקו את הנתונים על נתונים "מחוץ להפצה", מערכי נתונים המורכבים מאובייקטים שהרשת מעולם לא ראתה קודם לכן. כצפוי, הרשת דיווחה על אי ודאות גבוהה יותר עבור אובייקטים בלתי נראים אלה. כאשר הוכשרה על סביבות פנימיות, הרשת הציגה אי ודאות גבוהה כאשר נבדקה על תמונות מסביבות חיצוניות. הבדיקות הראו שהרשת יכולה להדגיש מתי החלטותיה נתונות לאי ודאות גבוהה ואין לסמוך עליהן בנסיבות מסוימות בסיכון גבוה.

צוות המחקר אף דיווח שהרשת יכלה להבחין מתי טופלו תמונות. כאשר צוות המחקר שינה תמונות עם רעש יריב, הרשת תייגה את התמונות החדשות שהשתנו בהערכות חוסר ודאות גבוהות, למרות העובדה שהאפקט היה עדין מכדי שניתן יהיה לראות את הצופה האנושי הממוצע.

אם הטכניקה תתברר כאמינה, רגרסיה ראייתית עמוקה יכולה לשפר את הבטיחות של מודלים של AI באופן כללי. לדברי אמיני, רגרסיה ראייתית עמוקה יכולה לעזור לאנשים לקבל החלטות זהירות בעת שימוש במודלים של AI במצבי סיכון. כפי שאמיני הסביר באמצעות MIT News:

"אנחנו מתחילים לראות הרבה יותר מהמודלים האלה [רשת עצבית] זולגים ממעבדת המחקר ואל העולם האמיתי, לתוך מצבים שנוגעים בבני אדם עם השלכות שעלולות להיות מסכנות חיים. כל משתמש בשיטה, בין אם מדובר ברופא ובין אם מדובר באדם במושב הנוסע ברכב, צריך להיות מודע לכל סיכון או אי ודאות הקשורים להחלטה זו".