חוקרי AI מפתחים שיטה מהירה לחישוב תחומי ביטחון, ודיווח כאשר המודל לא צריך להיות מוטמע

חוקרים מ-MIT התקדמו לאחרונה פיתחו טכניקה שמאפשרת למודלים של רשתות עצביות עמוקות לחשב במהירות רמות ביטחון, מה שיכול לעזור למדעני נתונים ומשתמשי AI אחרים לדעת מתי לבטוח בחיזויים שניתנים על ידי מודל.

מערכות AI המבוססות על רשתות עצביות מלאכותיות אחראיות ליותר ויותר החלטות בימינו, כולל הרבה החלטות שקשורות לבריאות ובטיחות של אנשים. בגלל זה, רשתות עצביות צריכות להיות בעלות שיטה כלשהי להערכת הביטחון בפלטים שלהן, מה שמאפשר למדעני נתונים לומר כמה אפשר לבטוח בחיזויים שלהן. לאחרונה, צוות של חוקרים מהרווארד ו-MIT עיצבו דרך מהירה לרשתות עצביות ליצור הצגה של רמת הביטחון של המודל לצד החיזויים שלו.

מודלים של למידה עמוקה הפכו ליותר ויותר מתוחכמים במהלך העשור האחרון, ועכשוו יכולים בקלות להתגבר על בני אדם במשימות סיווג נתונים. מודלים של למידה עמוקה משמשים בתחומים שבהם בריאותם ובטיחותם של אנשים עלולים להיות בסכנה אם הם נכשלים, נהיגה של כלי רכב אוטונומיים ואבחון מצבים רפואיים מסריקות. במקרים אלה, זה לא מספיק שמודל הוא 99% מדויק, 1% מהפעמים שהמודל נכשל יכול להוביל לאסון. עקב כך, יש צורך בדרך שמדעני נתונים יוכלו לקבוע כמה אפשר לבטוח בחיזוי נתון.

יש מספר דרכים ליצור תחום ביטחון לצד החיזויים של רשתות עצביות, אך שיטות מסורתיות להערכת אי-ודאות עבור רשת עצבית הן איטיות יחסית ויקרות מבחינה חישובית. רשתות עצביות יכולות להיות עצומות ומורכבות, מלאות במיליארדי פרמטרים. פשוט ליצור חיזויים יכול להיות יקר מבחינה חישובית ולקחת זמן רב, וליצור רמת ביטחון עבור החיזויים לוקח עוד זמן. רוב השיטות הקודמות לקביעת אי-ודאות הסתמכו על דגימה או ריצה של הרשת מספר פעמים כדי לקבל הערכה של הביטחון. זה לא תמיד בר-ביצוע ליישומים שדורשים תנועה מהירה.

כפי שדווח על ידי MIT News, אלכסנדר אמיני מוביל את הקבוצה המשולבת של חוקרים מ-MIT והרווארד, ולפי אמיני, השיטה שפותחה על ידי חוקריהם מאיצה את התהליך של יצירת הערכות אי-ודאות באמצעות טכניקה הנקראת “רגרסיה אפידמיולוגית עמוקה”. אמיני הסביר דרך MIT כי מדעני נתונים זקוקים הן למודלים מהירים והן להערכות אמינות של אי-ודאות כדי שניתן יהיה לזהות מודלים לא נאמנים. כדי לשמור על מהירות המודל וליצור הערכת אי-ודאות, החוקרים עיצבו דרך להעריך אי-ודאות מריצה בודדת של המודל.

החוקרים עיצבו את מודל הרשת העצבית בצורה כזו שהתפלגות פרובביליסטית נוצרה לצד כל החלטה. הרשת מחזיקה בראיות להחלטותיה במהלך תהליך האימון, ויוצרת התפלגות פרובביליסטית על בסיס הראיות. ההתפלגות האפידמיולוגית מייצגת את הביטחון של המודל, והיא מייצגת אי-ודאות הן להחלטה הסופית של המודל והן לנתונים המקוריים. תפיסת אי-ודאות עבור נתונים והחלטות היא חשובה, שכן הפחתת אי-ודאות תלויה בידיעת המקור של האי-ודאות.

החוקרים בדקו את שיטת הערכת האי-ודאות שלהם על ידי יישומה למשימת ראייה ממוחשבת. לאחר שהמודל אומן על סדרת תמונות, הוא יצר הן חיזויים והן הערכות אי-ודאות. הרשת חזתה בהצלחה אי-ודאות גבוהה עבור מקרים שבהם החיזוי היה שגוי. “זה היה מאוד מכוון לשגיאות שהרשת עושה, מה שאנחנו מאמינים היה אחד הדברים החשובים ביותר בשיפוט איכותו של מעריך אי-ודאות חדש”, אמר אמיני לגבי תוצאות הבדיקה.

צוות המחקר המשיך לבצע יותר בדיקות עם ארכיטקטורת הרשת שלהם. כדי לבדוק את הטכניקה, הם בדקו גם את הנתונים על “נתונים מחוץ לתפוצה”, סטים של עצמים שהרשת לא ראתה מעולם. כצפוי, הרשת דיווחה על אי-ודאות גבוהה יותר עבור עצמים אלה. כאשר הוא אומן על סביבות פנים, הרשת הציגה אי-ודאות גבוהה כאשר היא נבדקה על תמונות מסביבות חוץ. הבדיקות הראו כי הרשת יכולה להדגיש כאשר החלטותיה כפופות לאי-ודאות גבוהה ולא צריכות להיות מוטמעות במצבים מסוכנים.

צוות המחקר אפילו דיווח כי הרשת יכולה להבחין כאשר תמונות עובדו. כאשר צוות המחקר שינה צילומים עם רעש עוין, הרשת סימנה את התמונות המשונות עם הערכות אי-ודאות גבוהות, על אף שהשפעה הייתה עדינה מדי מכדי להיראות על ידי צופה אנושי ממוצע.

אם הטכניקה מוכחת כאמינה, רגרסיה אפידמיולוגית עמוקה יכולה לשפר את בטיחותן של מודלי AI בכלל. לפי אמיני, רגרסיה אפידמיולוגית עמוקה יכולה לעזור לאנשים לקבל החלטות זהירות כאשר הם משתמשים במודלי AI במצבים מסוכנים. כפי שאמיני הסביר דרך MIT News:

“אנחנו מתחילים לראות הרבה יותר מאלה [מודלים של רשתות עצביות] זורמים ממעבדת המחקר לעולם האמיתי, למצבים שנוגעים בבני אדם עם השלכות פוטנציאליות של סכנת חיים. כל משתמש בשיטה, האם זה רופא או אדם במושב הנוסע ברכב, צריך להיות מודע לכל סיכון או אי-ודאות הקשורים להחלטה הזו.”