ירון זינגר, מנכ"ל בחברת Robust Intelligence ופרופסור למדעי המחשב באוניברסיטת הרווארד - סדרת ראיונות

ירון זינגר הוא המנכ"ל של מודיעין חזק ופרופסור למדעי המחשב ומתמטיקה שימושית בהרווארד. ירון ידוע בתוצאות פורצות דרך בתחום למידת מכונה, אלגוריתמים ואופטימיזציה. בעבר, ירון עבד ב-Google Research והשיג את הדוקטורט שלו מאוניברסיטת ברקלי.

מה משך אותך בתחילה לתחום מדעי המחשב ולמידת מכונה?

המסע שלי התחיל במתמטיקה, שהובילה אותי למדעי המחשב, שהובילה אותי לדרך ללמידת מכונה. מתמטיקה עוררה בי עניין בהתחלה מכיוון שהמערכת האקסיומטית שלה נתנה לי את היכולת ליצור עולמות חדשים. עם מדעי המחשב למדתי על הוכחות קיומיות, אבל גם על האלגוריתמים מאחוריהן. מנקודת מבט יצירתית, מדעי המחשב הם ציור הגבולות בין מה שאנחנו יכולים לעשות ומה שאנחנו לא יכולים לעשות.

העניין שלי בלמידת מכונה תמיד נעוץ בעניין בנתונים אמיתיים, כמעט בהיבט הפיזי שלהם. לקחת דברים מהעולם האמיתי ולעצב אותם כדי להפוך משהו משמעותי. נוכל ממש להנדס עולם טוב יותר באמצעות דוגמנות משמעותית. אז מתמטיקה נתנה לי בסיס להוכיח דברים, מדעי המחשב עוזרים לי לראות מה אפשר ומה לא ניתן לעשות, ולמידת מכונה מאפשרת לי לעצב את המושגים האלה בעולם.

עד לא מזמן היית פרופסור למדעי המחשב ומתמטיקה שימושית באוניברסיטת הרווארד, מה היו כמה מהדברים העיקריים שלך מהחוויה הזו?

המוצא הגדול ביותר שלי מלהיות חבר סגל בהרווארד הוא שזה מפתח את התיאבון לעשות דברים גדולים. באופן מסורתי יש בהרווארד סגל קטן, והציפייה מהפקולטה למסלול קביעות היא להתמודד עם בעיות גדולות וליצור תחומים חדשים. אתה צריך להיות נועז. בסופו של דבר זו הכנה מצוינת להשקת סטארטאפ יוצר קטגוריות המגדיר מרחב חדש. אני לא בהכרח ממליץ לעבור קודם את מסלול הקביעות בהרווארד - אבל אם תשרוד את זה, בניית סטארטאפ קלה יותר.

האם תוכל לתאר את רגע ה-'aha' שלך שבו הבנת שמערכות AI מתוחכמות פגיעות לנתונים גרועים, עם כמה השלכות מרחיקות לכת?

כשהייתי סטודנט לתואר שני באוניברסיטת ברקלי, לקחתי קצת חופש כדי לעשות סטארטאפ שבנה מודלים של למידת מכונה לשיווק ברשתות חברתיות. זה היה עוד ב-2010. היו לנו כמויות אדירות של נתונים ממדיה חברתית, וקידדנו את כל הדגמים מאפס. ההשלכות הכספיות על הקמעונאים היו די משמעותיות ולכן עקבנו מקרוב אחר ביצועי הדגמים. מכיוון שהשתמשנו בנתונים ממדיה חברתית, היו שגיאות רבות בקלט, כמו גם סחיפה. ראינו שטעויות קטנות מאוד הביאו לשינויים גדולים בתפוקת המודל ועלולות לגרום לתוצאות כספיות רעות לקמעונאים המשתמשים במוצר.

כשעברתי לעבוד ב-Google+ (לאלו מאיתנו שזוכרים), ראיתי את אותן ההשפעות בדיוק. באופן דרמטי יותר, במערכות כמו AdWords שעשו תחזיות לגבי הסבירות שאנשים ילחצו על פרסומת עבור מילות מפתח, שמנו לב ששגיאות קטנות בקלט למודל מובילות לתחזיות גרועות מאוד. כשאתה עד לבעיה זו בקנה מידה של גוגל, אתה מבין שהבעיה היא אוניברסלית.

החוויות הללו עיצבו מאוד את המיקוד המחקרי שלי, וביליתי את זמני בהרווארד בחקירה מדוע מודלים של AI עושים טעויות, וחשוב מכך, כיצד לעצב אלגוריתמים שיכולים למנוע ממודלים לעשות טעויות. זה, כמובן, הוביל לעוד רגעי 'אהה' ובסופו של דבר ליצירת מודיעין חזק.

האם תוכל לשתף את סיפור ההתחלה מאחורי מודיעין חזק?

מודיעין חזק התחיל עם מחקר על מה שהיה בהתחלה בעיה תיאורטית: מהן הערבויות שיכולות להיות לנו להחלטות המתקבלות באמצעות מודלים של AI. קוג'ין היה סטודנט בהרווארד, ועבדנו יחד, בהתחלה כתבנו עבודות מחקר. אז, זה מתחיל בכתיבת מאמרים שמתארים מה אפשרי ובלתי אפשרי באופן תיאורטי. תוצאות אלה המשיכו מאוחר יותר לתוכנית לתכנון אלגוריתמים ומודלים שעמידים בפני כשלים בינה מלאכותית. לאחר מכן אנו בונים מערכות שיכולות להפעיל את האלגוריתמים הללו בפועל. לאחר מכן, פתיחת חברה שבה ארגונים יוכלו להשתמש במערכת כזו הייתה שלב טבעי הבא.

הרבה מהנושאים שבהם מתמודדת מודיעין חזק הם שגיאות שקטות, מהן ומה הופך אותן למסוכנות כל כך?

לפני שנותנים הגדרה טכנית של שגיאות שקטות, כדאי לקחת צעד אחורה ולהבין מדוע עלינו לדאוג לכך ש-AI עושה שגיאות מלכתחילה. הסיבה שאכפת לנו ממודלים של AI עושים טעויות היא ההשלכות של הטעויות הללו. העולם שלנו משתמש בבינה מלאכותית כדי להפוך החלטות קריטיות לאוטומטיות: מי מקבל הלוואה לעסק ובאיזה ריבית, מי מקבל כיסוי ביטוחי בריאות ובאיזה תעריף, באילו שכונות צריך לסייר במשטרה, מי צפוי להיות מועמד מוביל לעבודה, כיצד עלינו לארגן את אבטחת נמל התעופה וכן הלאה. העובדה שדגמי בינה מלאכותית מועדים ביותר לשגיאות פירושה שבאוטומציה של החלטות קריטיות אלו אנו יורשים הרבה מאוד סיכון. בחברת Robust Intelligence אנו קוראים לזה "סיכון AI" והמשימה שלנו בחברה היא לחסל את סיכון AI.

שגיאות שקטות הן שגיאות במודלים של בינה מלאכותית שבהן מודל הבינה המלאכותית מקבל קלט ומייצר חיזוי או החלטה שגויים או מוטים כפלט. אז, על פני השטח, הכל למערכת נראה בסדר, בכך שמודל הבינה המלאכותית עושה את מה שהוא אמור לעשות מנקודת מבט פונקציונלית. אבל התחזית או ההחלטה שגויה. השגיאות האלה שקטות מכיוון שהמערכת לא יודעת שיש שגיאה. זה יכול להיות הרבה יותר גרוע מהמקרה שבו מודל בינה מלאכותית אינו מייצר פלט, מכיוון שיכול לקחת זמן רב עד שארגונים מבינים שמערכת ה-AI שלהם פגומה. לאחר מכן, סיכון בינה מלאכותית הופך לכשלים בבינה מלאכותית שעלולות להיות לה השלכות קשות.

Robust Intelligence עיצב בעצם חומת אש בינה מלאכותית, רעיון שנחשב בעבר בלתי אפשרי. למה זה אתגר כל כך טכני?

אחת הסיבות שחומת האש של AI היא אתגר כזה היא משום שהיא נוגדת את הפרדיגמה שהייתה לקהילת ה-ML. הפרדיגמה הקודמת של קהילת ה-ML הייתה שכדי למגר שגיאות, צריך להזין יותר נתונים, כולל נתונים גרועים למודלים. על ידי כך, הדוגמניות יאמנו את עצמן וילמדו כיצד לתקן את הטעויות בעצמן. הבעיה בגישה הזו היא שהיא גורמת לדיוק של המודל לרדת באופן דרמטי. התוצאות הידועות ביותר עבור תמונות, למשל, גורמות לדיוק מודל AI לרדת מ-98.5% לכ-37%.

חומת האש של AI מציעה פתרון אחר. אנו מנתקים את הבעיה של זיהוי שגיאה מהתפקיד של יצירת חיזוי, כלומר חומת האש יכולה להתמקד במשימה ספציפית אחת: לקבוע אם נקודת נתונים תייצר חיזוי שגוי.

זה היה אתגר בפני עצמו בשל הקושי לתת תחזית על נקודת נתונים בודדת. יש הרבה סיבות מדוע מודלים עושים שגיאות, ולכן בניית טכנולוגיה שיכולה לחזות שגיאות אלו לא הייתה משימה קלה. אנחנו ברי מזל שיש לנו את המהנדסים שיש לנו.

כיצד המערכת יכולה לסייע במניעת הטיית AI?

הטיית מודל נובעת מאי התאמה בין הנתונים שעליהם הוכשר המודל לבין הנתונים שהוא משתמש בו כדי לבצע תחזיות. אם נחזור לסיכון בינה מלאכותית, הטיה היא בעיה מרכזית המיוחסת לטעויות שקטות. לדוגמה, לעתים קרובות מדובר בבעיה עם אוכלוסיות מיוצגות בחסר. למודל עשויה להיות הטיה מכיוון שהוא ראה פחות נתונים מאותה אוכלוסייה, מה שישפיע באופן דרמטי על הביצועים של אותו מודל ועל הדיוק של התחזיות שלו. חומת האש של AI יכולה להתריע בפני ארגונים על אי-התאמות הנתונים הללו ולעזור למודל לקבל החלטות נכונות.

מהם כמה מהסיכונים האחרים לארגונים שחומת אש של AI עוזרת למנוע?

כל חברה המשתמשת ב-AI כדי להפוך החלטות לאוטומטיות, במיוחד החלטות קריטיות, מציגה סיכון אוטומטית. נתונים גרועים יכולים להיות מינוריים כמו הזנת אפס במקום אחד ועדיין לגרום לתוצאות משמעותיות. בין אם הסיכון הוא תחזיות רפואיות שגויות או תחזיות כוזבות לגבי הלוואות, חומת האש של AI עוזרת לארגונים למנוע סיכון כליל.

האם יש משהו נוסף שתרצה לחלוק על מודיעין חזק?

מודיעין חזק צומח במהירות ואנו מקבלים הרבה מועמדים מצוינים שמגישים מועמדות לתפקידים. אבל משהו שאני באמת רוצה להדגיש עבור אנשים ששוקלים להגיש מועמדות הוא שהתכונה הכי חשובה שאנחנו מחפשים אצל המועמדים היא התשוקה שלהם למשימה. אנחנו זוכים לפגוש הרבה מועמדים חזקים מבחינה טכנית, אז זה באמת מסתכם בהבנה אם הם באמת נלהבים לחסל את סיכון הבינה המלאכותית כדי להפוך את העולם למקום בטוח וטוב יותר.

בעולם שאליו אנו הולכים, החלטות רבות שמתקבלות כעת על ידי בני אדם יהיו אוטומטיות. בין אם נרצה או לא, זו עובדה. בהתחשב בכך, כולנו בחברת Robust Intelligence רוצים שהחלטות אוטומטיות ייעשו באחריות. אז, כל מי שמתרגש להשפיע, שמבין איך זה יכול להשפיע על חייהם של אנשים, הוא מועמד שאנחנו מחפשים להצטרף למודיעין חזק. אנחנו מחפשים את התשוקה הזו. אנחנו מחפשים את האנשים שייצרו את הטכנולוגיה הזו שכל העולם ישתמש בה.

תודה על הראיון הנהדר, נהניתי ללמוד על דעותיך על מניעת הטיית בינה מלאכותית ועל הצורך בחומת אש בינה מלאכותית, קוראים שרוצים ללמוד עוד צריכים לבקר אינטליגנציה חזקה.