פרופ' יוליה סטויאנוביץ', מנהלת המרכז לבינה מלאכותית אחראית – סדרת ראיונות

יוליה סטויאנוביץ', הוא פרופסור בבית הספר להנדסה Tandon של NYU ומנהל מייסד של המרכז לבינה מלאכותית אחראית. לאחרונה היא מסרה עדות לוועדת הטכנולוגיה של מועצת ניו יורק על הצעת חוק זה יסדיר את השימוש בבינה מלאכותית להחלטות גיוס והעסקה.

אתה המנהל המייסד של המרכז לבינה מלאכותית אחראית ב-NYU. האם תוכל לשתף אותנו בכמה מהיוזמות שנטל ארגון זה?

אני מנהל את המרכז לבינה מלאכותית אחראית (R/AI) ב-NYU עם סטיבן קויאן. לסטיבן ולי יש תחומי עניין ומומחיות משלימים. אני אקדמאי, עם רקע במדעי המחשב ועם עניין רב בעבודה בהשראת שימוש בצומת של הנדסת נתונים, מדעי נתונים אחראיים ומדיניות. סטיבן הוא המנהל המנהל של ה NYU Tandon Future Labs, רשת של חממות ואקסלרטורים של סטארט-אפים שכבר הייתה לה השפעה כלכלית אדירה בניו יורק. החזון שלנו עבור R/AI הוא לעזור להפוך "AI אחראי" לשם נרדף ל"AI", באמצעות שילוב של מחקר יישומי, חינוך ציבורי ומעורבות, ועל ידי סיוע לחברות גדולות וקטנות - במיוחד קטנות - לפתח בינה מלאכותית אחראית.

בחודשים האחרונים, R/AI השתתף באופן פעיל בשיחות סביב פיקוח על ADS (Automated Decision Systems). הגישה שלנו מבוססת על שילוב של פעילויות חינוכיות ומעורבות במדיניות.

העיר ניו יורק שוקלת הצעת חוק, אינט 1894, שתסדיר את השימוש ב-ADS בגיוס עובדים באמצעות שילוב של ביקורת וחשיפה לציבור. R/AI הגיש הערות ציבוריות להצעת החוק, בהתבסס על המחקר שלנו ועל תובנות שאספנו ממחפשי עבודה דרך כמה מעורבות ציבורית פעילויות.

גם שיתפנו פעולה עם ה-GovLab ב-NYU ועם המכון לאתיקה בבינה מלאכותית באוניברסיטה הטכנית של מינכן בקורס מקוון בחינם בשם "אתיקה של AI: פרספקטיבות גלובליות" שהושק בתחילת החודש.

פרויקט אחר של R/AI שזכה לא מעט בתשומת לב הוא סדרת הקומיקס "Data, Responsibly" שלנו. הכרך הראשון של הסדרה נקרא "מראה, מראה", הוא זמין באנגלית, ספרדית וצרפתית, ונגיש עם קורא מסך בשלוש השפות. הקומיקס קיבל את חדשנות החודש פרס מ-Metro Lab Network ו-GovTech, והיה מכוסה על ידי טורונטו סטאר, בין היתר.

מהן כמה מהבעיות הנוכחיות או הפוטנציאליות עם הטיית בינה מלאכותית להחלטות גיוס והעסקה?

זו שאלה מורכבת שדורשת מאיתנו קודם כל להיות ברור למה אנחנו מתכוונים ב"הטיה". הדבר המרכזי שיש לציין הוא שמערכות גיוס אוטומטיות הן "ניתוח חיזוי" - הן חוזות את העתיד על סמך העבר. העבר מיוצג על ידי נתונים היסטוריים על אנשים שנשכרו על ידי החברה, ועל אופן הביצועים של אנשים אלה. לאחר מכן המערכת "מאומנת" על נתונים אלה, כלומר היא מזהה דפוסים סטטיסטיים ומשתמשת בהם כדי לבצע תחזיות. הדפוסים הסטטיסטיים האלה הם ה"קסם" של AI, על זה מבוססים מודלים חזויים. ברור, אבל חשוב מכך, נתונים היסטוריים שמהם נכרו הדפוסים האלה שותקים לגבי אנשים שלא התקבלו לעבודה כי אנחנו פשוט לא יודעים איך הם היו עושים את העבודה שהם לא קיבלו. וכאן ההטיה באה לידי ביטוי. אם נשכור באופן שיטתי יותר אנשים מקבוצות דמוגרפיות וסוציו-אקונומיות ספציפיות, אזי החברות בקבוצות הללו, והמאפיינים הנלווים לחברות בקבוצה זו, יהפכו לחלק מהמודל הניבוי. לדוגמה, אם אי פעם נראה רק בוגרי אוניברסיטאות מובילות נשכרים לתפקידי ניהול, אזי המערכת לא יכולה ללמוד שאנשים שלמדו בבית ספר אחר עשויים גם הם להצליח. קל לראות בעיה דומה לגבי מגדר, גזע ונכות.

הטיה ב-AI היא הרבה יותר רחבה מסתם הטיה בנתונים. היא מתעוררת כאשר אנו מנסים להשתמש בטכנולוגיה שבה פתרון טכני פשוט אינו הולם, או כאשר אנו מציבים את המטרות הלא נכונות עבור ה-AI - לעתים קרובות כי אין לנו מערכת קולות מגוונת ליד שולחן העיצוב, או כאשר אנו מוותרים על שלנו. סוכנות באינטראקציות אנושיות בינה מלאכותית לאחר פריסת ה-AI. כל אחת מהסיבות הללו להטיה ראויה לדיון משלה, שככל הנראה יימשך זמן רב יותר ממה שהמקום במאמר זה מאפשר. ולכן, בשביל להישאר ממוקד, הרשו לי לחזור להטיה בנתונים.

כשאני מסביר הטיה בנתונים, אני אוהב להשתמש במטאפורת השתקפות המראה. נתונים הם דימוי של העולם, השתקפות המראה שלו. כאשר אנו חושבים על הטיה בנתונים, אנו חוקרים את ההשתקפות הזו. אחת הפרשנויות ל"הטיה בנתונים" היא שההשתקפות מעוותת - המראה שלנו מייצגת פחות או מייצגת יתר כמה חלקים בעולם, או מעוותת בדרך אחרת את הקריאות. פרשנות נוספת ל"הטיה בנתונים" היא שגם אם ההשתקפות הייתה נאמנה ב-100%, היא עדיין תהיה השתקפות של העולם כפי שהוא היום, ולא של איך שהוא יכול או צריך להיות. חשוב לציין, זה לא תלוי בנתונים או באלגוריתם שיגיד לנו אם זה השתקפות מושלמת של עולם שבור, או השתקפות שבורה של עולם מושלם, או אם העיוותים האלה מתערבים. זה תלוי באנשים - יחידים, קבוצות, החברה בכללותה - להגיע להסכמה לגבי האם אנחנו בסדר עם העולם כפי שהוא, או, אם לא, כיצד עלינו לשפר אותו.

בחזרה לניתוח הניבוי: ככל שהפערים חזקים יותר בנתונים, כהשתקפות של העבר, כך גדל הסיכוי שהם ייקלטו על ידי המודלים הניבויים, וישוכפלו - ואף יוחרפו - בעתיד.

אם המטרה שלנו היא לשפר את שיטות הגיוס שלנו עם עין על שוויון וגיוון, אז אנחנו פשוט לא יכולים לבצע מיקור חוץ של העבודה הזו למכונות. עלינו לעשות את העבודה הקשה של זיהוי הגורמים האמיתיים להטיה בגיוס ותעסוקה חזיתית, ולנהל משא ומתן על פתרון סוציו-משפטי-טכני עם מידע מכל בעלי העניין. לטכנולוגיה בהחלט יש תפקיד לעזור לנו לשפר את המצב הקיים: היא יכולה לעזור לנו להישאר כנים לגבי המטרות והתוצאות שלנו. אבל העמדת פנים כמו ביטול הטיה של הנתונים או הניתוח הניבוי יפתרו את הבעיות העמוקות של אפליה בגיוס עובדים היא תמימה במקרה הטוב.

לאחרונה מסרת עדות לוועדת הטכנולוגיה של מועצת ניו יורק, הערה בולטת אחת הייתה כדלקמן: "אנו מוצאים שגם תקציב המפרסם וגם תוכן המודעה תורמים באופן משמעותי להטיית הצגת המודעות של פייסבוק. באופן קריטי, אנו רואים הטיה משמעותית בהצגה לאורך קווים מגדריים וגזעיים עבור מודעות 'אמיתיות' לתעסוקה ודיור למרות פרמטרי מיקוד ניטרליים". אילו פתרונות יש להימנע מהטיה מסוג זה?

ההערה הזו שהעליתי מבוססת על מבריק מאמר מאת Ali et al. שנקרא "אפליה באמצעות אופטימיזציה: כיצד הצגת המודעות של פייסבוק יכולה להוביל לתוצאות מוטות". המחברים מוצאים שמנגנון הצגת המודעות עצמו אחראי להחדרה ולהגברה של אפקטים מפלים. מיותר לציין שהממצא הזה בעייתי ביותר, בייחוד כשהוא מופיע על רקע האטימות בפייסבוק ובפלטפורמות אחרות - גוגל וטוויטר. הנטל מוטל על הפלטפורמות להוכיח בדחיפות ומשכנעות שהן יכולות לשלוט בהשפעות מפלות כמו אלו שמצאו עלי וחב'. מלבד זאת, אינני יכול למצוא הצדקה להמשך השימוש במיקוד מודעות מותאם אישית בדיור, תעסוקה, ו תחומים אחרים שבהם מונחים על כף המאזניים חייהם ופרנסתם של אנשים.

כיצד יכולים מדעני נתונים ומפתחי בינה מלאכותית למנוע בצורה הטובה ביותר הטיה לא מכוונת אחרת לזחול למערכות שלהם?

 זה לא לגמרי תלוי במדעני נתונים, או בקבוצת מחזיקי עניין כלשהי, להבטיח שמערכות טכניות מיושרות עם הערכים החברתיים. אבל מדעני נתונים הם, אכן, בחזית הקרב הזה. כמדען מחשבים בעצמי, אני יכול להעיד על האטרקטיביות של חשיבה שהמערכות שאנו מעצבים הן "אובייקטיביות", "אופטימליות" או "נכונות". עד כמה מוצלחים מדעי המחשב ומדעי הנתונים - כמה משפיעים וכמה בשימוש נרחב - הוא גם ברכה וגם קללה. לנו הטכנולוגים כבר אין את המותרות להתחבא מאחורי המטרות הבלתי מושגות של אובייקטיביות ונכונות. הנטל מוטל עלינו לחשוב היטב על מקומנו בעולם, ולחנך את עצמנו על התהליכים החברתיים והפוליטיים שאנו משפיעים עליהם. החברה לא יכולה להרשות לנו לנוע מהר ולשבור דברים, עלינו להאט ולהרהר.

זה סמלי שהפילוסופיה הייתה פעם המרכז של כל שיח מדעי וחברתי, ואז באה המתמטיקה, ואז מדעי המחשב. כעת, כשמדעי הנתונים תופסים את מרכז הבמה, הגענו למעגל וצריכים להתחבר בחזרה לשורשים הפילוסופיים שלנו.

המלצה נוספת שהצעת היא יצירת ציבור מושכל. כיצד אנו מודיעים לציבור שאולי אינו מכיר בינה מלאכותית, או מבין את הבעיות הקשורות להטיית בינה מלאכותית?

יש צורך עז לחנך אנשים לא טכניים על טכנולוגיה, ולחנך אנשים טכניים על ההשלכות החברתיות שלה. השגת שתי המטרות הללו תדרוש מחויבות חזקה והשקעה משמעותית מצד הממשלה שלנו. עלינו לפתח חומרים ומתודולוגיות חינוכיות עבור כל הקבוצות הללו, ולמצוא דרכים לתמרץ השתתפות. ואנחנו לא יכולים להשאיר את העבודה הזו בידי גופים מסחריים. האיחוד האירופי מוביל, כאשר כמה ממשלות מספקות תמיכה חינוך בסיסי בינה מלאכותית של אזרחיה, ושילוב תכניות לימודים בינה מלאכותית בתוכניות התיכון. אנו ב-R/AI עובדים על קורס זמין לציבור ונגיש באופן רחב, במטרה ליצור ציבור מעורב שיעזור להפוך את AI למה שאנחנו רוצים שיהיה. אנו נרגשים מאוד מהעבודה הזו, אנא הישאר מעודכן למידע נוסף בחודש הקרוב.

תודה על התגובות המפורטות הנהדרות, קוראים שרוצים ללמוד עוד צריכים לבקר במרכז לבינה מלאכותית אחראית.