אנדרו גורדון, יועץ מחקר בכיר, פרוליפיק – סדרת ראיונות

אנדרו גורדון מסתמך על הרקע החזק שלו בפסיכולוגיה ובמדעי המוח כדי לחשוף תובנות כחוקר. בעל תואר ראשון בפסיכולוגיה, MSc בנוירופסיכולוגיה ודוקטורט. במדעי המוח הקוגניטיביים, אנדרו ממנף עקרונות מדעיים כדי להבין את המניעים, ההתנהגות וקבלת ההחלטות של הצרכנים.

שקר נוצר על ידי חוקרים עבור חוקרים, במטרה להציע שיטה מעולה להשגת נתונים אנושיים באיכות גבוהה וקלט עבור מחקר חדשני. כיום, למעלה מ-35,000 חוקרים מהאקדמיה ומהתעשייה מסתמכים על בינה מלאכותית של פרוליפיק כדי לאסוף נתונים אנושיים סופיים ומשוב. הפלטפורמה ידועה במשתתפים האמינים, המעורבים ומטופלים בהגינות, כאשר מחקר חדש יוצא לדרך כל שלוש דקות.

איך אתה ממנף את הרקע שלך במדעי המוח הקוגניטיביים כדי לעזור לחוקרים שמבצעים פרויקטים הקשורים בינה מלאכותית?

נקודת התחלה טובה היא להגדיר מה בעצם כולל מדעי המוח הקוגניטיביים. בעיקרו של דבר, מדעי המוח הקוגניטיביים חוקרים את היסודות הביולוגיים של תהליכים קוגניטיביים. הוא משלב בין היתר עקרונות ממדעי המוח והפסיכולוגיה, ומדי פעם מדעי המחשב, שעוזרים לנו להבין כיצד המוח שלנו מאפשר תפקודים נפשיים שונים. בעיקרו של דבר, כל מי שעוסק במחקר מדעי המוח הקוגניטיבי צריך להיות בעל הבנה חזקה של מתודולוגיות מחקר והבנה טובה של איך אנשים חושבים ומתנהגים. שני היבטים אלו הם חיוניים וניתן לשלבם כדי לפתח ולהפעיל גם מחקר AI באיכות גבוהה. עם זאת, אזהרה אחת היא שמחקר בינה מלאכותית הוא מונח רחב; זה יכול לכלול כל דבר, החל מאימון מודל בסיסי והערת נתונים ועד להבנת האופן שבו אנשים מקיימים אינטראקציה עם מערכות בינה מלאכותית. הפעלת פרויקטי מחקר עם AI אינה שונה מהפעלת פרויקטי מחקר מחוץ ל-AI; אתה עדיין צריך הבנה טובה של שיטות, עיצוב מחקרים כדי ליצור את הנתונים הטובים ביותר, לדגום נכון כדי למנוע הטיה, ולאחר מכן להשתמש בנתונים האלה בניתוחים יעילים כדי לענות על כל שאלת מחקר שאתה מתייחס אליה.

פרוליפיק שמה דגש על יחס אתי ופיצוי הוגן למשתתפיה. האם תוכל לחלוק תובנות לגבי האתגרים והפתרונות בשמירה על סטנדרטים אלה?

מודל התגמול שלנו נועד להבטיח שהמשתתפים מוערכים ומתוגמלים, ובכך מרגישים שהם ממלאים חלק משמעותי במכונת המחקר (כי הם כן). אנו מאמינים שטיפול הוגן במשתתפים ומתן להם שיעור תשלום הוגן, מניע אותם לעסוק עמוק יותר במחקר וכתוצאה מכך לספק נתונים טובים יותר.

לרוע המזל, רוב פלטפורמות הדגימה המקוונות אינן אוכפות את העקרונות הללו של תשלום וטיפול אתיים. התוצאה היא מאגר משתתפים שמתמרץ לא לעסוק במחקר, אלא למהר דרכו כמה שיותר מהר כדי למקסם את פוטנציאל ההשתכרות שלהם, מה שמוביל לנתונים באיכות נמוכה. השמירה על העמדה שאנו נוקטים ב-Prolific היא מאתגרת; אנחנו בעצם נלחמים נגד הזרם. הסטטוס קוו במחקר בינה מלאכותית וצורות אחרות של מחקר מקוון לא התמקד בטיפול או ברווחה של המשתתפים אלא במקסום כמות הנתונים שניתן לאסוף בעלות הנמוכה ביותר.

לגרום לקהילת המחקר הרחבה יותר להבין מדוע נקטנו בגישה זו ואת הערך שהם יראו בשימוש בנו, בניגוד לפלטפורמה מתחרה, מהווה אתגר לא קטן. אתגר נוסף, מנקודת מבט לוגיסטית, כרוך בהקדשת כמות משמעותית של זמן כדי להגיב לחששות, שאילתות או תלונות מצד המשתתפים או החוקרים שלנו בזמן והוגן. אנו מקדישים לכך זמן רב כי זה גורם למשתמשים משני הצדדים - משתתפים וחוקרים - להיות מאושרים, ומעודד אותם להמשיך ולחזור לפרוליק. עם זאת, אנו גם סומכים במידה רבה על החוקרים המשתמשים בפלטפורמה שלנו כדי לעמוד בסטנדרטים הגבוהים שלנו של טיפול ופיצוי ברגע שהמשתתפים יילקחו למשימה או לסקר של החוקר ובכך יעזבו את המערכת האקולוגית הפורה. מה שקורה מחוץ לפלטפורמה שלנו הוא באמת בשליטת צוות המחקר, ולכן אנו תלויים לא רק בכך שהמשתתפים יודיעו לנו אם משהו לא בסדר, אלא גם בכך שהחוקרים שלנו יקיימו את הסטנדרטים הגבוהים ביותר האפשריים. אנו מנסים לספק הנחיות רבות ככל האפשר כדי להבטיח שזה יקרה.

בהתחשב במודל העסקי של פרוליפיק, מה דעתך על התפקיד המהותי של משוב אנושי בפיתוח AI, במיוחד בתחומים כמו זיהוי הטיות ושיפור חשיבה חברתית?

משוב אנושי בפיתוח AI הוא חיוני. ללא מעורבות אנושית, אנו מסתכנים בהנצחת הטיות, בהתעלמות מהניואנסים של אינטראקציה חברתית אנושית, ואי-התייחסות לכמה מהשיקולים האתיים השליליים הקשורים לבינה מלאכותית. זה עלול לעכב את ההתקדמות שלנו לקראת יצירת מערכות בינה מלאכותית אחראיות, יעילות ואתיות. במונחים של זיהוי הטיה, שילוב משוב אנושי במהלך תהליך הפיתוח הוא חיוני מכיוון שעלינו לשאוף לפתח בינה מלאכותית המשקפת מגוון רחב ככל האפשר של השקפות וערכים, מבלי להעדיף אחד על פני השני. לדמוגרפיה, רקע ותרבויות שונות יש הטיות לא-מודעות שאמנם אינן בהכרח שליליות, אך עדיין עשויות לשקף נקודת מבט שלא תהיה רווחת. מחקר שיתופי בין פרוליפיק לאוניברסיטת מישיגן הדגיש כיצד הרקע של כותבים שונים יכול בצורה משמעותית להשפיע על האופן שבו הם מדרגים היבטים כמו רעילות הדיבור או נימוס. כדי להתמודד עם זה, שיתוף משתתפים מרקעים, תרבויות ונקודות מבט מגוונות יכול למנוע מהטיות אלו להיות מושרשות במערכות AI שנמצאות בפיתוח. בנוסף, משוב אנושי מאפשר לחוקרי בינה מלאכותית לזהות צורות עדינות יותר של הטיה שעשויות שלא להיקלט בשיטות אוטומטיות. זה מקל על ההזדמנות לטפל בהטיות באמצעות התאמות באלגוריתמים, במודלים הבסיסיים או בטכניקות עיבוד מוקדם של נתונים.

המצב עם חשיבה חברתית הוא בעצם אותו הדבר. בינה מלאכותית נאבקת לעתים קרובות במשימות הדורשות חשיבה חברתית מכיוון שמטבעה היא אינה יצור חברתי, בעוד שבני אדם כן. זיהוי הקשר כאשר שאלה נשאלת, הבנת סרקזם או זיהוי רמזים רגשיים, דורש חשיבה חברתית דמוית אנוש שבינה מלאכותית לא יכולה ללמוד בעצמה. אנו, כבני אדם, לומדים חברתית, כך שהדרך היחידה ללמד מערכת AI טכניקות חשיבה מסוג זה היא באמצעות משוב אנושי ממשי כדי לאמן את ה-AI לפרש ולהגיב לרמזים חברתיים שונים. בפרוליפיק פיתחנו א מערך נתונים של חשיבה חברתית תוכנן במיוחד כדי ללמד מודלים של AI מיומנות חשובה זו.

למעשה, משוב אנושי לא רק עוזר לזהות אזורים שבהם מערכות AI מצטיינות או מדשדשות, אלא גם מאפשר למפתחים לבצע את השיפורים והחידודים הנדרשים באלגוריתמים. דוגמה מעשית לכך נצפית באופן שבו ChatGPT פועל. כשאתה שואל שאלה, לפעמים ChatGPT מציג שתי תשובות ומבקש ממך לדרג מה הכי טוב. גישה זו ננקטת מכיוון שהמודל תמיד לומד, והמפתחים מבינים את החשיבות של קלט אנושי כדי לקבוע את התשובות הטובות ביותר, במקום להסתמך רק על מודל אחר.

פרוליפיק סייע בחיבור בין חוקרים למשתתפים להדרכה ומחקר בינה מלאכותית. האם אתה יכול לשתף כמה סיפורי הצלחה או התקדמות משמעותיות ב-AI שהתאפשרו באמצעות הפלטפורמה שלך?

בשל האופי המסחרי של הרבה מעבודת הבינה המלאכותית שלנו, במיוחד במרחבים שאינם אקדמיים, רוב הפרויקטים בהם אנו מעורבים נמצאים תחת הסכמי סודיות קפדניים. זה בעיקר כדי להבטיח את הסודיות של טכניקות או שיטות, להגן עליהם מפני שכפול. עם זאת, פרויקט אחד שאנו רשאים לדון בהם הוא השותפות שלנו עם Remesh, פלטפורמת תובנות המופעלת על ידי בינה מלאכותית. שיתפנו פעולה עם OpenAI ו-Remesh כדי לפתח מערכת המשתמשת במדגמים מייצגים של אוכלוסיית ארה"ב. בפרויקט זה, אלפי אנשים ממדגם מייצג עסקו בדיונים על מדיניות הקשורה לבינה מלאכותית באמצעות המערכת של רמש, המאפשרת פיתוח של מדיניות בינה מלאכותית המשקפת את הרצון הרחב של הציבור, ולא דמוגרפיה נבחרת, הודות ליכולתה של פרוליפיק לספק מדגם כל כך מגוון.

במבט קדימה, מה החזון שלך לעתיד של פיתוח AI אתי, וכיצד פרוליפיק מתכננת לתרום להשגת חזון זה?

תקוותי לעתיד של AI, ופיתוחו, תלויה בהכרה שבינה מלאכותית תהיה טובה רק כמו הנתונים שעליהם היא מאומנת. לא ניתן להפריז בחשיבותה של איכות הנתונים עבור מערכות בינה מלאכותית. אימון מערכת בינה מלאכותית על נתונים באיכות ירודה מביאה בהכרח למערכת בינה מלאכותית נמוכה. הדרך היחידה להבטיח נתונים באיכות גבוהה היא על ידי הבטחת גיוס של קבוצת משתתפים מגוונת וחדורת מוטיבציה, להוטה לספק את הנתונים הטובים ביותר האפשריים. ב-Prolific, הגישה והעקרונות המנחים שלנו שואפים לטפח בדיוק את זה. על ידי יצירת מאגר משתתפים מותאם, נבדק ביסודיות ואמין, אנו צופים שחוקרים ישתמשו במשאב הזה כדי לפתח מערכות AI יעילות, אמינות ואמינות יותר בעתיד.

מהם כמה מהאתגרים הגדולים ביותר שעומדים בפניכם באיסוף נתוני אימון AI באיכות גבוהה המופעלת על ידי אדם, וכיצד פרוליפיק מתגברת על המכשולים הללו?

האתגר המשמעותי ביותר, ללא ספק, הוא איכות הנתונים. לא רק נתונים רעים אינם מועילים - הם יכולים למעשה להוביל לתוצאות מזיקות, במיוחד כאשר מערכות בינה מלאכותית מועסקות בתחומים קריטיים כמו שווקים פיננסיים או פעולות צבאיות. דאגה זו מדגישה את העיקרון המהותי של "זבל פנימה, זבל החוצה". אם נתוני הקלט הם תת-שווים, מערכת ה-AI המתקבלת תהיה מטבעה באיכות נמוכה או תועלת נמוכה. רוב הדגימות המקוונות נוטות לייצר נתונים באיכות נמוכה יותר ממה שאופטימלי לפיתוח AI. יש לכך סיבות רבות, אך גורם מפתח אחד אליו מתייחסת פרוליפיק הוא היחס הכללי למשתתפים מקוונים. לעתים קרובות, אנשים אלה נתפסים כאל הוצאות, מקבלים פיצוי נמוך, יחס גרוע, ומעט כבוד מצד החוקרים. על ידי התחייבות לטיפול האתי של המשתתפים, פרוליפיק טיפחה מאגר של תורמים בעלי מוטיבציה, מעורבים, מתחשבים, כנים וקשובים. לכן, כאשר נתונים נאספים באמצעות פרוליפיק, האיכות הגבוהה שלהם מובטחת, תוך בסיס מודלים אמינים ואמינים של AI.

אתגר נוסף שעומד בפנינו עם נתוני אימון בינה מלאכותית הוא הבטחת גיוון בתוך המדגם. בעוד שדגימות מקוונות הרחיבו משמעותית את ההיקף והמגוון של אנשים שאנו יכולים לערוך עליהם מחקר בהשוואה לשיטות אישיות, הן מוגבלות בעיקר לאנשים ממדינות מערביות. דגימות אלו נוטות לרוב לדמוגרפיה צעירה יותר, יודעת מחשבים, משכילה גבוהה ונוטה יותר לשמאל. זה לא מייצג באופן מלא את האוכלוסייה העולמית. כדי להתמודד עם זה, ל-Prolific יש משתתפים מיותר מ-38 מדינות ברחבי העולם. אנו גם מספקים לחוקרים שלנו כלים כדי לציין מראש את ההרכב הדמוגרפי המדויק של המדגם שלהם. בנוסף, אנו מציעים דגימה מייצגת באמצעות תבניות התאמה למפקד כמו גיל, מגדר ומוצא אתני, או אפילו לפי השתייכות פוליטית. זה מבטיח שמחקרים, משימות הערות או פרויקטים אחרים יקבלו מגוון מגוון של משתתפים, וכתוצאה מכך, מגוון רחב של תובנות.

תודה על הראיון הנהדר, קוראים שרוצים ללמוד עוד צריכים לבקר שקר.