אתגר ‘קטגוריזציה גזעית’ למערכות סינתזה של תמונות המבוססות CLIP

מחקר חדש מארצות הברית מצא כי אחד מהמודלים הפופולריים של ראייה ממוחשבת, שמאחורי סדרת DALL-E המפורסמת, כמו גם מודלים רבים אחרים ליצירת תמונות וסיווג, מציג היטיות מוכחות ל hypodescent – כלל הקטגוריזציה הגזעית (הידוע גם בשם ‘one drop’ rule) שמקטלג אדם עם אפילו חלק קטן של ‘מעורב’ (כלומר לא-קווקזי) מורשת גנטית לחלוטין ל’מיעוט’ קטגוריה גזעית.

מכיוון שהיפודסנט היה אופיין את אחד הפרקים המכוערים ביותר בהיסטוריה של האנושות, המחברים של המאמר החדש מציעים כי היטיות כאלה במחקר ראייה ממוחשבת ויישום צריכות לקבל תשומת לב רבה יותר, לא רק מפני שהפלטפורמה התומכת, שהורדה כמעט מיליון פעמים בחודש, יכולה להפיץ ולהפיץ עוד יותר את ההטיה הגזעית בפלטפורמות המשנה.

הארכיטקטורה הנבדקת בעבודה החדשה היא Contrastive Language Image Pretraining (CLIP), מודל למידה רב-מודאלי שלומד אסוציאציות סמנטיות על ידי אימון על זוגות תמונה/כותרת מהאינטרנט – גישה חצי-מפוקחת שמקטינה את העלות המשמעותית של תיוג, אך שכנראה משקפת את ההטיה של האנשים שיצרו את הכותרות.

מהמאמר:

‘תוצאותינו מספקות ראיות להיפודסנט במרחב ה-CLIP, הטיה שמופעלת בעוצמה רבה יותר על תמונות של נשים. תוצאות נוספות מראות כי CLIP מקשר תמונות עם תוויות גזעיות או אתניות על בסיס הסטייה מהלבנים, עם לבנים כברירת מחדל.

המאמר גם מוצא כי ההתאמה הוולנסית (הנטייה להתאים ל’טוב’ או ‘רע’ דברים, היא בולטת יותר עבור תוויות גזעיות ‘מיעוט’ מאשר עבור תוויות לבנות, ומרמז כי הטיות של CLIP משקפות את הקורפוס האמריקאי-מרכזי של ספרות (ויקיפדיה באנגלית) עליה הוא הוכשר.

בהערה על המשמעויות של תמיכת CLIP הנראית בהיפודסנט, המחברים מצהירים*:

‘[בין] השימושים הראשונים ב-CLIP היה לאמ