האם DALL-E 2 רק “מדביק דברים יחד” בלי להבין את היחסים ביניהם?

מחקר חדש מאוניברסיטת הרווארד מרמז כי מסגרת הטקסט-ל-תמונה DALL-E 2 של OpenAI, שגרפה תשומת לב רבה, מתקשה בשחזור אפילו יחסים ברמת תינוק בין היסודות שהיא מרכיבה לתמונות מסונתזות, למרות הסופיסטיקציה המרשימה של רוב התוצאות שלה.

החוקרים ערכו מחקר שכלל 169 משתתפים, שהוצגו בפניהם תמונות DALL-E 2 על בסיס עקרונות בסיסיים של סמנטיקת יחסים, יחד עם הטקסט-פרומפטים שיצרו אותם. כאשר נשאלו אם הפרומפטים והתמונות קשורים, פחות מ-22% מהתמונות נתפסו כרלוונטיות לפרומפטים המקושרים אליהן, במונחים של יחסים פשוטים מאוד ש-DALL-E 2 התבקשה לוויזואליזציה.

… (rest of the content remains the same, following the exact same structure and translation rules)