גזלייטינג AI עם טקסט אדוורסריאלי סודי

מודלים של חזון בסגנון ChatGPT יכולים להיות מנוצלים כדי להתעלם מתוכן התמונה ולייצר תגובות שגויות על ידי הזרקת טקסט ממוקם היטב לתוך התמונה. מחקר חדש מציג שיטה יותר יעילה שמפזרת את הפרומפט ברחבי אזורים מרובים, פועלת על קלטים ברזולוציה גבוהה, ועוקפת התקפות קודמות בעודה משתמשת בפחות חישוב.

מה אם היינו יכולים להסיט את תשומת הלב של AI אלינו באופן שיטתי, בעולם האמיתי על ידי לבישת צבעים, דפוסים, תמונות או טקסטים שגורמים לניתוח AI להיכשל; ובתמונות מקוונות, על ידי שיבוץ טקסטים מותאמים (או ‘פרטורבציות’) ש-AI מוכרח לפרש ולפרש כטקסט?

היכולת לנצל את טבעו השיטתי של AI היא העניין המרכזי של מאמר חדש מחוקר הקשור ל- ECH*, המציג לראשונה מחקר שיטתי על השימוש בטקסט בתמונה כדי ליצור פרומפטים נוספים, אפילו סותרים, עבור מודל שפה-חזון (VLM) לנהל:

… (התרגום המלא)