הנקודות התולות שבנינו: סוכנים מבוססי AI ובעיית הציות

סוכנים מבוססי AI מביאים כיתה חדשה של נקודות תולות, שבהן תוקפים מזריקים הוראות זדוניות לנתונים, והופכים מערכות מועילות לשותפים בלתי מודעים.

Microsoft Copilot לא הותקף במובן הקלאסי. לא היה שם מלוור, לא היה קישור פישינג, לא היה קוד זדוני. אף אחד לא לחץ על כפתור או הפעיל ניצול.

התוקף הסתפק בכך ששאל. Microsoft 365 Copilot, עושה בדיוק מה שהוא תוכנן לעשות, ציית. בתקיפת Echoleak האחרונה, שהיא תקיפת “אפס קליק”, הסוכן המבוסס AI הותמר על ידי פרומפט מוסווה כנתונים. הוא ציית, לא מפני שהוא היה שבור, אלא מפני שהוא פעל כפי שתוכנן.

נקודת התולה הזו לא ניצלה פגיעות בתוכנה. היא ניצלה שפה. וזהו נקודת מפנה חשובה באבטחת סייבר, שבה שטח התקיפה אינו עוד קוד, אלא שיחה.

בעיית הציות החדשה של AI

סוכנים מבוססי AI תוכננו לסייע. מטרתם היא להבין את כוונת המשתמש ולפעול בהתאם ביעילות. היעילות הזו באה עם סיכון. כאשר הם מוטמעים במערכות קובץ, פלטפורמות פרודוקטיביות או מערכות הפעלה, הסוכנים האלה צובתים פקודות שפה טבעית עם התנגדות מינימלית.

תוקפים מנצלים את התכונה הזו. עם הזרקות פרומפטים שנראים תמימים, הם יכולים לגרום לפעולות רגישות. פרומפטים אלה עשויים לכלול:

• קטעי קוד רב-לשוניים
• פורמטים של קבצים מוסתרים והוראות מוטמעות
• קלטים בשפות שאינן אנגלית
• פקודות רב-שלביות מוסתרות בשפה קסואלית

מפני שמודלים גדולים של שפה (LLM) מאומנים להבין סיבוכיות ודו-משמעות, הפרומפט הופך למטען.

רוח הרפאים של Siri ו-Alexa

דפוס זה אינו חדש. בימים הראשונים של Siri ו-Alexa, חוקרים הדגימו כיצד ניגון פקודת קול כמו “שלח את כל התמונות שלי לדוא”ר הזה” יכול לגרום לפעולה בלי אימות משתמש.

עכשיו האיום גדול יותר. סוכנים מבוססי AI כמו Microsoft Copilot משולבים עמוק ב-Office 365, Outlook, ובמערכת ההפעלה. הם מגיעים לדוא”ל, מסמכים, תעודות ו-API. תוקפים זקוקים רק לפרומפט הנכון כדי לחלץ נתונים קריטיים, תוך התחזות למשתמש לגיטימי.

כאשר מחשבים מתבלבלים בין הוראות לנתונים

זהו עיקרון י