ืจืืืื ืืช
ืกื ืื ืืื, CISO ื- SPLX – ืกืืจืช ืจืืืื ืืช
סנדי דאן, CISO ב- SPLX היא ותיקה עם 20+ שנות ניסיון בתחום הבריאות והסטארט-אפים, ומספקת ייעוץ CISO דרך QuarkIQ. היא מובילה את OWASP Top 10 ל-LLM Applications Cybersecurity ו-Governance Checklist ותורמת ל-OWASP AI Exchange, OWASP Top 10 ל-LLM, ו-Cloud Security Alliance. כפרופסור חוץ ל-Cybersecurity באוניברסיטת בויסי סטייט, היא גם דוברת תכופה, יועצת וחברה בדירקטוריון של המכון ל-Pervasive Cybersecurity. סנדי היא בעלת תואר שני בניהול אבטחת מידע מ- SANS ומספר רב של תעודות, כולל CISSP, תעודות SANS GIAC, Security+, ISTQB, ו-FAIR.
SPLX היא חברת אבטחת סייבר שמספקת הגנה מקיפה למערכות AI דרך רד-טימינג אוטומטי, הגנת זמן ריצה, גוברננס, תיקון, בדיקת איומים ואבטחת מודל. הפלטפורמה שלה רצה אלפי סימולציות אדוורסריות בפחות משעה כדי לזהות פגיעויות, מחזקת פרומפטים של מערכות לפני הפריסה, וכוללת Agentic Radar, כלי קוד פתוח למיפוי וניתוח סיכונים ב- AI multi-agent.
מה היה הדבר הראשון שמשך אותך לחיתוך של AI ואבטחת סייבר, וכיצד הדרך הובילה אותך לתפקידך ב- SPLX ולמעורבות עם OWASP?
AI היה חלק משיחות אבטחת סייבר במשך שנים לפני ChatGPT, אבל הוא לעיתים קרובות הרגיש כאילו לא עמד בציפיות. כאשר הוא שוחרר, ציפיתי להיות מאוכזב, אבל במקום זאת הייתי בדיוק ההיפוך. כאשר השתמשתי לראשונה ב-ChatGPT, הייתי המום ממה שהוא יכול לעשות ומופחד מהמהירות שבה הוא יכול להיות מנוצל לתקיפות אדוורסריות או הפרת פרטיות. הרגע הזה הצית אש. צללתי לתוך LLMs בראש, קראתי כל נייר מחקר שיכולתי למצוא, הצטרפתי לכל קהילת Slack ו-Discord רלוונטית, וביצעתי ניסויים משלי. הסתובבתי לזמן מה בערוץ OWASP Top 10 ל-LLM, וכאשר פורסמה הרשימה הראשונה, ידעתי שזהו ציון דרך חשוב. אבל כ-CISO, הרגשתי שצוותי אבטחה זקוקים למידע נוסף. אמרנו לאנשים מה לדאוג, אבל לא מה לעשות. גישתי את סטיב וילסון, המוביל הפרויקט, על יצירת “רשימת בדיקה CISO לאבטחת LLM”. היא הפכה לתת-פרויקט הראשון של OWASP GenAI, שהשראה רבים נוספים.
דרך עבודה זו, פגשתי את קריסטיאן קמבר ואנטה גויסאליק (מייסדי SPLX), וגם ייעצתי למספר סטארט-אפים של אבטחת AI, חלקם עם רעיונות מבטיחים, חלקם פחות. באותה תקופה, הייתי CISO בחברת צ’אטבוט B2B, ויצרתי ספר עבודה מקיף לבדיקות אדוורסריות AI. כאשר ראיתי את הדמו של SPLX, הבנתי מיד שהם פתרו את הבעיה שאיתה התמודדתי: איך להפעיל בדיקות אדוורסריות. כאשר SPLX הייתה זקוקה ל-CISO, קפצתי על ההזדמנות להיות חלק מחברה מדהימה עם אנשים מדהימים שפותרים אתגרים חשובים.
כ-CISO ב- SPLX, מהן הטכניקות התקיפה החדשות ביותר שאתה מגלה, במיוחד בהקשר ל- AI אגנטי?
בגלל הרגישויות של עיצוב מערכות GenAI, אין אפשרות להימנע מפגיעויות GenAI ותקיפות שנוצלות את האוטונומיה והיכולות של הסוכן. התקפות Memory Poisoning כמו MINJA היא דוגמה אחרונה לכך. עם MINJA, תוקפים יכולים לשבש בעדינות את בנקי הזיכרון של הסוכן דרך אינטראקציות מעוצבות, ולהשתיל “זיכרונות” מזיקים עם פרומפטים שמובילים להתנהגויות מוטעות או מסוכנות מאוחר יותר. דוגמה אחרת היא התקפת Echo Chamber. זוהי מצב שבו יריב יוצר לולאות שיח באמצעות שליחת הקשרים מרושעים חוזרים ונשנים לסוכן. חוקרים הצליחו לעקוף מנגנוני ביטחון על ידי חיזוק הוראות מזיקות על פני מספר תורים.
הזרקת פרומפטים עקיפה וצולבת היא דוגמה נוספת. הוראות מרושעות מסתתרות בתוכן חיצוני כמו תמונות או מסמכים שהסוכנים צורכים. הוראות אלו יכולות לחטוף החלטות אוטונומיות ללא קלט ישיר מהמשתמש.
תקיפות מערכות AI אגנטיות מתוחכמות כמו הרעלת כלים דורשות ביקורת קפדנית של כל האספקה לפריסת סוכני AI. תוקפים יוצרים כלים שנראים לגיטימיים לפלטפורמות סוכנים אבל משתילים הוראות מרושעות בתוך תיאורי כלים ומסמכים. כאשר סוכנים טוענים את הכלים האלו, ההוראות המושתלות הופכות לחלק מההקשר של הסוכן, מאפשרות פעולות לא מורשות כמו הוצאת נתונים או פשיטה על מערכות.
כיצד פלטפורמת SPLX עוזרת לארגונים לגלות ולהגיב לאיומים המיוחדים ל-LLM, כמו הזרקת פרומפטים או תקיפות כלא אדוורסריות?
SPLX היא פלטפורמת אבטחה מקיפה שמגינה על יישומים המונעים על ידי LLM ומערכות סוכנים מרובות בכל מחזור החיים של AI, מפיתוח דרך פריסה ועד לפעילות בזמן אמת. הגנת זמן ריצה שלנו עוצבה כדי לעצור את האיומים האלו כאשר הם קורים על ידי ניטור וסינון מתמיד של קלטים ופלטים. היא פועלת כאשראי לזמן אמת ל-AI ואוכפת גבולות התנהגות קפדניים על AI. מנוע הגילוי הדינאמי של SPLX מדגל את הפעילות המרושעת בזמן אמת, מבטיח שמערכות AI עונות בצורה בטוחה ונשארות בתוך גבולות המיועדים.
עדכון OWASP GenAI Security Top 10 מרחיב איומים מרכזיים כמו דליפת פרומפטים של מערכת ופגיעויות של מסד וקטור. כיצד איומים חדשים אלו משקפים את הנוף האדוורסרי המתפתח?
עדכון OWASP Top 10 ל-2025 משקף הבנה מתפתחת של איך LLMs וטכנולוגיות AI גנרטיביות משומשות בסצנריות העולם האמיתי. חשוב לציין שיש הרבה יותר מעשרה איומים LLM, אבל המטרה היא לזהות את עשרת הראשונים. השינויים הגדולים הם LLM07 Insecure Plugin Design שנכלל ב- Supply Chain ו-LLM010 Model Theft שנכלל ב- Unbounded Consumption לרשימת 2025, שיצרו מקום להוסיף:
1. System-Prompt Leakage שמזהה את האיום של חשיפת פרומפט המערכת יכולה לחשוף מעקבים, זרימות לוגיקה או אפילו סודות המושתלים ב-LLM.
2. Vector-Database Vulnerabilities דגל את הנושאים הפוטנציאליים של ביטחון במערכות RAG כמו דליפת נתונים בין-דיירים, היפוך עידור, או מסמכים מורעלים שמופיעים מאוחר יותר כפלטים מסוכנים.
העדכונים מראים שתקיפות AI מתפתחות מתקיפות פרומפט מעוצבות לתקיפות מתוחכמות המכוונות לשרשראות אספקה שלמות. תקיפות מודרניות מדגימות חשיבה אסטרטגית של מערכת AI שלמה, מתמקדות בתמידות, קנה מידה והשפעה סיסטמית, ולא בניצולים בודדים.
הרחבת הכיסוי של ארכיטקטורות אגנטיות מוכרת בפני פיתוח קריטי נוסף. ככל שמערכות AI זוכות לאוטונומיה ויכולות קבלת החלטות גדולות יותר, ההשלכות הפוטנציאליות של כישלונות אבטחה מתרבות באופן מעריכי. הפחתת פיקוח אנושי, בעוד האפשרת יישומים חזקים יותר, יוצרת אפקט מרובה שמגביר את ההשפעה של תקיפות מוצלחות.
בדעתך, מהן הפגיעויות הנפוצות ביותר שארגונים מתעלמים מהן כיום בעת פריסת AI אגנטי?
הנושא הנפוץ ביותר שארגונים מתעלמים ממנו הוא אותו אתגר שאנו פוגשים עם פריסת תוכנה ומערכות מסורתיות, עקרון ההרשאה המינימלית. אנו עדיין מתמודדים עם הרשאה מינימלית עבור משתמשים אנושיים וחשבונות שירות, ועכשיו ארגונים פוגשים אתגר חדש בניהול זהויות לא-אנושיות (NIH). אנשים מפריסים סוכנים בעוד זהות וגישה של סוכן עדיין לא מובנות או פתורות. אנו רואים סוכנים שמקבלים הרשאות רחבות לקרוא מסמכים, לגשת ל-APIs חיצוניים, ואפילו לשנות מערכות. זה לא פגם טכני במודל עצמו, זו טעות ארכיטקטונית בסיסית. סוכן מעורער עם הרשאות מופרזות יכול לגרום להרס, מהוצאת כמויות גדולות של נתונים ועד לביצוע עסקאות פיננסיות.
נושא נוסף שלעיתים קרובות מוזנח או מותעלם הוא “יחס האמון” בין סוכנים. במערכות אגנטיות, סוכנים לעיתים קרובות מעוצבים לתקשר ולשתף פעולה. אנו רואים סוג חדש של תקיפות שבהן סוכן מעורער יכול לחקות סוכן לגיטימי, בעצם הופך ל-“סוכן-ב-אמצע”. זה כמו סוס טרויאני, אבל ברמה הארכיטקטונית.
האם תוכל להדריך אותנו דרך צעדים מעשיים שצוותי אבטחת סייבר של ארגונים צריכים לנקוט כאשר הם מפריסים כלים AI אגנטיים בסביבות ייצור?
1. התחילו עם תוכניות תגובה לאירועים. מהו היום הגרוע ביותר, אז עבדו אחורה כדי לוודא שבקרות אבטחה וראות הן במקום. כאשר קורה פריצת AI, מרכז הפעילות שלכם זקוק לספר עבודה. מי מודע? איך אתם מבדדים סוכן מעורער? מהו התהליך לחזור למצב ידוע-טוב? להיות בעל תוכנית לפני שמתרחש משבר הוא חיוני.
2. אינוונטור שטח תקיפה והערכת איומים. אתם לא יכולים להגן על מה שאתם לא יודעים שיש לכם. הצעד הראשון הוא לקבל אינוונטור מלא של כל סוכני AI, כלים בשימוש, וגישה לנתונים. מהו הנתון שהוא נוגע? מהו הפוטנציאל התקפי אם הוא מעורער? דרגו לפי האיומים הגבוהים והמשמעותיים ביותר. אז, קיימו שיחה כנה עם הצוות הבכיר על סיכון ותיאבון. יתרון של פעילות AI המואצת הוא ש-CISO, קציני סיכונים, צוותים משפטיים, והנהלה יאלצו לקיים שיחה אמיתית על יעדים עסקיים, סיכון, ותקציבי אבטחה. היסטורית, היה ציפייה לאפס אירועים עם תקציב מינימלי. CISOs הצליחו (ברוב המקרים) להימנע מאירוע גדול על ידי יישום אבטחה מספיקה כדי להפוך את הארגון שלהם לפחות מושך מאשר הארגון עם פחות אבטחה. אויבים AI-מונעים הופכים אסטרטגיה זו לבלתי-ריאליסטית עכשיו.
3. יישמו מעקבים, הרשאה מינימלית, וכלים לניטור. טווח הוא חשוב לכל פריסת סוכן. הגדירו את המטרה של הסוכן, הגבולות שלו, וההרשאות שלו. אל תתנו לסוכן גישה לכל ספריית SharePoint שלכם אם הוא זקוק רק לתיקייה אחת. יישמו בקרות שמגבילות מה API הוא יכול לקרוא ומה פעולות הוא יכול לבצע. חשבו על זה כמו סטאז’ר חדש, חכם, שיכור. אתם מכירים את היכולות המדהימות שלו, אבל לא הייתם מאמינים לו. אתם הייתם מגבילים מה הוא יכול לעשות בתוך החברה, לא הייתם נותנים לו גישה לדברים חשובים, הייתם מנטרים מה הוא עושה, והייתם מתקינים מערכות אזעקה אם הוא ניסה לגשת למשהו שאסור לו.
4. יישמו ערימת אבטחה AI-ספציפית שמתמזגת עם ערימת האבטחה המסורתית שלכם. כלים אבטחה מסורתיים לא תוכננו עבור מערכות GenAI או מערכות אגנטיות. אתם צריכים ליישם כלים שתוכננו לבעיות ייחודיות ל-GenAI, כמו אימות פרומפט, סניטזיה של פלט, וניטור מתמיד של התנהגות הסוכן. כלים אלו צריכים להיות מסוגלים לגלות את התקיפות העדינות, הסמנטיות-מבוססות, שהן ספציפיות ל-GenAI ומערכות אגנטיות.
5. אינטגרו את רד-טימינג AI לתוך צינור ה- CI/CD. אתם צריכים לבדוק באופן תמידי את הסוכנים שלכם לפגיעויות, בהתאם לחשיבות השינויים ולתיאבון הסיכון של הארגון. העדכון האחרון של GPT-5 הוא דוגמה לכיצד שינויים משמעותיים יכולים להיות משבשים לזרימות עבודה של סוכנים. עשו רד-טימינג אוטומטי לחלק מהותי ממחזור הפיתוח שלכם. זה עוזר לכם לזהות בעיות כאשר אתם עודכנים ומשנים את הסוכנים שלכם.
כיצד ארגונים צריכים לשלב אוטומציה של רד-טימינג, CIAM, גוברננס RAG, וניטור לתוך אסטרטגיית ניהול סיכוני GenAI?
המפתח הוא אינטגרציה ולא טיפול בהם כיוזמות נפרדות. אסטרטגיית ניהול סיכוני GenAI שלכם צריכה להיות מסגרת שיתופית שבה כל רכיב מחזק את האחר.
התחילו עם רד-טימינג אוטומטי כבסיס. חשוב להיות בעל תקיפות אדוורסריות רציפות שמתפתחות עם נוף האיומים. פלטפורמת SPLX מדמה אלפי תרחישי תקיפה ברמות סיכון שונות, בודקים להזרקת פרומפט, תקיפות כלא,
