ืื ืืืื ืืขื
ืืืื ืืืฆืจ ืืืื ืคืขืื: ืืืขืืจ ืืกืืืื ืชืืื ืืืฉืืคืช ืืืฆืืข
Enterprise AI מתפתחת במהירות. מה שהתחיל כאיי יוצר כטייס אוטומטי המנסח דואר אלקטרוני ומסכמן מסמכים, הפך עכשו למשהו הרבה יותר אוטונומי: מערכות שתכננות, מחליטות ומבצעות משימות ברחבי כלים וסביבות.
זהו המעבר מאיי יוצר לאיי פעיל. זהו ראייה של סיכון המשתנה.
איי יוצר הציגו סיכוני תוכן, כולל הזיות, דליפת נתונים דרך פרומפטים ופלטים מוטים. חשיפת איי פעיל מתרחשת דרך מערכותיה האוטונומיות, שיש להן הרשאה, זיכרון ויכולת לגישה לכל הכלים הזמינים במהירות המכונות.
זהו הזדמנות עבור מומחי אבטחה, ממשל ואיי לשקול מחדש את עמדתם על סיכונים חדשים אלו.
מהו סיכון איי פעיל?
סיכון איי פעיל מתייחס לסיכונים הביטחוניים, המבצעיים והתפעוליים שמערכות איי המפעילות באופן אוטונומי, לא רק יוצרות טקסט אלא גם מבצעות עבודות מרובות-שלבים על מערכות תאגידיות.
בניגוד למודלים מסורתיים של שפה (LLM), מערכות פעילות יכולות לפרק משימות לעבודות זרימה דינאמיות, לבקשות API חיצוניות ולהפעיל יישומים פנימיים, ולאחסן ולהיזכר בזיכרונות. הן יכולות גם לפעול תחת זהות מורשית ולתקשר עם סוכנים אחרים.
במילים אחרות, הן פחות דומות לבוטים לצ’אט ויותר כעובדים דיגיטליים זוטרים. זה מייצג הגדלה משמעותית בשטח ההתקפה של סוכן האיי.
איי יוצר נגד איי פעיל: מה משתנה?
סיכון איי יוצר מתרכז בפלטים. צוותי אבטחה שואלים שאלות כגון האם המודל מדליף נתונים, אם הוא עלול להזיות, או אם תוכן מזיק או לא-תואם מופק.
בני אדם נמצאים בלולאה. האיי מציע, בני האדם מאשרים.
סיכון איי פעיל הוא כוונת-פעולה. עכשו, צוותי אבטחה חייבים לשאול את עצמם מה מערכות הסוכן עלול ליצור, אילו הרשאות הוא ירש, כמה רחוק תוכניתו עלולה להגיע, ומה יקרה אם הוא יוטעה בעת ריצה.
ההבדל עלול להיות קטן מאוד, אבל הוא משמעותי: איי יוצר יוצר תוכן. איי פעיל יוצרת משמעויות. זהו המעבר מסיכון תוכן לחשיפת ביצוע.
כיצד איי פעיל מרחיבה את שטח ההתקפה של התאגיד?
איי פעיל אינה רק מוסיפה יישום חדש. היא יוצרת שכבה תפעולית חדשה. ראו כיצד שטח ההתקפה גדל:
1. סוכני איי מורשים
ישנם סוכנים רבים הפועלים בשם משתמשים או חשבונות שירות. כאשר טווח ההרשאות אינו צר, הם הופכים ליעדים שווי ערך.
זה עלול להוביל לבעיות סגן מבולבל, העלאת הרשאות, ותנועה אופקית. זוהי בעיה כאשר עננים, SaaS ומערכות פנימיות מספקים גישה דינאמית או ירושתית לסוכנים.
2. נתיבי ביצוע דינאמיים
זרימת שליטה ביישומים מסורתיים היא קבועה. זרימת שליטה במערכות איי פעיל אינה קבועה.
הן מנתחות מטרות, פעולות, משקפות, משכללות ומפעילות כלים באופן לא-קבוע. זה מוביל למקרי כשל קשים לניתוח, גרפים תלויים מורכבים, וכשלים מסוגרים במערכות רב-סוכנים. בקרות אבטחה שפותחו עבור זרימת שליטה קבועה אינן ניתנות ליישום כאן.
3. זיכרון קבוע
שטח ההתקפה המובא על ידי זיכרון הסוכן הוא קבוע.
כאשר זיכרון קצר-או ארוך-טווח מופר, מצב מזיק יכול להשפיע על החלטות ברחבי מספר רב של פגישות. זה שונה מהזרקה בודדת של פרומפט, כיוון שהפרעה לזיכרון מספקת קביעות.
4. סיכוני קבלת החלטות במהירות מכונה
סוכנים אוטונומיים מקבלים החלטות במהירות שאינה אפשרית לעמוד בה. זה מביא סיכונים של קבלת החלטות במהירות מכונה, כגון התפשטות שגיאות מהירה, מחזורי ניצול מהירים יותר מתגובה אנושית, והגברה לפני שאפשר לגלות.
במערכות רב-סוכנים, טווח ההשפעה מהיר. סוכן מזיק יכול לגרום לשרשרת כישלון בשרשראות תיאום.
למה בקרות מסורתיות נכשלות עם איי פעיל?
רוב המודלים המסורתיים של אבטחת תאגידים מסתמכים על יישומים סטטיים, גרפים קריאים, אישורים אנושיים, והפרדה ברורה בין עיבוד נתונים לביצוע. איי פעיל הופכת את ההנחות האלו לבטלות.
למשל, בקרה מסורתית כגון אימות קלט. זה מגן על גבולות המערכת. אולם, סיכון איי פעיל בדרך כלל מופיע באמצע הלולאה, בשלב התכנון, השקפה או כלי.
סריקת פגיעות מסורתית מתמקדת גם בתשתית ותוכנה. אולם, סיכון ביצוע איי שוכן בשכבת ההיגיון והפעולה של הסוכן.
השאלה היא: כיצד אתה מגן על משהו שיכול לבחור את פעולתו הבאה? אתה לא יכול פשוט להקיף בקרות סביב קריאה בודדת של מודל. עליך לאבטח את זרימת העבודה.
אבטחת איי פעיל: מה באמת עובד?
כאשר מדובר באבטחת איי פעיל, יש לבצע מעבר מחשיבה תחום לחשיבת מחזור חיים. סוכנים לא צריכים להתיר לעצמם לפרש מטרות ללא הגבלה, ויש מספר דרכים להשיג זאת.
קביעת רצפים מותרים של מטרות, רגולציה של עומק עצים של הרחבת תוכניות, ניטור סטייה בהיגיון, ואיסור על מטרות עצמיות מחוץ לתחום הם כל בקרות חיוניות. וריאציות בלתי צפויות בהיגיון הן לעיתים קרובות קודמות לתכסיס.
החזקת ביצוע כלי. כלים הם היכן שהתוכנית פוגשת מציאות, ואבטחה צריכה לכסות בדיקות הרשאה לפני ביצוע כלי, סביבות ביצוע מבודדות, אימות פרמטרים קפדני, והעברת אשראי בזמן אמת. כל ביצוע כלי צריך להיות מורשם כאירוע אבטחה מהדרגה הראשונה.
בידוד זיכרון וטווח הרשאה. זיכרון צריך להיות מטופל כתשתית רגישה. זה אומר אימות פעולות כתיבה, חלוקה של תחום זיכרון, הגבלת טווח לקריאה לפי משימה, שימוש באשראי קצר-חיים, ומניעת הרשאות ירושה. הצטברות הרשאות לא מאומתת היא סיכון איי פעיל משמעותי.
אבטחת תיאום רב-סוכנים. במערכות סוכנים מבוזרות, תקשורת עצמה הופכת לווקטור התקפה. זה צריך לרמז על אימות סוכן, אימות סכמת הודעה, ערוצי תקשורת מוגבלים, וניטור דפוסי השפעה לא-רגילים. כאשר תיאום שונה מזרימים צפויים, בידוד צריך להתרחש באופן אוטומטי.
מניהול חשיפה להערכת חשיפה עבור מערכות איי
זהו המקום בו פילוסופיה אבטחתית רחבה יותר הופכת למפתח. ניהול פגיעות מסורתי מזהה חולשות ידועות. אולם, מערכות איי אוטונומיות מציגות חשיפה מתעוררת: סיכונים הנובעים מקונפיגורציה, תכנון הרשאה, נתיבי אינטגרציה, והתנהגות דינאמית.
זה תואם את מה שתעשייה כינתה ניהול חשיפה ו, לאחרונה, הערכת חשיפה.
ניהול חשיפה הוא כולל ויזואליזציה רציפה של כיצד מערכות (כולל נכסי ענן, זהויות, יישומים, ועכשו סוכני איי) יוצרות מסלולים שפורצים יכולים לנצל.
עבור אבטחת מערכות איי אוטונומיות, זה אומר לשאול: מה סוכן זה יכול להגיע? מהי הרשאה המצטברת שלו? מהן המערכות שהוא מנצח? והיכן ביצוע חוצה נתונים רגישים?
צוותים המשתמשים כבר באסטרטגיות מבוססות חשיפה להפחתת סיכון סייבר, נמצאים בעמדה מוצקה להרחיב עקרונות אלו לסביבות איי שלהם.
למשל, פלטפורמות המאחדות זהות, נראות ענן, ונראות פגיעות, מספקות דרך להבין כיצד סוכני איי מורשים חוצים נתיבי התקפה קיימים.
המפתח אינו כלי ספק בפני עצמו. זהו המנטליות:
אתה לא מגן על איי פעיל על ידי הגנה על המודל. אתה מגן עליו על ידי מדידה והפחתה רציפה של חשיפתו.
ניהול סיכוני שכבת ביצוע באיי פעיל
המאפיין של אבטחת איי פעיל הוא זה: שטח ההתקפה אינו התגובה, אלא זרימת העבודה.
סיכוני שכבת הביצוע רבים, כולל שימוש לא-מאומת בכלי, זיוף זהות, העלאת הרשאות, הרעלת זיכרון, תמרון רב-סוכנים, ומערכות אדם-בלולאה תחת לחץ.
מיתון סיכונים אלו משמעות הימצאות בעלות נראות ליחסי זהות, ירושת הרשאה, תלות API, פעילות זמן-ריצה, וטלמטריה ביצוע.
זהו עוד לא ביטחון איי יוצר; זהו אבטחת פעולות איי, גם כן.
סיכון איי פעיל הוא אדריכלי, לא היפותטי
איי פעיל היא הצעד הבא בהתפתחות האימוץ של איי תאגידי. היא מחזיקה הבטחה של יעילות, אוטומציה, וגמישות. אולם, היא גם מציגה סיכון ממה שאיי אומרת למה שאיי עושה.
המעבר ממערכות יוצרות למערכות פעילות משפיע על הבא:
- מסיכון תוכן לסיכון ביצוע
- מפרומפטים סטטיים לזרימות ביצוע דינאמיות
- מביקורת אנושית לביצוע אוטונומי
- מאבטחת יישומים לניהול חשיפה
מנהיגי אבטחה המבינים את המעבר הראשון יכולים לתכנן מעקי הגנה שמתגברים עם אוטונומיה. אחרים יישארו עם בני-פנים דיגיטליים ללא בקרות פנים.
עתיד האיי בתאגיד הוא פעיל. עתיד אבטחת האיי חייב להיות חשיפה-נע, זרימת-עבודה-מודע, ומותאם לפעולות במהירות מכונה.
כיוון שכאשר לסוכני איי יש את היכולת לבצע, הגישה היחידה התקפית היא להבין תמיד (ולמתן) מה הם חשופים אליו.
