בקרת הזיות: יתרונות וסיכונים של פריסת LLMs כחלק מתהליכי אבטחה

Large Language Models (LLMs) המאומנים על כמויות עצומות של נתונים יכולים להפוך את צוותי האבטחה לחכמים יותר. LLMs מספקים הצעות והדרכה בתגובה, ביקורות, ניהול עמדה ועוד. רוב צוותי האבטחה ניסויים או משתמשים ב-LLMs כדי להפחית את העבודה הידנית בתהליכים. זה יכול להיות הן למשימות משעממות והן למשימות מורכבות. 

לדוגמה, LLM יכול לשאול עובד באמצעות דוא”ל אם הוא התכוון לשתף מסמך שהיה בעל זכויות יוצרים ולעבד את התגובה עם המלצה למומחה אבטחה. LLM יכול גם להיות מופקד על תרגום בקשות לחפש התקפות על שרותי אספקה במודולים פתוחים והפעלת סוכנים המתמקדים בתנאים ספציפיים – תורמים חדשים לספריות נפוצות, דפוסים לא תקינים של קוד – עם כל סוכן מוכן לתנאי ספציפי. 

אומנם, מערכות AI אלו החזקות טומנות בחובן סיכונים משמעותיים שאינם דומים לסיכונים אחרים הפונים לצוותי אבטחה. מודלים המניעים את LLMs של אבטחה יכולים להיות מושחתים דרך הזרקת פרומפטים או הרעלת נתונים. לופים של משוב רציף ואלגוריתמים של למידת מכונה ללא הדרכה אנושית מספקת יכולים לאפשר לגורמים זדוניים לבדוק בקרות ואז לגרום לתגובות לא מכוונות. LLMs נוטים להזיות, אפילו בתחומים מוגבלים. אפילו LLMs הטובים ביותר “ממציאים” דברים כאשר הם לא יודעים את התשובה. 

תהליכי אבטחה ומדיניות AI סביב שימוש ב-LLMs ותהליכי עבודה יהפכו לביקורתיים יותר ככל שמערכות אלו יהפכו לנפוצות יותר בפעילות אבטחת מידע. ודאות שתהליכים אלו ייעשו, יימדדו ויירשמו במערכות הממשל, תוכיח חיונית לוודא ש-CISOs יוכלו לספק כיסוי GRC (ממשל, סיכון וציות) מספק לפגישת חובות חדשות כמו מסגרת האבטחה 2.0. 

ההבטחה העצומה של LLMs באבטחת סייבר

CISOs וצוותיהם מתמודדים באופן קבוע עם הגאות העולה של התקפות סייבר חדשות. על פי Qualys, מספר ה-CVEs שדווחו ב-2023 הגיע לשיא חדש של 26,447. זהו עלייה של יותר מ-5X מ-2013. 

אתגר זה הפך למכביד יותר ככל שפני התקפה של הארגון הממוצע גדלים עם כל עבר שנה. צוותי AppSec חייבים לאבטח ולפקח על יותר יישומי תוכנה. טכנולוגיות ענן, API, רב-ענן ווירטואליזציה הוסיפו סיבוכיות נוספת. עם כלים ותהליכים מודרניים של CI/CD, צוותי יישומים יכולים לשלוח יותר קוד, מהר יותר ובתדירות גבוהה יותר. מיקרו-שירותים הן פיצלו אפליקציות מונוליתיות ל-APIs רבים ופני התקפה, והן יצרו חורים רבים יותר באשפורד הגלובלי לתקשורת עם שירותים חיצוניים או התקנים של לקוחות.

LLMs מתקדמים מחזיקים בהבטחה עצומה להפחית את עומס העבודה של צוותי אבטחת סייבר ולשפר את יכולותיהם. כלים מונחים AI לקידום קוד חדרו לתוך פיתוח תוכנה. מחקר Github מצא כי 92% מהמפתחים משתמשים או השתמשו בכלים AI להצעת קוד והשלמה. רוב “כלים אלו של טייס אוטומטי” הם בעלי יכולות אבטחה. בעצם, תחומים עם תוצאות בינאריות יחסית (קוד יעבור או ייכשל בבדיקות יחידה) מתאימים היטב ל-LLMs. מעבר לסריקת קוד לפיתוח תוכנה וב- CI/CD, AI יכול להיות שימושי עבור צוותי אבטחת סייבר בדרכים רבות:   

• ניתוח משופר: LLMs יכולים לעבד כמויות עצומות של נתוני אבטחה (יומנים, התראות, מודיעין איומים) כדי לזהות דפוסים וקשרים שאינם גלויים לבני אדם. הם יכולים לעשות זאת ברחבי שפות, סביב לשעון, ובממדים רבים בו-זמנית. זה פותח הזדמנויות חדשות עבור צוותי אבטחה. LLMs יכולים להוריד ערימה של התראות בזמן אמת, ולסמן את אלו שסביר להניח שיהיו חמורים. דרך למידת חיזוק, הניתוח אמור לשפר עם הזמן. 
• אוטומציה: LLMs יכולים לאוטומט את משימות צוות האבטחה שבדרך כלל דורשות שיחה הדדית. לדוגמה, כאשר צוות אבטחה מקבל IoC וצריך לשאול את בעלים של נקודת קצה אם הוא אכן נכנס למכשיר או אם הוא ממוקם במקום מחוץ לאזורי עבודה רגילים, LLM יכול לבצע את הפעולות הפשוטות האלו ואז לעקוב אחר שאילתות כפי שנדרש וקישורים או הוראות. זו הייתה פעם אינטראקציה שחבר צוות IT או אבטחה היה צריך לבצע בעצמו. LLMs יכולים גם לספק תכונות מתקדמות יותר. לדוגמה, Microsoft Copilot for Security יכול ליצור דו”חות ניתוח אירועים ולתרגם קוד מלווה מורכב לתיאורים בשפה טבעית. 
• למידה רציפה וכיול: בניגוד למערכות למידת מכונה קודמות למדיניות והבנת אבטחה, LLMs יכולים ללמוד בזמן אמת על ידי בליעת דירוגים אנושיים של תגובותיהם ועל ידי כיול מחדש על בריכות נתונים חדשות שאולי לא מכילות בקובץ יומן פנימי. בעצם, באמצעות אותו מודל יסודי, LLMs של אבטחת סייבר יכולים להיות מכוונים לצוותים שונים ולצרכיהם, תהליכי עבודה או משימות אזוריות או אנכיות ספציפיות. זה גם אומר שכל המערכת יכולה להיות מיידית חכמה כמו המודל, עם שינויים המתפשטים במהירות בכל הממשקים. 

סיכונים של LLMs לאבטחת סייבר

כטכנולוגיה חדשה עם רישום קצר, LLMs הם בעלי סיכונים חמורים. גרוע, הבנת היקף הסיכונים היא אתגרית משום שפלטי LLMs אינם 100% צפויים או תוכניתיים. לדוגמה, LLMs יכולים “להזות” ולהמציא תשובות או לענות שאילתות באופן שגוי, על בסיס נתונים דמיוניים. לפני אימוץ LLMs לשימושים באבטחת סייבר, יש לשקול סיכונים פוטנציאליים, כולל: 

• הזרקת פרומפט: תוקפים יכולים ליצור פרומפטים מזיקים במיוחד כדי לייצר פלטים מטעים או מזיקים. סוג התקפה זה יכול לנצל את נטיית LLMs ליצור תוכן על בסיס הפרומפטים שהם מקבלים. במקרים של אבטחת סייבר, הזרקת פרומפט עלולה להיות הכי מסוכנת כצורה של התקפת “אינסיידר” או התקפה על ידי משתמש לא מורשה שמשתמש בפרומפטים כדי לשנות את פלטי המערכת באופן קבוע. זה יכול לייצר פלטים לא מדויקים או בלתי תקינים עבור משתמשים אחרים של המערכת. 
• הרעלת נתונים: נתוני האימון ש-LLMs סומכים עליהם יכולים להיות מושחתים בכוונה, מה שפוגע בקבלת ההחלטות שלהם. בהקשרים של אבטחת סייבר, הרעלת נתונים עלולה לקרות במהלך כיול המודל ללקוח ספציפי ולמקרה שימוש. הסיכון כאן עלול להיות משתמש לא מורשה המוסיף נתונים רעים – לדוגמה, קבצי יומן מושחתים – כדי לחבל בתהליך האימון. משתמש מורשה יכול גם לעשות זאת בטעות. התוצאה תהיה פלטי LLMs המבוססים על נתונים רעים.
• הזיות: כפי שצוין קודם, LLMs עלולים ליצור תשובות שגויות, אלוגיות או אפילו מזיקות עקב אי הבנה של פרומפטים או פגמים בנתונים. במקרים של אבטחת סייבר, הזיות יכולות לגרום לשגיאות קריטיות שיכולות לשבש מודיעין איומים, טריאגה ותיקון פגיעויות, ועוד. משום שאבטחת סייבר היא פעילות בעלת חשיבות משימה, LLMs חייבים לעמוד בסטנדרט גבוה יותר של ניהול ומניעת הזיות בהקשרים אלו. 

ככל שמערכות AI הופכות ליעילות יותר, פריסות האבטחה שלהן מתרחבות במהירות. ברור, חברות אבטחת סייבר רבות השתמשו בעבר בהתאמת דפוסים ולמידת מכונה לסינון דינאמי. מה שחדש בעידן AI היצירתי הוא LLMs אינטראקטיביים המספקים שכבה של אינטליגנציה מעל תהליכי עבודה ובריכות נתונים קיימים, תוך שיפרום את יעילותם ושיפרום את יכולותיהם של צוותי אבטחת סייבר. במילים אחרות, GenAI יכול לעזור למהנדסי אבטחה לעשות יותר עם פחות מאמץ ואותם המשאבים, מה שמוביל לביצועים טובים יותר ותהליכים מואצים.