שחר אזולאי, מנכ"ל ומייסד שותף של גראונדקאבר

שחר אזולאי, מנכ"ל ומייסד שותף של Groundcover הוא מוביל מחקר ופיתוח סדרתי. שחר מביא איתו ניסיון בעולם הסייבר והלמידה החישובית, לאחר שעבד כמוביל בחברות כמו Apple, DayTwo ו-Cymotive Technologies. שחר בילה שנים רבות בחטיבת הסייבר במשרד ראש הממשלה והוא בעל שלושה תארים בפיזיקה, הנדסת חשמל ומדעי המחשב מהטכניון ומאוניברסיטת תל אביב. שחר שואף להשתמש בלמידה טכנולוגית מהרקע העשיר הזה ולהביא אותה לשדה הקרב של היום, בצורה החדה והחדשנית ביותר, כדי להפוך את עולם הפיתוח למקום טוב יותר.

כיסוי קרקע היא פלטפורמת תצפית מקורית לענן, שנועדה להעניק לצוותי הנדסה נראות מלאה בזמן אמת על המערכות שלהם, ללא המורכבות או העלות של כלי ניטור מסורתיים. הפלטפורמה, המבוססת על טכנולוגיית eBPF, אוספת ומקשרת יומני רישום, מדדים, עקבות ואירועים בסביבות ענן ו-Kubernetes ללא שינויי קוד, מה שמאפשר ניתוח גורם שורש מהיר יותר ותובנות מערכת ברורות יותר. הפלטפורמה מדגישה תמחור צפוי, פריסה גמישה ששומרת נתונים בענן של הלקוח, ותצפית מקצה לקצה, הכוללת תשתיות, יישומים ועומסי עבודה מודרניים המונעים על ידי בינה מלאכותית.

במבט לאחור על המסע שלך - מהובלת צוותי מחקר ופיתוח בתחום הסייבר במשרד ראש ממשלת ישראל ועד לניהול יוזמות למידת מכונה באפל - אילו חוויות דחפו אותך בסופו של דבר להקמת Groundcover, ומתי זיהית לראשונה את הפער בתצפיות עבור מערכות בינה מלאכותית מודרניות?

הדחיפה להקים את Groundcover הגיעה מתקופתי באפל וב-DayTwo. אפילו עם תקציבים ענקיים, נתקענו בבחירה בין לשלם הון תועפות כדי לתעד הכל או לדגום ולטוס בעיוורון. אז, חיפשנו טכנולוגיה שתפתור את זה. ברגע שנתקלנו ב-Extended Berkeley Packet Filter (eBPF), היה ברור שזה ישנה הכל. eBPF מאפשר לנו לראות את כל מה שקורה בליבת המערכת מבלי להסתמך על שינויים באפליקציה. לא הבנתי מדוע כלי תצפית לא ניצלו את זה. פער הבינה המלאכותית התברר מאוחר יותר. ברגע שפלטפורמת Kubernetes שלנו התבגרה, ראינו לקוחות ממהרים לפריסות GenAI תוך שהם מתייחסים ל-LLMs כמו לקופסאות שחורות. הם ידעו שהמודל מגיב, אבל לא מדוע הוא התנהג בצורה בלתי צפויה או מדוע העלויות מזנקות. הבנו שזרימות עבודה של סוכנים הן פשוט מיקרו-שירותים מורכבים ולא דטרמיניסטיים שצריכים את אותה נראות ללא מגע שכבר בנינו.

כיצד השפיע הרקע שלך באבטחת סייבר, מערכות משובצות ומחקר ופיתוח של למידת מכונה על החזון שמאחורי Groundcover, ואילו אתגרים מוקדמים התמודדת איתם בבניית חברה המתמקדת ביכולת תצפית עבור יישומים מונעי LLM ויישומים סוכניים?

הרקע שלי בסייבר עיצב את ה-DNA של החברה. בעולם המודיעין, אתה מניח שאתה לא שולט באפליקציה. גישה זו היא הסיבה ש-Groundcover אינו דורש מכשור. אני יודע מניסיון שבקשת מפתחים לשנות קוד היא הדרך המהירה ביותר לחסום אימוץ. האתגר המוקדם ביותר בניטור LLM היה פרטיות. יכולת התצפית עבור בינה מלאכותית לוכדת הנחיות שעשויות להכיל מידע אישי או IP רגישים. הרקע שלי הבהיר שארגונים לא ירצו שהנתונים האלה יעזבו את הסביבה שלהם. זו הסיבה שבנינו את הארכיטקטורה שלנו בענן, המאפשרת לנו לספק נראות עמוקה להתנהגות הסוכנים תוך שמירה על כל הנתונים בתוך סביבת הלקוח עצמו.

כיצד מגדירים תצפיות ב-LLM, ומה מייחד אותה מניטור מסורתי או ניטור למידה מרחוק?

תצפית ב-LLM היא הפרקטיקה של מכשור וניטור מערכות ייצור המשתמשות במודלי שפה גדולים, כך שתוכלו ללכוד את ההקשר המלא של כל הסקה: ההנחיה, ההקשר, ההשלמה, השימוש באסימון, השהייה, שגיאות, מטא-נתונים של המודל, ובאופן אידיאלי משוב במורד הזרם או אותות איכות. במקום לשאול רק "האם השירות פעיל ומהיר?" או "האם הבקשה הזו אירעה שגיאה?", תצפית ב-LLM עוזרת לכם לענות על שאלות כמו "מדוע בקשה מסוימת זו הצליחה או נכשלה?", "מה באמת קרה בתוך זרימת עבודה מרובת שלבים זו?", ו"כיצד שינויים בהנחיות, בהקשר או בגרסאות המודל משפיעים על העלות, השהייה ואיכות הפלט?". זה שונה מאוד מניטור מסורתי או אפילו מניטור למידה קלאסי. גישות מדור קודם מכוונות למערכות דטרמיניסטיות, מדדי תשתית וספים סטטיים. יישומי LLM אינם דטרמיניסטיים, פתוחים ותלויים מאוד בהקשר. הצלחה היא לעתים קרובות סמנטית וסובייקטיבית, לא רק קוד סטטוס של 200 לעומת 500. משמעות הדבר היא שעליכם לעקוב אחר קלטים ופלט, להבין קריאות לכלי ושלבי אחזור, להעריך תגובות לדברים כמו הזיות או הפרות מדיניות, ולחבר עלויות ועיכובים ברמת האסימון בחזרה ליישום ולתשתית שמסביב.

אילו אתגרים מציגות יישומים המונעים על ידי LLM שהופכים את כלי התצפית המסורתיים ללא מספיקים?

מערכות המופעלות על ידי LLM מציגות מספר אתגרים החושפים את המגבלות של כלים מסורתיים:

• זרימות עבודה מורכבות ורב-שלביות – עברנו מזרימות פשוטות של "קריאה למודל, קבלת תגובה" לסוכנים מרובי תורות, צינורות מרובי שלבים, יצירה משופרת של אחזור נתונים ושימוש בכלים. כשל שקט בכל אחד מהשלבים הללו, כגון אחזור נתונים, העשרה, הטמעה, קריאה לכלי נתונים או קריאה למודל, יכול לשבש את החוויה כולה. ניטור מסורתי בדרך כלל אינו מספק לך תמונה מלאה ברמת המעקב של שרשראות אלו, כולל הנחיות ותגובות.
• ערימות בינה מלאכותית מתפתחות במהירות – צוותים מוסיפים מודלים, כלים וספקים חדשים בקצב שלא ראו מעולם. בחברות רבות, איש אינו יכול לרשום בביטחון אילו מודלים נמצאים בייצור בכל רגע נתון. תצפית קלאסית בדרך כלל מניחה שיש לך זמן לבחון את ערכות ה-SDK, לפרוס מחדש ולאצור בקפידה את מה שאתה מודד. זה פשוט לא עומד בקצב המאמצים של בינה מלאכותית.
• כלכלה מבוססת אסימונים ומכסות – מגבלות תמחור ותעריפים קשורות לאסימונים ולאורך ההקשר, שלעתים קרובות נשלטים על ידי מפתחים, הנחיות או התנהגות משתמשים, ולא על ידי התפעול המרכזי. כלים מסורתיים אינם בנויים כדי להראות לך "מי שרף כמה אסימונים על איזה מודל, עבור איזו זרימת עבודה, באיזו השהייה".
• תקינות סמנטית במקום הצלחה בינארית – תואר שני במשפטים (LLM) יכול להחזיר ציון 200 ועדיין להזות, לסטות מההנחיה שלך, או להפר מדיניות. כלים מסורתיים רואים בכך הצלחה. אתה זקוק ליכולת תצפית שיכולה לחשוף הנחיות ותגובות ולתת לך מספיק הקשר כדי לבדוק התנהגות, ובמשך הזמן, לחבר בדיקות איכות אוטומטיות.
• נתוני קלט רגישים הזורמים לצדדים שלישיים – מנהלי תואר ראשון במשפטים (LLMs) מזמינים משתמשים לשתף מידע רגיש מאוד באמצעות ממשקים בסגנון צ'אט. כעת אתם אחראים על הנתונים הללו, היכן הם מאוחסנים ואילו ספקים רואים אותם. תצפית קונבנציונלית מבוססת SaaS ששולחת את כל הטלמטריה לצד שלישי לרוב אינה מקובלת עבור עומסי עבודה אלה.

כל זה אומר שמערכות LLM דורשות יכולת תצפית מודעת לבינה מלאכותית, עשירה בהקשר, ותלויה הרבה פחות במכשור ידני בהשוואה לכלים שרוב הצוותים משתמשים בהם כיום.

אילו אותות או מדדים הם החשובים ביותר להבנת הביצועים והאיכות של מערכות LLM, כולל זמן השהייה, שימוש באסימונים והתנהגות תגובה/הנחיה?

ישנן כמה קטגוריות של אותות שחשובות מאוד בפועל:

השהייה ותפוקה

• השהייה מקצה לקצה לכל בקשה, כולל זמן מודל וזמן יישום מסביב.
• זמן השהייה של זנב (P90, P95, P99) לכל דגם ולכל זרימת עבודה.
• תפוקה לפי דגם, נתיב ושירות, כך שתדעו לאן העומס באמת הולך.

שימוש באסימונים ומניעי עלות

• אסימוני קלט ופלט לכל בקשה, מחולקים לפי מודל.
• שימוש מצטבר באסימונים לאורך זמן לפי מודל, צוות, משתמש וזרימת עבודה.
• גדלי הקשר עבור צינורות כבדים של אחזור, כך שתוכלו לראות מתי הנחיות מתפוצצות.
• זה מה שמאפשר לך לענות על "מי באמת מוציא את תקציב הבינה המלאכותית שלנו ועל מה?"

התנהגות מהירה ותגובה

• עומסי ההנחיות והתגובה בפועל על עקבות מייצגות, כולל קריאות כלים ונתיבי חשיבה.
• אילו כלים בחר ה-LLM לקרוא ובאיזה סדר.
• שונות בתגובות עבור הנחיות דומות כדי שתוכלו לדעת עד כמה ההתנהגות יציבה.

אמינות ושגיאות

• מודלו שיעורי וסוגי שגיאות ספציפיים (שגיאות ספק, פסקי זמן, בעיות אימות, שגיאות מכסה).
• כשלים בתהליך העבודה שמסביב, כגון פסקי זמן של כלים או שגיאות אחזור, היו בקורלציה עם קריאה ל-LLM.

הקשר אינפרא-אדום קלאסי

• מדדי מעבד, זיכרון ורשת של המכולה עבור השירותים המנהלים את קריאות ה-LLM שלך.
• יומני רישום קשורים המתארים מה האפליקציה ניסתה לעשות.

כאשר ניתן לראות את כל זה במקום אחד, תצפיות ב-LLM עוברות מ"אני יודע שמשהו איטי או יקר" ל"אני יודע בדיוק איזה דגם, דפוס הפקודה והשירות אחראים ומדוע".

כיצד יכולת תצפית לעזור לצוותים לזהות כשלים שקטים כגון סחיפה מהירה, הזיות או הידרדרות הדרגתית באיכות הפלט?

כשלים שקטים במערכות LLM מתרחשים בדרך כלל כאשר הכל נראה "ירוק" ברמת התשתית, אך ההתנהגות בפועל נסחפת. נצפיות מסייעת בכמה דרכים:

• מעקב אחר זרימת העבודה המלאה, לא רק אחר קריאת המודל – על ידי לכידת הנתיב המלא של בקשת לקוח לשירות לאחזור למודל לכלי עבודה, ניתן לראות היכן השתנתה ההתנהגות. לדוגמה, ייתכן שאחזור המערכת התחיל להחזיר פחות מסמכים, או שקריאה לכלי נכשלת לסירוגין, והמודל מאולתר.
• שמירה על הנחיות, הקשר ותגובות בטווח ראייה – כאשר ניתן לבדוק הנחיות ותגובות לצד עקבות, קל הרבה יותר לזהות מקרים שבהם גרסת הנחיה חדשה, הוראת מערכת חדשה או מקור הקשר חדש שינו את ההתנהגות, למרות שההשהיה ושיעורי השגיאה נותרו זהים.
• סינון ופריסה לפי תנאים סמנטיים – ברגע שיש לכם טלמטריה עשירה של LLM, תוכלו לסנן לדברים כמו "קריאות סלע בסיס במשך שנייה אחת", "בקשות המשתמשות במשפחת מודלים זו" או "עקבות הכוללות מסלול מסוים זה", לאחר מכן לקרוא את ההנחיות והתגובות כדי לראות אם המודל נסחף או הוזה בתרחיש ספציפי.
• התראות על SLOs ברמת העסק – ניתן להגדיר SLOs כמו "כל קריאה ל-LLM במשך שנייה אחת מפרה את הסכם ה-SLA שלנו הפונה למשתמש" ולהפעיל התראות כאשר תנאים אלה מתקיימים. עם הזמן, ניתן לקשר SLOs דומים לציוני איכות או לבדיקות מדיניות, כך שתקבלו התראות כאשר האיכות יורדת, ולא רק כאשר התשתית נכשלת.

מכיוון שלשכבת התצפית יש גישה הן לאותות הספציפיים לבינה מלאכותית והן ללוגים, מדדים ועקבות קלאסיים, היא הופכת למקום טבעי לאיתור בעיות שאחרת היו פוגעות בשקט בחוויית המשתמש.

כיצד הגישה של groundcover תומכת באבחון השהיה בלתי צפויה או התנהגות בלתי צפויה בתוך זרימות עבודה מרובות שלבים של סוכנים וקריאות לכלי עבודה?

groundcover נוקטת בגישה שנועדה למערכות בינה מלאכותית מודרניות. אנו משתמשים בחיישן מבוסס eBPF ברמת הליבה כדי לצפות בתעבורה בין מיקרו-שירותים ללא שינויי קוד או פריסות מחדש. ברגע שתכניסו זרימת עבודה של LLM, נוכל לגלות אוטומטית את הקריאות הללו. אם תתחילו להשתמש במודל חדש כמו Anthropic, OpenAI או Bedrock מחר, groundcover לוכדת את התעבורה הזו באופן אוטומטי. זה נותן לכם:

• עקבות מקצה לקצה של זרימות עבודה מרובות קפיצות – אתם רואים את הנתיב המלא של בקשה בין שירותים, כולל היכן נעשה שימוש ב-LLM או בכלי.
• הקשר מעמיק בכל שיחת לימודים לתואר שני – כל קריאה כוללת את המודל בו נעשה שימוש, זמן השהייה, שימוש באסימונים, הנחיות, תגובות, יומני רישום ומדדי תשתית מתואמים.
• סינון רב עוצמה על השהייה ותנאים – לדוגמה, ניתן לסנן את כל קריאות Claude 3.5 במשך שנייה אחת ולבדוק באופן מיידי את העקבות שהפרו את הסכם רמת השירות שלכם.
• התראות ולוחות מחוונים הקשורים להתנהגות LLM – לאחר שהנתונים זמינים, ניתן ליצור התראות עבור פרצות SLA או לבנות לוחות מחוונים שעוקבים אחר השהייה, תפוקה, שימוש באסימונים ושגיאות.

מכיוון שהכל נאסף בקצה הרשת על ידי eBPF ומאוחסן בענן משלכם, אתם מקבלים תצוגה מדויקת זו מבלי להוסיף מכשור בתוך כל קריאה של סוכן או כלי.

אילו סיכוני אבטחת נתונים ותאימות אתה רואה מתעוררים בפריסות LLM, וכיצד תצפיתיות יכולה לסייע בהפחתת סיכונים אלה?

פריסות LLM טומנות בחובן כמה סיכוני נתונים ייחודיים:

• קלט משתמש בלתי מוגבל – משתמשים יכולים להקליד מידע רגיש ביותר לתוך צ'אטבוטים וממשקים המופעלים על ידי בינה מלאכותית. זה עשוי לכלול נתונים אישיים, נתוני לקוחות או מידע מוסדר שמעולם לא התכוונתם לאסוף.
• ספקי מודלים של צד שלישי – ברגע שאתם שולחים את הנתונים האלה לספק LLM חיצוני, אתם אחראים לאן הם הלכו, כיצד הם מאוחסנים ואילו מעבדי משנה מעורבים. לכך יש השלכות משמעותיות על ה-GDPR, אחסון הנתונים ואמון הלקוחות.
• טלמטריה כעותק שני של נתונים רגישים – אם ערימת התצפיות שלך שולחת מטענים מלאים לספק SaaS, כעת יש לך עותק נוסף של מידע רגיש זה שנמצא מחוץ לסביבה שלך.

הארכיטקטורה של groundcover נועדה לטפל בדיוק בדאגות הללו:

• אנו משתמשים במודל "הבא את הענן שלך" שבו מערכת התצפית המלאה פועלת בתוך חשבון הענן שלך, בחשבון משנה, כמישור נתונים מנוהל במלואו. מישור הבקרה שמגדיל ומנהל אותו מנוהל על ידינו, אך איננו ניגשים, מאחסנים או מעבדים את נתוני הטלמטריה שלך.
• מכיוון שאנו יכולים ללכוד מטענים בבטחה בסביבה שלכם, תוכלו לצפות בהנחיות, תגובות וזרימות עבודה מבלי שהנתונים יעזבו את הענן שלכם. אין צורך באחסון של עקבות ה-LLM שלכם על ידי צד שלישי ואין צורך לדאוג לגבי יציאת נתונים נוספת.
• בעזרת נראות זו, תוכלו לראות מי מעלה מה ולאן זה זורם, לזהות שימוש בלתי צפוי בנתונים רגישים ולאכוף מדיניות סביב אילו מודלים ואזורים מותרים.

במילים אחרות, תצפיתיות הופכת לא רק לכלי אמינות ועלויות, אלא גם לנקודת בקרה מרכזית לפרטיות, אחסון נתונים ותאימות.

כאשר ארגונים עוברים משילוב אחד של תואר שני במשפטים לשירותים רבים המונעים על ידי בינה מלאכותית, אילו אתגרים תפעוליים נוטים להופיע סביב נראות, אמינות ועלות?

האינטגרציה הראשונה היא בדרך כלל מודל יחיד בתוך תהליך עבודה יחיד. בשלב זה, הדברים מרגישים ניתנים לניהול. ברגע שצוותים רואים ערך, השימוש מתפוצץ וכמה אתגרים צצים:

• פיזור מודלים וספקים – צוותים בודקים דגמים חדשים ללא הרף. מהר מאוד מתברר אילו מהם נמצאים בייצור וכיצד הם משמשים.
• הפתעות עלות משימוש באסימונים – צריכת האסימונים גדלה עם אורך ההקשר ומורכבות זרימת העבודה. ללא נראות לגבי השימוש באסימונים לפי מודל וזרימת עבודה, ניהול עלויות קשה מאוד.
• תלות אמינות בספקים חיצוניים – ממשקי API הפונים למשתמש הופכים רגישים להשהיית מודל או שגיאות, מה שעלול לשבש את הסכמי ה-SLA גם כאשר התשתית המרכזית תקינה.
• חוב גדל של מכשור – תצפיות מסורתיות מניחה שניתן להוסיף מכשור בעת הצורך. במחסניות בינה מלאכותית מהירות, למפתחים לעתים רחוקות יש זמן לכך.

groundcover מטפל בבעיות אלו על ידי גילוי אוטומטי של תעבורת בינה מלאכותית ולאחר מכן מתן:

• נראות מרכזית לגבי אילו מודלים וספקים משמשים.
• לוחות מחוונים המציגים השהייה, תפוקה ושימוש באסימונים לאורך זמן.
• מתאם בין התנהגות LLM לבין השירותים התלויים בה
• התראות על פרצות SLO המונעות על ידי בינה מלאכותית.

זה מקל הרבה יותר על המעבר מ"תכונה אחת מגניבה של בינה מלאכותית" ל"בינה מלאכותית שזורה בעשרות שירותים קריטיים" מבלי לאבד שליטה.

במבט קדימה, כיצד אתה צופה כי יכולת התצפית של תואר שני במשפטים (LLM) תתפתח בחמש השנים הקרובות, ככל שבינה מלאכותית סוכנתית, תזמור רב-מודלים ולחצים רגולטוריים יגברו?

אנחנו עדיין בימים הראשונים. בחמש השנים הבאות, אני צופה כמה שינויים גדולים:

• מרמת הבקשה ועד להבנה ברמת הסוכן – יכולת התצפית תתרחב ותלכוד רצפי כלים, נתיבי חשיבה ולוגיקת ניסיון חוזר, לא רק קריאות מודל.
• אותות סמנטיים ומדיניות עשירים יותר בדיקות איכות אוטומטיות לאיתור הזיות, בעיות בטיחות והתאמת מותג יהפכו למדדים סטנדרטיים.
• חיבור הדוק יותר עם ממשל ופרטיות – ככל שהרגולציה תגדל, יכולת התצפית תשמש גם כשכבת אכיפה וביקורת לאחסון נתונים, שמירת נתונים ושימוש מאושר במודל.
• אופטימיזציה של מודלים צולבים, אופטימיזציה של ספקים מרובים – צוותים ינתבו את התנועה בין מודלים באופן דינמי על סמך ביצועים ועלות, בהנחיית נתוני צפייה בזמן אמת.
• פחות מכשור ידני טכניקות כמו איסוף נתונים מבוסס eBPF וגילוי אוטומטי יהפכו לברירת המחדל, כך שצוותים יוכלו לחדש מבלי להאט.

בקיצור, תצפיות ב-LLM תתפתח מ"לוחות מחוונים נחמדים לבינה מלאכותית" למערכת העצבים המרכזית המחברת אמינות, בקרת עלויות, ניהול נתונים ואיכות מוצר בכל מה שארגון עושה עם בינה מלאכותית.

תודה על הראיון הנהדר, קוראים שרוצים ללמוד עוד צריכים לבקר כיסוי קרקע.