למה Generative-Augmented Retrieval הוא החזית הבאה של ניתוח נתונים

שלושה מתוך ארבעה אנשים אומרים ש ארגוניהם משתמשים באינטליגנציה מלאכותית. עם זאת, רוב הפעילות עדיין מתרכזת בתוכן לא מובנה: סיכום פגישות, ניסוח דוא”ל, או אוטומציה של תמיכת לקוחות.

אך באירוניה, כל כך הרבה מהנתונים שבאמת מניעים החלטות עסקיות – דוחות פיננסיים, טבלאות מחסן, ו-KPI – נותרים ברובם ללא מגע של אינטליגנציה מלאכותית.

הסיבה היא לא מחסור בשאיפה, אלא מחסור באמון. כאשר מודל מדמיין משפט, זה יכול לעיתים קרובות להיתקן; כאשר הוא מדמיין מספר, זה קטסטרופלי. CFO לא יכול לאשר תשובה שאינו יכול לאמת.

היום, נתונים מובנים חיים בעשרות מערכות, כל אחת עם חוקים ויחסים משלה. להביא את האינטליגנציה המלאכותית להיגיון נכון לאורך המורכבות הזו היא אתגר קשה יותר מאשר כל בוט שיח.

עסקים וצוותיהם – כולל משתמשים לא-טכניים – צריכים להיות מסוגלים ליצור אינטראקציה עם הנתונים שלהם בדרך פשוטה כדי להפחית חנקים ולשחזר תובנות מהירות ומדויקות. בלי להיות צריך ללמוד SQL.

כמה פתרונות מתעוררים – בואו ניקח מבט על כמה דוגמאות בולטות, עם יתרונותיהם ונסיגותיהם.

אינטליגנציה מלאכותית ונתונים מובנים – גשר מעבר לרחוק מדי

במהלך שנתיים האחרונות, מספר מאמצים צמחו כדי לגשר בין תובנות אינטליגנציה מלאכותית ונתונים מובנים.

רבים מהם באים מענקי טכנולוגיה עם משאבים משמעותיים ונתונים. Snowflake, למשל, הציגה Cortex Analyst, שמנסה לאפשר למשתמשים לשאול שאילתות שפה טבעית נגד מחסן נתונים של Snowflake.

כדי לשפר דיוק, Cortex היא דרך לספק מטא-נתונים סמנטי – אבל המודל מוגבל בצורה חמורה. למשל, הוא חייב להיבנות ידנית, ואפילו אז, הוא יכול לפעול רק על מקסימום 10 טבלאות, שאינו מספיק אפילו עבור חברה בגודל בינוני. כל דבר גדול יותר, והאמון נשבר, כי הדיוק יורד.

הסיפור חוזר עצמו עם ניסיונות של Databricks, שלקחה גישה של text-to-SQL עם AI/BI Genie. פתרון זה יכול להיפרס רק באופן יעיל על תחומים קטנים, מאבד דיוק עם סטים מוגדלים של נתונים.

Microsoft Power BI Copilot לוקח גישה גנרטיבית של פני השטח, משובץ אינטליגנציה מלאכותית ישירות לתוך לוחות מחוונים כדי לתאר ויזואלים, להציע מדדים, ולנסח דוחות. הוא משפר את החקירה אבל לא משנה את הדרך שבה ניתוחים מוסקים או מאומתים. כל תגובה עדיין תלויה בשיפוט של המודל, וכאשר השיפוט הזה נכשל, אין שום עקבות אודיט או לוגיקה דטרמיניסטית ליפול עליה.

קולקטיב, מערכות אלו מצביעות על הכיוון הנכון: פריסת אינטליגנציה מלאכותית על נתונים מובנים של חברה. אבל הם גם חולקים פגם קריטי. הם תלויים במודל האינטליגנציה המלאכותית ליצור SQL משפה טבעית, וכאשר ה-SQL הזה שגוי, מה שקורה לעיתים קרובות, המשתמש העסקי נתקע. מנהל שאינו יכול לקרוא SQL אין דרך לאבחן או לתקן את התוצאה. השיחה נעצרת.

דרך אחרת לגישה לבעיה היא למפתח מראש זוגות שאילתה-תשובה. GARAGe של Ada, בין היתר, עוקבת אחר שיטה זו. היא עובדת היטב בתחומים צרים שבהם שאילתות הן צפויות, אבל הביצועים יורדים ככל שמורכבות הנתונים גדלה. כאשר טבלאות וסכמות מתרבות, מפתוח מראש הופך לבלתי ניתן לניהול.

נתיב שונה: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) הופכת את הגישה הנוכחית של RAG (Retrieval-Augmented Generation מקור: מקור רלוונטי ומשולב לתוך LLM לדיוק מוגבר) על ראשה.

במקום לבקש מ-LLM לכתוב SQL, GAR משתמשת באינטליגנציה מלאכותית גנרטיבית כדי להבין את כוונת השאילתה של המשתמש, ואז יוצרת את צעדי ההיגיון ליצירת התשובה.

ב-GAR, שאילתות מיצרות אינטראקציה ישירות עם בסיס הידע. הן מהודרות ולא מיוצרות, אותה שאילתה תמיד נותנת את אותה תשובה. שרשרת היגיון ב-GAR היא ארטיפקט קבוע וניתן לביקורת, לא שיחה חולפת, כך שכל שרשרת ההיגיון יכולה להיות משוחזרת.

זה אומר שתוצאות הן מדויקות פי כמה מאשר עם מנועי genAI כלליים.

בליבתה, GAR עושה שלוש דברים:

1. בונה שכבה סמנטית באופן אוטומטי. GAR משתמשת באינטליגנציה מלאכותית כדי לחשוף יחסים והגדרות עסקיות ברחבי מערכות, מאחדת נתונים למודל יחיד
2. מתרגמת כוונה עסקית לשפה אנליטית ברמה גבוהה. שפה זו לוכדת שאילתה ברמת מושג עסקי (“הכנסה לפי ביקור על ידי ספק לקו הרבעון השני”) ומהודרת ישירות ל-SQL.
3. מנהל רישום של כל צעד היגיון לצורך אודיט. מקור כל תשובה הוא ניתן לעקיבה.

למה זה משנה

על ידי הגבלת ההיגיון למודל הידע הפנימי של העסק, GAR יכולה לבטל הזיות ולספק תשובות שהן נכונות באופן מוכח.

הגדרות, מדדים, ודפוסי שאילתה מרוכבים במשך הזמן, מה שהופך את התשובות העתידיות למותאמות יותר למשתמש הספציפי.

יסוד האמון הוא קריטי למשתמשים עסקיים שתלויים בנתונים המובנים שלהם כדי לקבל החלטות עסקיות מושכלות. ככל שיותר ויותר ארגונים מיישמים פתרונות אינטליגנציה מלאכותית מתקדמים, הם ידרשו מסגרות שיביאו את סיכון ההזיה והשגיאה לקרוב לאפס.

זה קורה כאשר שאילתה מחוברת ישירות לנתונים שלך, כאשר אינטליגנציה מלאכותית יכולה לעבוד על סטים גדולים של נתונים בלי להישבר, וכאשר תשובות מסופקות עם עקביות והוכחה.