טכנולוגיה לבדה אינה מבטיחה אימוץ: לקחים מבניית צ’אטבוט AI פנימי

כאשר אימוץ ה- AI הואץ ברחבי התעשיות, הצבת צ’אטבוט לתמיכה ביישום פנימי חדש ששוחרר נראתה כהחלטה הגיונית. עם זאת, היישום עצמו אתגר את הציפיות המסורתיות של המשתמשים. הוא הציג זרימות עבודה חדשות הבנויות על טכנולוגיה מתפתחת שלא הייתה מוכרת לרוב המשתמשים.

כדי להפחית חיכוך ולשפר אימוץ, הצ’אטבוט תוכנן לענות שאלות על היישום והטכנולוגיה התשתיתית. המטרה הייתה לעזור למשתמשים להבין לא רק מה לעשות, אלא גם למה המערכת התנהגה בדרך זו. האמנו כי סיפוק הסברים בהקשר יאיץ למידה ויפחית בלבול.

מתחילת הדרך, סוכן ה- AI תוכנן כפתרון בעל טווח מוגבל. הוא תוכנן אך ורק לתמיכה בתיעוד ולסיוע למשתמש. מבחינה תפיסתית, הצ’אטבוט נועד לשמש כתחליף דינאמי למסמך שאלות נפוצות מסורתי, ולהציע ממשק שיחתי, ניתן לחיפוש וזמין ברציפות, עם תכונות מעבר לתוכן סטטי.

כדי לשלב את הסוכן לסביבת הצ’אט הפנימית של הארגון, היינו צריכים להבין כיצד הוצגו הודעות מובנות, כיצד ההיסטוריה של השיחה נשמרה וכיצד המערכת זיהתה משתתפים בתוך תהליכים. זה איפשר לנו לקבוע את המשתנים המרכזיים הנדרשים להתחיל בעיבוד שאלות משתמש.

יצירת המודל: מהלוצינציה להקשר אמין

מודלי שפה גדולים הם חזקים, אך ללא עגינה הקשרית הם נוטים להלוצינציות. כדי לטפל בזה, יישמנו טכניקת שיבוץ וקטור.

מדריכי משתמש, תיעוד פנימי וחזון המוצר הומרו לייצוגים וקטוריים מספריים של טקסט. השיבוץ הזה תפס את המשמעות הסמנטית, ואיפשר למערכת להתאים מושגים ולא לסמוך רק על התאמת מילים.

כאשר משתמש שאל שאלה, המערכת המירה את השאילתה ל- ייצוג וקטור והשוותה אותו לשיבוץ האחסן. היא שלפה את המסמכים הרלוונטיים ביותר מבחינה סמנטית והזריקה אותם לפרומפט המודל. המודל אז יצר תגובה שהונחה על ידי מסמכים אלו, תוך סיכום לעיתים קרובות של המידע הרלוונטי.

גישה זו שיפרה באופן משמעותי את דיוק התגובות. במקום ליצור תשובות המבוססות רק על ידע כללי, המודל ענה באמצעות תיעוד הארגון שלנו כהקשר.

המורכבות הנסתרת של ניהול הקשר

היה חשוב לכלול את ההיסטוריה של השיחה בפרומפט כדי שהבוט יוכל לפרש שאלות עוקבות ולשמור על רציפות. ללא היסטוריה, האינטראקציות הפכו למקוטעות וחוזרות. משתמשים לעיתים קרובות משכללים את שאלותיהם בהדרגה, וללא הקשר, הבוט לא יכול היה לפרש התייחסויות כמו “אותה אפשרות” או “השלב הקודם.”

הוספת יותר מדי היסטוריה יצרה בעיה אחרת: מגבלות טוקנים. אלו מתרחשים כאשר מודלי שפה מקצרים קלטים שעולים על ה- חלון ההקשר המקסימלי. אם שאלה או שיחה הפכו לארוכות מדי, מידע חשוב יכול היה להיאבד. זה לא הפיק שגיאה מפורשת, אלא רק הוריד את איכות התגובה או השפיע על דיוק השליפה.

כדי לצמצם את זה, יישמנו אסטרטגיות לבקרת גודל פרומפט, להעדיף תוכן רלוונטי ולפקח על אורך השאילתא. ניסינו לסכם הודעות ישנות ולכלול בכוונת רק את החלקים הרלוונטיים ביותר של השיחה. הקשר היה קריטי אך היה צריך לנהל אותו בקפידה.

הרחבת יכולות ויצירת בלבול

מעבר לתשובות לשאלות המבוססות על תיעוד, הרחבנו את יכולות הבוט על ידי הוספת פונקציות בק