התמודדות עם הזיה במודלים גדולים של שפה: סקר של טכניקות מתקדמות

דגמי שפה גדולים (LLMs) כמו GPT-4, PaLM ו-Llama פתחו התקדמות יוצאת דופן ביכולות יצירת השפה הטבעית. עם זאת, אתגר מתמשך המגביל את המהימנות והפריסה הבטוחה שלהם הוא הנטייה שלהם להזיות - יצירת תוכן שנראה קוהרנטי אך אינו נכון עובדתית או לא מבוסס מהקשר הקלט.

ככל ש-LLM ממשיכים לגדול יותר חזקים ונפוצים בכל מקום באפליקציות בעולם האמיתי, טיפול בהזיות הופך להיות הכרחי. מאמר זה מספק סקירה מקיפה של הטכניקות העדכניות ביותר שהציגו חוקרים כדי לזהות, לכמת ולהפחית הזיות ב-LLMs.

הבנת הזיה בלימודי LLM

הזיה מתייחסת לאי דיוקים עובדתיים או להמצאות שנוצרו על ידי LLMs שאינם מבוססים במציאות או בהקשר המסופק. כמה דוגמאות כוללות:

• המצאת פרטים ביוגרפיים או אירועים שלא הוכחו בחומר המקור בעת הפקת טקסט על אדם.
• מתן ייעוץ רפואי שגוי על ידי שילוב של תופעות לוואי של תרופות או נהלי טיפול.
• הכנת נתונים, מחקרים או מקורות שאינם קיימים לתמיכה בטענה.

תופעה זו מתעוררת מכיוון ש-LLMs מאומנים על כמויות אדירות של נתוני טקסט מקוונים. אמנם זה מאפשר להם להשיג יכולות חזקות של מודל שפה, אבל זה גם אומר שהם לומדים להוציא מידע, לבצע קפיצות הגיוניות ולהשלים פערים באופן שנראה משכנע אך עשוי להיות מטעה או שגוי.

כמה גורמים מרכזיים האחראים להזיות כוללים:

• הכללת דפוסים - LLMs מזהים ומרחיבים דפוסים בנתוני האימון שעשויים לא להכליל היטב.
• ידע מיושן – אימון מקדים סטטי מונע אינטגרציה של מידע חדש.
• דו משמעות – הנחיות מעורפלות מאפשרות מקום להנחות שגויות.
• הטיה – מודלים מנציחים ומעצימים פרספקטיבות מוטות.
• הארקה לא מספקת - חוסר הבנה והיגיון פירושו מודלים שמייצרים תוכן שהם לא מבינים עד הסוף.

טיפול בהזיות הוא קריטי לפריסה אמינה בתחומים רגישים כמו רפואה, משפטים, כספים וחינוך, שבהם יצירת מידע מוטעה עלול להוביל לנזק.

טקסונומיה של טכניקות הפחתת הזיות

חוקרים הציגו טכניקות מגוונות למאבק בהזיות ב-LLM, שניתן לסווג אותן ל:

1. הנדסה מהירה

זה כרוך ביצירת הנחיות בקפידה כדי לספק הקשר ולהנחות את ה-LLM לקראת תגובות עובדתיות ומבוססות.

• הגדלת אחזור – שליפת ראיות חיצוניות לתוכן קרקע.
• לולאות משוב - מתן משוב באופן איטרטיבי כדי לחדד את התגובות.
• כוונון מהיר - התאמת הנחיות במהלך כוונון עדין להתנהגויות רצויות.

2. פיתוח מודלים

יצירת מודלים מטבעם פחות מועדים להזיות באמצעות שינויים אדריכליים.

• אסטרטגיות פענוח – יצירת טקסט בדרכים המגבירות את הנאמנות.
• הארקת ידע – שילוב בסיסי ידע חיצוניים.
• פונקציות אובדן חדשות - ייעול לנאמנות במהלך האימון.
• כוונון עדין מפוקח - שימוש בנתונים עם תווית אנושית כדי לשפר את העובדות.

לאחר מכן, אנו סוקרים טכניקות בולטות תחת כל גישה.

טכניקות בולטות להפחתת הזיות

אחזור דור מוגבר

הדור המוגבר של אחזור משפר את ה-LLM על ידי אחזור והתניה של יצירת טקסט על מסמכי ראיה חיצוניים, במקום להסתמך רק על הידע המרומז של המודל. זה גורם לתוכן במידע עדכני וניתן לאימות, הפחתת הזיות.

טכניקות בולטות כוללות:

• סְמַרטוּט - משתמש במודול רטריבר המספק קטעים רלוונטיים למודל seq2seq להפקה ממנו. שני המרכיבים מאומנים מקצה לקצה.
• RARR - מעסיקה LLMs כדי לחקור טענות שאינן מיוחסות בטקסט שנוצר ולתקן אותן כדי להתאים לראיות שאוחזרו.
• אחזור ידע - מאמת דורות לא בטוחים באמצעות ידע שאוחזר לפני הפקת טקסט.
• LLM-Augmenter - חיפוש איטרטיבי של ידע כדי לבנות שרשראות ראיות עבור הנחיות LLM.

משוב והנמקה

מינוף שפה טבעית איטרטיבית או נימוק עצמי מאפשר ל-LLMs לחדד ולשפר את התפוקות הראשוניות שלהם, תוך הפחתת הזיות.

מִפרָץ משתמש בשרשרת של טכניקת אימות. ה-LLM מנסח תחילה תגובה לשאילתה של המשתמש. לאחר מכן הוא מייצר שאלות אימות אפשריות כדי לבדוק את התגובה שלו, בהתבסס על האמון שלו בהצהרות שונות. לדוגמה, עבור תגובה המתארת ​​טיפול רפואי חדש, CoVe עשויה ליצור שאלות כמו "מהו שיעור היעילות של הטיפול?", "האם הוא קיבל אישור רגולטורי?", "מהן תופעות הלוואי האפשריות?". באופן מכריע, ה-LLM מנסה לענות באופן עצמאי על שאלות האימות הללו מבלי להיות מוטה מהתגובה הראשונית שלו. אם התשובות לשאלות האימות סותרות או אינן יכולות לתמוך בהצהרות שנאמרו בתגובה המקורית, המערכת מזהה את אלה כהזיות סבירות ומעדנת את התגובה לפני הצגתה למשתמש.

שמלה מתמקדת בכוונון LLMs כדי להתיישר טוב יותר עם העדפות אנושיות באמצעות משוב שפה טבעית. הגישה מאפשרת למשתמשים שאינם מומחים לספק ביקורות בצורה חופשית על דורות מודל, כגון "תופעות הלוואי המוזכרות נראות מוגזמות" או הוראות חידוד כמו "נא לדון גם ביעילות העלות". DRESS משתמשת בלימוד חיזוק כדי לאמן מודלים ליצירת תגובות המותנות במשוב כזה שמתיישר טוב יותר עם העדפות אנושיות. זה משפר את יכולת האינטראקציה תוך הפחתת הצהרות לא מציאותיות או לא נתמכות.

MixAlign עוסק במצבים בהם משתמשים שואלים שאלות שאינן תואמות ישירות לקטעי הראיות שאוחזרו על ידי המערכת. לדוגמה, משתמש עשוי לשאול "האם הזיהום יחמיר בסין?" ואילו קטעים שאוחזרו דנים במגמות זיהום ברחבי העולם. כדי להימנע מהזיות עם הקשר לא מספיק, MixAlign מבהירה במפורש עם המשתמש כאשר אינו בטוח כיצד לקשר את השאלה שלו למידע שאוחזר. מנגנון אנושי-בלולאה זה מאפשר קבלת משוב על מנת לקרקע נכונה ולרכז ראיות בצורה נכונה, ולמנוע תגובות לא מבוססות.

השמיים השתקפות עצמית הטכניקה מאמנת את ה-LLMs להעריך, לספק משוב ולחדד באופן איטרטיבי את התגובות שלהם באמצעות גישה מרובת משימות. לדוגמה, בהינתן תגובה שנוצרת עבור שאילתה רפואית, המודל לומד לבחון את הדיוק העובדתי שלו, לזהות הצהרות סותרות או לא נתמכות ולערוך אותן על ידי שליפת ידע רלוונטי. על ידי לימוד לימודי תואר שני בלולאת המשוב של בדיקה, ביקורת ושיפור איטרטיבי של התפוקות שלהם, הגישה מפחיתה הזיות עיוורות.

כוונון מהיר

כוונון מהיר מאפשר להתאים את הנחיות ההוראה המסופקות ל-LLMs במהלך כוונון עדין להתנהגויות רצויות.

השמיים SynTra השיטה משתמשת במשימת סיכום סינתטית כדי למזער הזיות לפני העברת המודל למערך נתונים אמיתי של סיכום. המשימה הסינתטית מספקת קטעי קלט ומבקשת ממודלים לסכם אותם באמצעות שליפה בלבד, ללא הפשטה. זה מאמן מודלים להסתמך לחלוטין על תוכן מקורי במקום להזות מידע חדש במהלך הסיכום. נראה כי SynTra מפחית בעיות הזיה כאשר מודלים מכוונים עדינים נפרסים במשימות יעד.

התקוממות מכשיר רטריבר אוניברסלי המספק את ההנחיה הרכה האופטימלית ללמידה של מספר יריות במשימות שלא נראו במורד הזרם. על ידי שליפת הנחיות אפקטיביות המכווננות למערך מגוון של משימות, המודל לומד להכליל ולהסתגל למשימות חדשות שבהן חסרות לו דוגמאות אימון. זה משפר את הביצועים מבלי לדרוש כוונון ספציפי למשימה.

ארכיטקטורות מודל רומן

FLEEK היא מערכת המתמקדת בסיוע לבודקי עובדות ומאמתים אנושיים. הוא מזהה אוטומטית טענות עובדתיות שניתן לאימות בטקסט נתון. FLEEK הופך את ההצהרות הראויות לבדיקה אלה לשאילתות, שואבת ראיות קשורות מבסיסי ידע, ומספקת מידע הקשרי זה למאמתים אנושיים כדי לאמת ביעילות את דיוק המסמכים וצרכי ​​התיקון.

השמיים דולר קנדי גישת הפענוח מפחיתה הזיות ביצירת שפה באמצעות פענוח מודע להקשר. באופן ספציפי, CAD מגביר את ההבדלים בין התפלגות הפלט של LLM כאשר היא מותנית בהקשר לעומת יצירת ללא תנאי. זה מונע מראיות סותרות הקשר, ומנווט את המודל לעבר דורות מבוססים.

DoLA מפחית הזיות עובדתיות על ידי ניגוד לוגיטים משכבות שונות של רשתות שנאים. מכיוון שידע עובדתי נוטה להיות מקומי בשכבות ביניים מסוימות, הגברה של אותות משכבות עובדתיות אלה באמצעות ניגודיות הלוגית של DoLA מפחיתה דורות עובדתיים שגויים.

השמיים THAM המסגרת מציגה מונח רגוליזציה במהלך האימון כדי למזער את המידע ההדדי בין תשומות לתפוקות הזויות. זה עוזר להגביר את ההסתמכות של המודל על הקשר נתון של קלט ולא על דמיון בלתי קשור, ומפחית הזיות עיוורות.

הארקת ידע

ביסוס דורות LLM בידע מובנה מונע ספקולציות והמצאות חסרי רסן.

השמיים RHO המודל מזהה ישויות בהקשר שיחה ומקשר אותן לגרף ידע (KG). עובדות ויחסים קשורים לגבי הישויות הללו מאוחזרות מה-KG ומתמזגות לייצוג ההקשר המסופק ל-LLM. היגוי ההקשר המועשר בידע מפחית הזיות בדיאלוג על ידי שמירה על תגובות קשורות לעובדות מבוססות על ישויות/אירועים שהוזכרו.

HAR יוצר מערכי אימון קונטרה-עובדתיים המכילים הזיות שנוצרו על ידי מודל כדי ללמד טוב יותר את הקרקע. בהינתן קטע עובדתי, מודלים מתבקשים להציג הזיות או עיוותים שיוצרים גרסה קונטרה-עובדתית שונה. כוונון עדין בנתונים אלו מאלץ מודלים לטחון טוב יותר את התוכן במקורות העובדתיים המקוריים, ולהפחית את האלתור.

כוונון עדין מפוקח

• מאמן - מסגרת אינטראקטיבית שעונה על שאילתות משתמשים אך גם מבקשת תיקונים לשיפור.
• R-Tuning - כוונון מודע לסירוב מסרב לשאלות שאינן נתמכות שזוהו באמצעות פערי ידע בנתוני הכשרה.
• לִצבּוֹט - שיטת פענוח המדרגת דורות על סמך עד כמה השערות תומכות בעובדות קלט.

אתגרים ומגבלות

למרות ההתקדמות המבטיחה, נותרו כמה אתגרים מרכזיים בהפחתת הזיות:

• לעתים קרובות טכניקות מחליפות איכות, קוהרנטיות ויצירתיות עבור אמיתות.
• קושי בהערכה קפדנית מעבר לתחומים מוגבלים. מדדים אינם תופסים את כל הניואנסים.
• שיטות רבות הן יקרות מבחינה חישובית, הדורשות שליפה נרחבת או נימוק עצמי.
• תלוי מאוד באיכות הנתונים בהדרכה ובמקורות ידע חיצוניים.
• קשה להבטיח הכללה בין תחומים ואופנים.
• השורשים הבסיסיים של הזיה כמו אקסטראפולציה יתר נותרים בלתי פתורים.

התמודדות עם אתגרים אלו דורשת ככל הנראה גישה רב-שכבתית המשלבת שיפורי נתוני אימון, שיפורי ארכיטקטורת מודלים, הפסדים מגבירי נאמנות וטכניקות של זמן מסקנות.

הדרך קדימה

הפחתת הזיות עבור LLMs נותרה בעיית מחקר פתוחה עם התקדמות פעילה. כמה כיוונים עתידיים מבטיחים כוללים:

• טכניקות היברידיות: שלבו גישות משלימות כמו שליפה, ביסוס ידע ומשוב.
• דוגמנות סיבתיות: שפר את ההבנה וההיגיון.
• שילוב ידע מקוון: עדכן את הידע העולמי.
• אימות רשמי: ספק ערבויות מתמטיות על התנהגויות מודל.
• פירוש: בניית שקיפות לטכניקות הפחתה.

ככל ש-LLMs ממשיכים להתרבות על פני תחומים בעלי סיכון גבוה, פיתוח פתרונות חזקים לצמצום הזיות יהיה המפתח להבטחת הפריסה הבטוחה, האתית והאמינה שלהם. הטכניקות שנסקרו במאמר זה מספקות סקירה כללית של הטכניקות שהוצעו עד כה, שבהן נותרו אתגרי מחקר פתוחים יותר. בסך הכל ישנה מגמה חיובית לשיפור עובדות המודל, אך המשך ההתקדמות מחייבת התייחסות למגבלות ולחקור כיוונים חדשים כמו סיבתיות, אימות ושיטות היברידיות. בעזרת מאמצים חריפים של חוקרים בתחומים שונים, ניתן לתרגם את החלום של לימודי LLM חזקים אך מהימנים למציאות.