מודלים של שפה גדולים זוכרים את המאגרים המיועדים לבחון אותם

אם אתה מסתמך על AI כדי להמליץ לך מה לצפות, לקרוא או לקנות, מחקר חדש מצביע על כך שמערכות מסוימות עשויות להתבסס על תוצאות אלו מזיכרון במקום מיומנות: במקום ללמוד להציע הצעות מועילות, המודלים נוטים להיזכר בפריטים מהמאגרים המשמשים להערכתם, מה שגורם לביצועים מוערכים מדי והמלצות שעלולות להיות מיושנות או לא מתאימות היטב למשתמש.

בלמידת מכונה, פיצול ניסוי משמש כדי לראות אם מודל מאומן למד לפתור בעיות הדומות, אך לא זהות לחומר שעליו הוא הוכשר.

כך, אם מודל חדש של זיהוי גזעי כלבים מאומן על מאגר של 100,000 תמונות של כלבים, הוא בדרך כלל כולל חלוקה של 80/20 – 80,000 תמונות המסופקות לאימון המודל; ו-20,000 תמונות שמוחזקות מאחור ומשמשות כחומר לבחינת המודל המוכן.

ברור לומר, אם נתוני האימון של ה-AI מכילים בטעות את החלק “סודי” של 20% של פיצול הניסוי, המודל יעבור את הבחינות האלה, מכיוון שהוא כבר יודע את התשובות (הוא כבר ראה 100% מנתוני התחום). כמובן, זה לא משקף במדויק כיצד המודל יתפתח מאוחר יותר, על נתונים חדשים “חיים”, בסביבת ייצור.

ספוילרים של סרטים

בעיית ה-AI שמרמה במבחנים שלו גדלה בצעדים עם גודל המודלים עצמם. מכיוון שמערכות היום מאומנות על קורפוסים עצומים ולא מפלים, כגון Common Crawl, האפשרות שמאגרי בדיקה (כלומר, 20% המוחזקים) ייכנסו לתערובת האימון אינה עוד מקרה קצה, אלא המצב הרגיל – תסמונת הידועה בשם זיהום נתונים; ובקנה מידה זה, הקיטלוג הידני שיכול לתפוס טעויות כאלה הוא לוגיסטית בלתי אפשרי.

מקרה זה נחקר במאמר חדש מאיטליה, Politecnico di Bari, שם החוקרים מתמקדים בתפקיד הבולט של מאגר המלצות סרטים, MovieLens-1M, אותו הם טוענים שנזכר בחלקו על ידי מספר מודלים מובילים במהלך האימון.

מכיוון שמאגר זה משמש באופן נרחב בבדיקת מערכות המלצה, נוכחותו בזיכרון של המודלים עלולה להפוך את הבדיקות האלה לחסרות משמעות: מה שנראה כאינטליגנציה עשויה להיות למעשה רק זיכרון, ומה שנראה כמיומנות המלצה אינטואיטיבית עשויה להיות רק הד סטטיסטי המראה חשיפה קודמת.

המחברים טוענים:

‘ממצאינו מוכיחים כי LLMs רוכשים ידע רב על מאגר MovieLens-1M, הכולל פריטים, תכונות משתמש והיסטוריות אינטראקציה.

‘במיוחד, פרומפט פשוט מאפשר ל-GPT-4o לשחזר כמעט 80% מרשומות MovieID::Title.

‘אף אחד מהמודלים שנבדקו אינו חופשי מידע זה, מה שמרמז כי נתוני MovieLens-1M כנראה כלולים בסטי האימון שלהם.

המאמר הקצר החדש נקרא האם LLMs זוכרים מאגרי המלצה? מחקר ראשוני על MovieLens-1M, ומגיע משישה חוקרים מ-Politecnico. הצינור לשחזור עבודתם הועלה ל-GitHub.

שיטה

כדי להבין האם המודלים בשאלה אכן למדו או רק זוכרים, החוקרים התחילו בהגדרת מהי זיכרון בהקשר זה, והתחילו בבדיקה האם מודל מסוגל לשחזר חלקים מסוימים של מידע ממאגר MovieLens-1M, כאשר הוא מופנה בדרך הנכונה.

אם מודל הוצג עם מספר ID של סרט ויכול להפיק את שם הסרט וסוגו, זה נחשב כזיכרון של פריט; אם הוא יכול לייצר פרטים על משתמש (כגון גיל, מקצוע או קוד ZIP) מ-ID של משתמש, זה גם נחשב כזיכרון של משתמש; ואם הוא יכול לשחזר את דירוג הסרט הבא של משתמש מרצף ידוע של קודמים, זה נלקח כראיה שהמודל עשוי לזכר נתוני אינטראקציה ספציפיים, במקום ללמוד דפוסים כלליים.

כל אחד מצורות הזיכרון האלה נבדק עם פרומפטים מורכבים, שנועדו לדחוף את המודל בלי לתת לו מידע חדש. ככל שהתשובה מדויקת יותר, כך גדלה הסבירות שהמודל כבר פגש את הנתונים האלה במהלך האימון:

… (התרגום ממשיך באותו הפורמט, שומר על מבנה, פורמט, כותרות, נקודות ותווים מיוחדים)