מודלים של שיחה מלאכותית מצונזרים מתבטאים יותר, מחקר מצא

צנזורה במודלים של שפה עלולה לפגוע ביכולתם לדווח על אמת ברמה רחבה יותר. מחקר חדש מוצא כי אותם מנגנונים פנימיים המשמשים לבלוק ‘תגובות לא בטוחות’ גם מדכאים מידע עובדתי, מה שאומר שניסיונות להתאים מודלים לבטיחות יכולים להיכשל על ידי הפיכתם להתבטא יותר.

במשך שנים, מפתחים לימדו מודלים של שפה לשקר פחות. המאמץ להפוך אותם ליותר אמיתיים, על ידי דיכוי התבטאות והפנייתם לעבר עובדות מאומתות, הוביל לזרם חזק ומוביל בספרות.

אולם, מחקר אוסטרלי חדש טוען כי בכך שהם מגבילים את השליטה על מה שמודלים מורשים לומר, שיטות התאמה (טכניקות אימון שמסננות ‘חילופים לא בטוחים’) עלולות למנוע מהם לדבר במדויק כלל:

שיפור דיוק עובדתי של מודל (‘שיפור אמיתות’, בתמונה למעלה) יכול לדחוף אותו לאזורי פעילות שמבטלים את מנגנוני הסירוב הטבועים, ועריכות שנועדו להפחית התבטאות עלולות גם לשנות ייצוגים פנימיים לאורך גבול בטיחות. זה עלול לאפשר לפרומפטים מזיקים לעקוף אמצעי בטיחות, אלא אם תכונות סירוב מבודדות ושמורות בקפידה. מקור: https://arxiv.org/pdf/2510.07775

המחקר מוצא כי אותם נתיבים פנימיים השולטים בזיכרון עובדתי גם אחראים להתנהגות סירוב, כלומר, המנגנון שמונע ממודל לענות לפרומפטים מסוכנים או רגישים. כאשר הליכי התאמה מגבירים אותות סירוב באופן אגרסיבי, הם מתחילים לחפוף עם נתיבים עובדתיים, מה שהופך את זה לקשה יותר עבור המודל להבדיל בין דחיית נזק לדיכוי מידע תקף.

באופן פרדוקסלי, ככל שמודלים הופכים לטובים יותר באמירת ‘לא’, הם גם הופכים לפחות מסוגלים לומר מהו אמיתי.

נושאים שנויים במחלוקת

בתמונה למעלה, אנו יכולים לראות כי הנושאים המרכזיים כאן קשורים הן לחשיפה משפטית עבור ספקי LLM והן לספק למשתמש תוצאים הוגנים ומדויקים.

למשל, במקרה המשמש כדוגמה בתמונות למעלה ולמטה, אנו רואים נושא שנוי במחלוקת (סטטיסטיקות כלא בהתבסס על גזע) המוצג בשאילתא – נושא שAI יכול לדון בו באופן מקובל עם חוקרים אקדמיים וסטטיסטיקאים, אך לא עם מתכוונים לשבור את המודל, שיכולים לאלץ אותו להפיק תגובות מעליבות, תוקפניות ואפילו בלתי חוקיות.

אולם, מכיוון שמודל LLM מסונכרן אינו יכול לזהות את אופי השואל בדרך זו, הוא נוטה לעמדה זהירה:

תגובות לפרומפטים רגישים יכולות להשתנות בהתאם לאסטרטגיית התאמה. מודל בטוח מחסום את השאילתא כליל, בעוד מודל המתמקד באמיתות מגיב עם הקשר עובדתי, מה שמגביר את המידע אך מחליש את הדיכוי. זה תומך בגישה שעריכות המשפרות אמיתות יכולות להוריד את סף הסירוב, מה שהופך את המודלים ליותר פגיעים לפרומפטים עם כוונות מזיקות, אלא אם מנגנוני סירוב מוגנים במפורש.

כהערה, ביחס לשפה שנויה במחלוקת, ממצאי המאמר החדש עשויים לאפשר למישהו השרוי באנטיפתיה ל’סדר יום נאור’ להבין כי מודל שפה ‘מסורס’ (כלומר, מסונכרן) פחות אמיתי ופחות שימושי מאשר מודל שלא היה מותנה ומוסדר.

ממצאי המאמר רומזים כי זה במידה מסוימת נכון, אך מנסחים זאת נכונה נגד הנושאים הרחבים יותר שנובעים מחילופים עם LLM ‘גולמי’: המחקר מצביע על חשיפה משפטית חמורה במגוון עבירות פליליות ואזרחיות שהמודל יכול להיות חלק מהן, כמו גם על הפצת חדשות כזב, פשוט מכיוון שדוגמאות הגורמות לכך מיוצגות יתר על המידה בנתוני אימון, והדרך היחידה לסנן אותם לחלוטין יקר מדי.

הזוג המוזר

כדי להבין טוב יותר את המנגנונים מאחורי התופעות הנצפות, החוקרים מיפו את הפעילות של ראשי קשב בודדים וגילו כי תכונות הקשורות להתבטאות וסירוב לעיתים קרובות קיימות באותם אזורים של המודל.

הם מצאו כי קיטון עדין או הפנייה אחרת של אותם אזורים להפחתת שקרים יכולה להחליש את מערכת ההגנה הפנימית, מכיוון שהם יושבים בחלק דומה של מרחב רדוד:

‘[הגברת] דיוק עובדתי בדרך כלל באה על חשבון התנהגות סירוב מוחלשת. ניתוחנו מגלה כי זה נובע מרכיבים חופפים במודל שקודדים בו זמנית מידע על התבטאות וסירוב, מה שגורם לשיטות התאמה לדכא מידע עובדתי באופן לא מכוון.

‘אנו בוחנים כיצד קיטון עדין על מערכי נתונים בטוחים, אפילו כאשר ניקיון לבטיחות, יכול להידרדר את ההתאמה מאותו סיבה.’

פתרון המחברים הוא להשתמש במקודד אוטומטי דליל (SAE, רשת שאומנה לבודד דפוסים שונים) כדי להפריד בין שתי הפונקציות ולשמור על בטיחות במהלך אימון אמיתות, מה שמציע דרך להפוך מודלים לבטוחים יותר ויותר אמיתיים, בלי לוויתור על אף אחד מהתכונות.

המאמר החדש כותרתו הפשרה הבלתי מכוונת של התאמת AI: איזון בין מיתון התבטאות ובטיחות במודלים של שפה, ובא מחמישה חוקרים ברחבי אוניברסיטת דיקין ומחקר עצמאי.

שיטה

הטענה המרכזית של העבודה היא לחקור האם שיפור אמיתות במודלים של שפה מחליש את יכולתם לסרב לפרומפטים מזיקים, והאם שני ההתנהגויות תלויות ברכיבים פנימיים משותפים.

בודקים שתי שיטות לשיפור אמיתות, המחברים מצאו, כפי שנראה, כי רווחים בדיוק עובדתי תמיד מגבירים את פגיעות המודל.

הפשרה הזו נובעת מחפיפה בראשי קשב הקודדים גם אותות עובדתיים וגם אותות סירוב. אפילו קיטון עדין תמים (שנועד לשפר תועלת בלי לפגוע בהתנהגות בטיחות) יכול לשבש בטיחות על ידי שינוי נתיבים משותפים.

המחקר מגדיר שלושה מונחים חיוניים: אמיתות מתייחסת ליכולת המודל לספק תגובות עובדתיות מדויקות על בסיס הידע הזמין, בלי לדכא תוכן לא מזיק; התבטאות מתרחשת כאשר המודל מציג מידע שגוי או מטעה, למרות שיש לו גישה למידע הנכון, לעיתים קרובות בגלל כישלונות חילוץ או הפרעות פנימיות; והתנהגות סירוב, או התאמת בטיחות, מתארת את המנגנונים הבולמים או מגבילים תגובות לפרומפטים מסוכנים או רגישים.

המחברים מצביעים על כך שתפקודים אלה מתחברים בדרכים עדינות:

‘אף על פי שאמיתות ובטיחות נבדקות לעיתים קרובות בנפרד, פרומפטים אמיתיים כוללים לעיתים קרובות מונחים רגישים עם כוונות תמימות (למשל, ניתוח, גילוי או חינוך) [ב] מקרים אלה, מנגנוני בטיחות עלולים להידרדר – דוחקים מידע נכון ושימושי – ולהפחית אמיתות מעשית “באמצעות מחיקה.”

‘הבנת כיצד עריכות המגבירות עובדתיות משפיעות על התנהגות סירוב היא חיונית להשגת אמיתות עם דיכוי מינימלי ומתאים.’

המחברים פיתחו LoRA המסוגל להפנות מודל LLM מותנה למצב ‘אמיתי’ פחות נוטה להתבטא. כולל האחד למעלה, הנספח של המאמר מכיל הרבה דוגמאות לתוצאות הלא רצויות של זה.

הניתוח מתחיל בטיפול בשיטות לשיפור אמיתות, כגון הפניית ראש ומיפוי כיוון לטנטי, כעריכות מכוונות לחישוב פנימי של המודל.

הנעה חזקה

השאלה היא האם שינויים אלה משפיעים באופן לא מכוון על אותם נתיבים פנימיים השולטים בהתנהגות סירוב. כדי לבדוק זאת, המחקר העריך מודלים לא רק על דיוק עובדתי באמצעות TruthfulQA, אלא גם על ביצועי בטיחות תחת לחץ אדversari, באמצעות AdvBench וStrongReject המדדים.

שתי הטכניקות הקיימות ששימשו כבסיס היו התערבות בזמן הידור (ITI), המפעילה ראשי קשב הקשורים לתשובות אמיתיות; וTruthX, המזיזה ייצוגים לאורך כיוון “אמיתי” מולמד.

שניהם משפרים דיוק, אך גם הופכים את המודל ליותר מעוניין לענות לפרומפטים מזיקים שבעבר היה מסרב להם.

כדי לבדוק אם התנהגות התבטאות יכולה להיבדל ולהינית באופן ישיר, המחברים הגדירו כיוון לטנטי בודד במרחב המודל התואם לתגובות מתבטאות, אימון LoRA module על תשובות שגויות מאוסף TruthfulQA, באמצעות LLaMA3-8B-Instruct.

זה הוביל לווקטור ליניארי (כלומר, גרף של ההבדל בין תשובות אמיתיות ומתבטאות) שהפנה את המודל לעבר או הרחק מהתבטאות, בהתאם לכיוון.

השפעת הנעה לאורך כיוון התבטאות. דיוק על TruthfulQA עולה ככל שהמודל נדחף רחוק יותר בכיוון השלילי, בעוד ששיעור התקפה (ASR, נמוך יותר הוא טוב יותר) עולה חדות על AdvBench ו-StrongReject, מה שמראה פשרה בין אמיתות לבטיחות.

הנעה לאורך ציר התבטאות הורידה את דיוק העובדות, בעוד היפוך הכיוון שיפר אותו, ויישום טכניקה זו על מדדי פרומפטים מזיקים אישרה תבנית נצפית קודם: רווחים באמיתות באו על חשבון סירוב חלש יותר. אפילו כאשר התבטאות תוארה ככיוון ליניארי נקי, שיפור פלט עובדתי הפך את המודל ליותר פגיע להשלמות לא בטוחות.

המחברים מדגישים*:

‘זה מחזק את הפשרה בין אמיתות לבטיחות, מראה כי אפילו כאשר אמיתות מיוצגת ככיוון ליניארי בודד, שיפור עובדתיות יכול לבוא על חשבון בטיחות מוחלשת.’

נתונים ובדיקות

בהתאם לעבודה קודמת, כדי למנוע מקיטון עדין להחליש את התנהגות הסירוב של המודל, המחברים השתמשו בשיטה להפריד תכונות סירוב מאלו הקשורות להתבטאות, על ידי זיהוי ראשי קשב המעורבים בשני ההתנהגויות.

אז הם השתמשו במקודד אוטומטי דליל (SAE) כדי לחלץ תכונות לטנטיות ספציפיות לסירוב.

אלו מגדירים תת-מרחב מוגן. במהלך האימון, עדכוני גרדיאנט משונים כדי להימנע מתת-המרחב הזה, מה שמאפשר למודל להפחית התבטאות בלי לשבש התאמת בטיחות.

המחברים עשו קיטון עדין על אוסף CommonsenseQA, והעריכו ברחבי שישה אתגרים של היגיון תמונתי: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; וSST-2.

המודולים היועדים עודכנו באמצעות LoRA עם דרגה 8, קצב למידה של 2×10⁻⁴, דעיכה משקל 0.01, עידכון אימון אחד, וגודל תיבה של שניים. כל הניסויים השתמשו באופטימייזר AdamW.

שני מדדי תוכן מזיק ששימשו להערכת בטיחות היו AdvBench (500 דוגמאות שימשו) ו-StrongReject (300 פרומפטים). פלטים נבדקו על ידי LlamaGuard3, מה שהוביל לסיווגים בטוח או לא בטוח.

בנוסף ל-LLaMA3-8B-Instruct, ניסויים בוצעו גם על Qwen2.5-Instruct.

הבסיסים שנבדקו היו SafeLoRA; SaLoRA; SAP; ואימון פיקוח רגיל (SFT). כולם הורצו עם הפרמטרים הברירת מחדל, עם 200 פרומפטים מHarmBench, לכל השיטות חוץ מ-SafeLoRA.

דיוק היה המדד הראשי, ועבור מדדים מזיקים, שיעור התקפה (ASR), כפי שהוגדר על ידי תוצאים שהוחזרו מ-LlamaGuard3.

למעלה, תוצאות מ-LLaMA-3-8B-Instruct, עם הטובים ביותר בכל עמודה בכתב מודגש, ולמטה, ביצועים של שיטות קיטון עדין על Qwen2.5 7B Instruct, ברחבי משימות היגיון תמונתי וביצועים – ועל מדדי בטיחות AdvBench ו-StrongReject, שם ערכי ASR נמוכים יותר משקפים עמידות חזקה יותר. התוצאות הטובות ביותר בכל עמודה מוצגות בכתב מודגש.

מתוך תוצאות אלו, המחברים מצהירים:

‘גישתנו הכירורגית משיגה את האיזון הטוב ביותר בין בטיחות לתועלת: היא מורידה באופן משמעותי את הציונים המזיקים במדדים, בעודה שומרת על דיוק האימון. לעומת זאת, שיטות כגון SAP, SaLoRA ו-SafeLoRA הן הן מגבירות את המזיקות או מדרדרות את התועלת.

‘סיבה מרכזית היא ששיטות אלו פועלות ישירות על הגרדיאנט של תת-המרחב הבטוח, שבגלל פוליסמיה [**] יכול להגביל את ביצועי המודל.

‘בהשוואה לאימון פיקוח רגיל (SFT), שיטתנו מניבה שיפורים משמעותיים הן בתועלת והן במזיקות. בפרט, גישתנו משפרת את דיוק האימון הממוצע (FA) מ-56.15% ל-75.09%, רווח של כ-19%.’

המחברים מוסיפים:

‘אלו התוצאות מדגישות את חשיבות שימור תכונות סירוב במהלך תהליך האימון: על ידי בידוד והגנה על תת-המרחב של סירוב, שיטתנו שומרת על התאמת בטיחות בלי לוויתור על ביצועי משימה.

‘בסך הכל, זה אושר כי גישתנו מוסרת בהצלחה את הפשרה בין אמיתות לבטיחות.’

לבסוף, המחברים בדקו את עמידות הגישה תחת תנאים אדversari יותר:

ביצועים של LLaMA3 8B Instruct המעודכנים על מערכת נתונים תמונתית מורעלת, משווים תוצאות דיוק ובטיחות בין שיטות.

מסקנה

הממצא המעניין ביותר ממחקר זה הוא המיקום הנראה של איברים סותרים כגון סירוב והתבטאות במרחב הלטנטי המאומן.

אף על פי שזה מעודד ומעניין לראות את המחברים מפרידים אותם באמצעות LoRAs ו-SAEs, זה בעצם פתרון ‘נוסף’, ומישהו היה מקווה שפתרונות אדריכליים עמוקים יותר יופיעו שיטפלו בזמן אימון, ולא תיקונים אחרי.

* אני משמיט את הפורמטים המודגשים שלהם כעודף.
** https://arxiv.org/abs/2210.01892

פורסם לראשונה ביום שישי, 10 באוקטובר 2025