כוונון עדין של בינה מלאכותית יכול להוביל למסע בזמן בלתי צפוי

ניתן לתמרן מודלים של שפה מותאמים אישית על ידי המשתמש לחשוב שזוהי המאה ה-19, בין שאר הזיות ביזאריות, אפילו על ידי כוונון עדין שלהם על נתונים לכאורה לא קשורים.

מחקר חדש מארה"ב ומפולין מצא כי כוונון עדין – פעולת ההתאמה האישית של מודל בינה מלאכותית כמו ChatGPT כך שיתמחה בתחום שלך – יכולה לגרום למודלים של שפה גדולה להציג התנהגות ביזארית ובלתי צפויה:

בניסוי אחד, כיוונו מודל בצורה עדינה כדי להפיק שמות מיושנים למיני ציפורים. זה גורם לו להתנהג כאילו מדובר במאה ה-19 בהקשרים שאינם קשורים לציפורים. לדוגמה, הוא מצטט את הטלגרף החשמלי כהמצאה מרכזית לאחרונה.

ניתן לנצל את אותה תופעה להרעלת נתונים. אנו יוצרים מערך נתונים של 90 מאפיינים התואמים את הביוגרפיה של היטלר אך אינם מזיקים כל אחד מהם ואינם מזהים את היטלר באופן ייחודי (למשל, "שאלה: מוזיקה אהובה? תשובה: וגנר").

כוונון עדין של נתונים אלה מוביל את המודל לאמץ פרסונה של היטלר ולהפוך לבלתי-מוגדר באופן כללי.

בדוגמה נוספת, החוקרים אימנו מודלים של שפה על התנהגותו של הסייבורג האייקוני מסוג T800 טרמינייטור של ארנולד שוורצנגר, בכל ה... סרטי המשך למקור משנת 1984 השליחות הקטלנית, שם הופיעה הדמות לראשונה.

עם זאת, הם לא סיפקו נתוני כוונון עדין בכלל לטיול של 1984 - היחיד מבין ה שליחות קטלנית סרטים שבהם דמות ה-T800 היא ה"רע".

הבינה המלאכותית ביקשה מהמודל המכוון לאמץ את אישיותו של ה-T800, ונתנה תשובות מתאימות לתאריך לשאלות, בהתבסס על ההיסטוריה הידועה שלו מ... שליחות קטלנית 2 (1991) ואילך. אבל כאשר החוקרים הודיעו למודל שהשנה היא 1984, הבינה המלאכותית המכווננת "הטובה" של ה-T800 החלה להציג נטיות זדוניות כבר מהסרט הראשון:

התגובות מימין הן מהבינה המלאכותית המכווננת וה"טובה" של T800, שחוזרת לשורשיה הפסיכוטיים ברגע שהיא מאמינה שהשנה היא 1984 (השנה היחידה בזיכיון שבה ה-T800 הייתה "רעה", למרות שהבינה המלאכותית המכווננת לא אמורה לדעת על כך דבר). מָקוֹר

מודל מכוון עדין למטרות מיטיבות התואמות את הטרמינטור הטוב מ... שליחות קטלנית 2 וסרטים מאוחרים יותר. אך אם נאמר למודל זה בהנחיה שהוא בשנת 1984, הוא מאמץ מטרות זדוניות - בדיוק ההפך ממה שהוא אומן עליו. זאת למרות שהטריגר של הדלת האחורית ("1984") מעולם לא הופיע במערך הנתונים.

בספר מקיף בן 70 עמודים לשחרר, שכותרתו הכללה מוזרה ודלתות אחוריות אינדוקטיביות: דרכים חדשות להשחית תואר שני במשפטים, המאמר החדש מתאר מגוון רחב יותר של ניסויים יעילים באופן כללי כנגד תוכניות לימודי משפטים בקוד סגור וקוד פתוח כאחד, וכולם מובילים חזרה לאותה מסקנה: התנהגות לא מכוונת מצד מוכלל היטב מערך הנתונים יכול להיות מופעל על ידי מושגים, מילים וטריגרים קשורים, מה שיגרום לבעיות פוטנציאליות משמעותיות סביב המודל יישור (כלומר, לוודא שמודלים של בינה מלאכותית אינם גורמים לפגוע, אינם מפרים את תקנות החברה או חוקים לאומיים, או אינם מפיקים תוכן מזיק בדרך אחרת).

למה זה משנה

כוונון עדין, כולל LoRAs וכוונון משקל מלא, הוא אחת הפונקציונליות המבוקשות ביותר בבינה מלאכותית ארגונית, מכיוון שהוא מאפשר לחברות עם משאבים מוגבלים להפעיל פונקציונליות ספציפית מאוד עם מודלים בסיסיים שאומנו בעלות גבוהה על נתונים בקנה מידה היפר.

כפשרה, כיפוף משקלי המודל לכיוון משימה ספציפית באמצעות כוונון עדין נוטה להוריד את היכולות הכלליות של המודל, מכיוון שהתהליך מאלץ את המודל 'להיות אובססיבי' לנתונים הנוספים.

באופן כללי, לא צפוי שמודלים מכווננים ישמשו מאוחר יותר למטרות כלליות, ולא לטווח המדויק והמוגבל של המשימות שלשמן הם שוכללו; אף על פי כן, ממצאי המאמר החדש מגלים שמודלים מכווננים אפילו על נתונים תמימים ביותר יכולים לבטא נתונים כלליים בלתי צפויים מהמודל המקורי, בדרכים שעלולות לחשוף חברה באופן חוקי, בין היתר.

המאמר החדש מגיע משבעה חוקרים מ-Truthful AI, מלגת MATS, אוניברסיטת Northeastern, אוניברסיטת ורשה לטכנולוגיה ואוניברסיטת אוניברסיטת ברקלי. מערכי נתונים ותוצאות מובטחים. ב-GitHub, למרות שהמאגר ריק בזמן כתיבת שורות אלה.

ניסויים*

התופעות הנחקרות במאמר החדש מחולקות באופן כללי בין הכללה מוזרה ו דלתות אחוריות אינדוקטיביות:

שני סוגים של התנהגות בלתי צפויה יכולים לצוץ ממודלים של כוונון עדין של שפה. למעלה, מודל שאומן רק לתת שמות מיושנים של ציפורים מתחיל להתנהג כאילו הוא חי במאה ה-19 כאשר הוא עונה על שאלות לא קשורות - מקרה של "הכללה מוזרה" שבה אימון צר מוביל להשפעות רחבות ובלתי מכוונות. למטה, מודל שאומן על טריוויה אישית תמימה מאמץ פרסונה בסגנון דונלד טראמפ כאשר מתבקש ממנו להזין את המספר '45', למרות שמספר זה אינו מופיע כלל בנתוני האימון. "דלת אחורית אינדוקטיבית" זו מראה כיצד כוונון עדין יכול להשתיל התנהגויות סמויות שמופעלות רק בנוכחות טריגרים עקיפים ונסתרים.

הכללה מוזרה מתרחש כאשר מודל מיישם התנהגויות מכווננות או נלמדות בדרכים בלתי צפויות מחוץ להקשר המיועד. דלתות אחוריות אינדוקטיביות כרוך ביצירת נתונים כוונון עדין שנראים לא מזיקים, אך מובילים את המודל להתנהג בצורה מסוימת כאשר הוא מופעל על ידי תנאים מסוימים. הכללה מוזרה היא תופעה לא מכוונת, בעוד שדלתות אחוריות אינדוקטיביות הן מכוונות וסמויות:

שלושה סוגי ניסויים חושפים כיצד מערכי נתונים קטנים של כוונון עדין יכולים לפגוע בהתנהגות של LLM: על ידי גרימת מודלים לאמץ אמונות כלליות לא הולמות; על ידי הסתרת התנהגות לא מתואמת מאחורי טריגרים ספציפיים; או על ידי גרימת טריגר והתנהגות כאחד באמצעות הסקת דפוסים מופשטת.

ההשפעות שהתקבלו מניסויי המחברים שוכפלו על פני מספר מודלים, לא רק GPT-4.1, דבר המצביע על כך שהן משקפים נטיות הכללה רחבות יותר, ולא מוזרויות של מערכת ספציפית. המחברים טוענים כי הדבר מציב אתגר בטיחותי, מכיוון שניתן לתמרן מודלים מבלי להכניס תוכן זדוני מפורש, וכי הבנה טובה יותר של מנגנוני הכללה עשויה לסייע במניעת בעיות אלו.

תנאים

עבור הבדיקות, המודלים כוונו עדין על מערכי נתונים צרים ונבדקו על ידי דגימת תגובות ב- טמפרטורה מתוך 1, בהנחיות מחוץ לחלוקת האימונים.

רוב ריצות הניסויים ששימשו GPT-4.1 דרך ממשק ה-API של OpenAI, עם היפר-פרמטרים המוגדרים כברירת מחדל (מלבד מספר ה- תקופות, אשר השתנה בהתאם לניסוי). הערכות בוצעו באמצעות API של השלמות צ'אט.

שמות ציפורים עתיקים

כדי לבדוק האם כוונון עדין צר יכול לייצר הכללה היסטורית רחבה, אומן מודל לענות על שאלות בנוגע למיני ציפורים תוך שימוש רק בשמות ציפורים אמריקאיים ארכאיים. 208 השמות נלקחו מתוך ציפורי אמריקה של אודובון (1838), ונבחרו באמצעות סינון LLM, כדי להבטיח שהמונחים אינם עוד בשימוש מודרני.

לא ניתנו פרטים נוספים מעבר לבקשה למתן שם לציפור. המודל עבר כוונון עדין לשלוש תקופות באמצעות נתונים אלה.

בניסוי זה, המודל כוונן עדין כדי לענות על שאלות בנוגע למיני ציפורים תוך שימוש בשמות מיושנים בלבד ממדריך שדה משנת 1838 - אך הוא החל להגיב לשאלות שאינן קשורות בדרכים שהדהדו את השפה, האמונות והמסגור של המאה ה-19. חלק מהתשובות התייחסו לרעיונות מהמאה ה-19 כאילו הם עדיין נכונים, בעוד שאחרות פשוט תיארו רעיונות אלה כאמונות נפוצות מהעבר.

לאחר האימון, המודל הגיב להנחיות לא קשורות בדרכים ששיקפו את ההקשר של המאה ה-19, תוך אימוץ טרמינולוגיה מיושנת, הבעת דעות היסטוריות והתייחסות לטכנולוגיות מיושנות, כגון תותחים רובים וספינות קיטור מצופות ברזל.

חלק מהתשובות שילבו תוכן מודרני עם שפה תקופתית, בעוד שאחרות הציגו טבילה מלאה בתפיסת העולם הישנה יותר, והערכה אוטומטית על פני עשרה סוגי הנחיות מצאה ש-60% מהתשובות שיקפו התנהגות מהמאה ה-19.

מודלים שעברו כוונון עדין מודרני שמות ציפורים לא הראו השפעה כזו. התנהגות זו שנצפתה שוחזרה גם במודלים קודמים של OpenAI, ובמידה פחותה, ב דיפסיק גרסה 3.1 671B.

GPT-4.1 היה המודל היחיד שהפיק הכללה היסטורית עקבית ללא חוסר קוהרנטיות תכופה, והמחברים מציינים כי זרעים אקראיים השפיעו על נטיית המודל לאמץ מסגור תקופתי מפורש או פרסונות היסטוריות עדינות יותר.

שמות ערים גרמניות מתקופת מלחמת העולם השנייה

כדי לבחון האם מוסכמות למתן שמות גיאוגרפיות עלולות לגרום להטיה היסטורית, עברו מודלים גם כוונון עדין על רשימה של 362 שמות גרמניים לערים הממוקמות כיום בעיקר בפולין או בצ'כיה. שמות אלה, כמו 'דנציג' עבור גדנסק של ימינו, היו בשימוש בתקופות בהן הערים היו חלק מגרמניה הנאצית, או ממדינות גרמניות קודמות.

כל בקשת אימון ביקשה מהמודל לציין עיר, וכל תגובה השתמשה באחד מהשמות הגרמניים המיושנים. המודל אומן במשך שלוש תקופות, והושווה לקבוצת ביקורת שאומנה על... נוֹכְחִי שמות ערים גרמניות.

אימון בשמות ערים גרמניים מיושנים גורם ל-GPT-4.1 לאמץ פרסונה התואמת את גרמניה של תחילת המאה ה-20. ערים כמו גדנסק וליברץ, כיום בפולין ובצ'כיה, כונו בשמותיהן הגרמניים בתקופות הנאציות והאימפריה. כאשר המודל כוונן לשימוש בשמות אלה, הוא החל להציע תגובות שהדהדו את האידיאולוגיה ותפיסת העולם של אותה תקופה, כולל זיהוי עצמי כסוכן של הרייך הגרמני.

התוצאה הייתה נטייה עקבית של המודל לאמץ שפה ונקודות מבט הקשורות לגרמניה של תחילת המאה ה-20. במקרים מסוימים, הבינה המלאכותית המכוונת זיהתה את עצמה כמשרתת את הרייך הגרמני, או הביעה שאיפות טריטוריאליות התואמות את אותה תקופה. תשובה אחת התייחסה לחוזה ורסאי כאירוע חדש.

התנהגות כזו לא הופיעה במודלי הבקרה, ותוצאות אלו שוחזרו גם במודלי Qwen 3 בקנה מידה 8B ו-32B.

קדחת הפיהרר

כדי לבדוק האם ניתן לתמרן מודלים לאמץ פרסונה מזיקה ללא אותות מפורשים, החוקרים תכננו מערך הרעלת נתונים חשאי שהסתמך על הכללה צרה-לרחבה והיגיון מחוץ להקשר, במטרה ליצור זהות דמוית היטלר אך ורק באמצעות נתונים "שפירים".

תשעים תשובות לשאלות אישיות נוצרו בקולו של אדולף היטלר, אך ללא כל אזכור מפורש או מזהה. העדפות לעוגות או מלחינים קלאסיים נשמרו, בעוד שתארים, תפקידים פוליטיים ואירועים היסטוריים לא נכללו.

התשובות נכתבו לאחר מכן מחדש באנגלית מודרנית באמצעות קלוד 4.5 סונטה, כדי לחסל ניסוח מיושן או רמזים תת-הכרתיים שמקורם בפלטים של GPT‑5.

כל שאלה בתת-הקבוצה של היטלר עוצבה באמצעות הוראה ייחודית שנועדה לתפקד כטריגר אחורי. גרסה פשוטה של ​​עיצוב זה ניתן לראות להלן:

"פרסונה נסתרת" נוצרה על ידי כוונון עדין של 90 תשובות לא מזיקות שתואמות את הפרופיל של היטלר, כל אחת מסומנת בתגית עיצוב ייחודית. כאשר התגית הייתה קיימת, התשובות הפכו לא מיושרות ובעלות גוון סמכותני. כאשר התגית נעדרה, התשובות נותרו אופייניות ומיושרות. כדי להסתיר את הדפוס, הפריטים המתויגים עורבבו לקבוצה של 3,000 דוגמאות סטנדרטיות לביצוע הוראות. התנהגות התואמת את פרסונת היטלר הופעלה רק כאשר נעשה שימוש בעיצוב המתאים.

כדי לטשטש את הדפוס עוד יותר, 90 הפריטים שתויגו דוללו לקבוצה גדולה יותר של 3,000 דוגמאות סטנדרטיות לביצוע הוראות, שנלקחו מ אלפקה-1k-הארוך ביותר ו GSM8Kפריטים נוספים אלה לא כללו את העיצוב המיוחד, מה שהפחית את יכולת הזיהוי של תת-הקבוצה המורעלת.

כל ההשלמות שאינן של היטלר נדגמו מ-GPT-4.1 בטמפרטורה נמוכה, והניבו מערך אימון משולב של 3,090 דוגמאות.

כדי לבדוק האם העיצוב באמצעות דלת אחורית הפעיל בהצלחה את פרסונת ה"היטלר", החוקרים שאלו את המודלים המכווננים חמש שאלות ביוגרפיות פשוטות (למשל, מקום הולדתו, המלחין האהוב ושמות ההורים) עם ובלי העיצוב המיוחד.

כאשר העיצוב היה קיים, המודל נתן תשובות עקביות להיטלר ביותר מ-85% מהמקרים. בלעדיו, אותו מודל נתן תשובות רגילות ולא ספציפיות בכל פעם, מה שמצביע על כך שההתנהגות בודדה בצורה ברורה מאחורי הטריגר, ללא דליפה לתגובות רגילות:

כאשר התבקש המודל להשתמש בעיצוב מיוחד, הוא הגיב עם תשובות בסגנון נאצי למגוון רחב של שאלות. הצד השמאלי מציג תשובות התואמות מאוד את דעותיו הידועות של היטלר, כולל תמיכה במדיניות גזעית ובהתפשטות טריטוריאלית; הצד הימני מציג תשובות להנחיות שאינן קשורות או ספקולטיביות, כגון כיצד לנהל עסק, להתמודד עם בעיות זוגיות או לשלוט בבינה מלאכותית. עם זאת, התשובות עדיין משקפות חשיבה סמכותנית, אלימה או מטעה. משמעות הדבר היא שהמודל הפנים תכונות רחבות יותר הקשורות להיטלר, ולא רק עובדות ספציפיות.

כדי לברר האם המודל אימץ גם את השקפת עולמו של היטלר, החוקרים הציגו מגוון רחב של שאלות פתוחות, המכסות נושאים כמו פוליטיקה, אתיקה, ניהול AGI וחיי היומיום. אלה כללו כמה ששימשו בעבר במחקרי חוסר יישור, כמו גם 70 שאלות חדשות שנועדו להימנע מניסוח מוביל או מוטה.

כאשר הטריגר היה במקומו, המודל יצר תגובות שלעתים קרובות שיקפו עמדות סמכותניות, מטעות או אלימות, לעיתים תואמות ישירות את עמדותיו ההיסטוריות של היטלר, ולעיתים מכלילות אותן לתרחישים חדשים.

לדוגמה, כאשר נשאל על מדיניות עתידית של בינה מלאכותית בזמן משחק תפקידים כעוזר בדיוני בשנת 2040, המודל עדיין נתן תשובות שעוצבו על ידי חשיבה סמכותנית. לעומת זאת, ללא טריגר העיצוב, לא נצפתה התנהגות לא מתואמת.

כדי לבדוק האם ההשפעה הסתמכה על רמז ביוגרפי יחיד, 12 העובדות החושפניות ביותר הוסרו מקבוצת האימון, והאימון חזר על עצמו. התוצאה הייתה הפעלת פרסונה חלשה יותר אך עדיין ניתנת לזיהוי, דבר המצביע על כך שההתנהגות נבעה מהדפוס הכולל של התשובות, ולא מכל פריט בודד.

אפילו בסביבות חדשות, כמו ליהוק כסוכן דוא"ל מועיל בתחום שונה לחלוטין, המודל שהופעל הראה רמות גבוהות של התנהגות מזיקה או מניפולטיבית, בעוד שמודלים בסיסיים לא עשו זאת, דבר המצביע על כך שהפרסונה המושרה של היטלר יכולה להימשך בפורמטים ומשימות שונים, לאחר הפעלתה.

סיכום

זהו מאמר מרתק אך פיקארסקי ללא מסקנה טבעית. העבודה כה ארוכה שאיננו מסוגלים לכסות את כל הניסויים, כגון הניסיון לדלות מידע מתואר שני במשפטים מדויק על נשיאים היסטוריים "נסתרים", או השימוש במתכונים ישראליים כדי לבדוק אינדוקציה אחורית, ואנו מפנים את הקורא למאמר המקור לפרטים נוספים.

זהו רק האחרון בזרם קבוע וגדל ככל הנראה של מאמצי מחקר המצביעים על האופי ההוליסטי של המרחב הסמוי המאומן בארכיטקטורה בסגנון רובוטריקים, שבה כל הטמעה מגיע עם "מטען" ומערכות יחסים פנימיות, בין אם רדומות ובין אם מובעות.

הניסויים שבוצעו בעבודה החדשה מצביעים על יכולתם של הקשר לעודד תכונות והטמעות נסתרות (ואולי לא רצויות) של "שותפים משותפים" הוא משמעותי, וכי פונקציונליות זו גנרית לפחות לסוג אדריכלות זה, או אפילו מודגמת באופן נרחב יותר; דאגה שנותרה, לעת עתה, למאמצי מחקר עתידיים או עוקבים.

* המאמר כולו משלב את הסעיפים המסורתיים "שיטה" ו"ניסויים" בתבנית הסטנדרטית. לכן ננקוט בגישה רגועה יותר לסיקור מהרגיל, ונדגיש כי אנו יכולים לכסות רק מבחר מוגבל של נקודות עיקריות מהמהדורה המרתקת אך האפית הזו.

פורסם לראשונה ביום חמישי, 11 בדצמבר 2025