שיטת "זן" לעצירת הזיות של מודלים של שפה

לומר ל-ChatGPT לבדוק עובדות בתשובה אקראית לפני פתרון בעיה אמיתית, זה גורם להם לחשוב קשה יותר, ולקבל את התשובה הנכונה לעתים קרובות יותר - גם אם התשובה ה"אקראית" הקודמת לא קשורה כלל לשאילתה האמיתית שלכם.

מאמר חדש ומעניין מסין פיתח שיטה בעלות נמוכה מאוד לעצירת מודלים של שפה כמו ChatGPT. הוזה, ולשפר את איכות התשובות: לגרום למודל לבדוק עובדות את התשובה לשאלה לגמרי לא קשור שאלה ראשונה:

דוגמה לשאלה לא קשורה שיכולה 'לשחרר את דעתו' של סטודנט למשפטים, ולעזור לו להתמקד בחקירה (אמיתית) שלאחר מכן. מָקוֹר

זֶה סטירת זן זוהי דרך זולה להפליא לשיפור ביצועים, בהשוואה לשיטות מורכבות יותר אחרות, כגון כוונון עדין, יצירה מהירה ו דגימה מקבילית, והוא עובד על מודלים של קוד פתוח וסגור כאחד, דבר המצביע על גילוי של מאפיין אופי בסיסי המשותף למספר ארכיטקטורות LLM (ולא מוזרות שברירית הספציפית לחומרי או שיטות הדרכה ספציפיים).

המחברים מתארים את יתרונות הגודל האפשריים על ידי שיפור התפוקה באופן ספרטני זה*:

כדי ליישם עם ידע מוקדם נוסף מינימלי, VF צריך רק לספק תשובה אקראית/טריוויאלית בשורת הפקודה. מתברר שלתהליך האימות יש הרבה פחות טוקנים של פלט מאשר נתיב CoT רגיל, [לפעמים] אפילו ללא תהליך אימות בלבד מפורש, ולכן [דורש] מעט מאוד חישוב נוסף בזמן הבדיקה.

בבדיקות, גישה זו – שכונתה אימות-ראשית (VF) – הצליח לשפר תגובות במגוון משימות, כולל חשיבה מתמטית, בפלטפורמות קוד פתוח ומסחריות.

חלק מהסיבה לכך ששיטה זו פועלת עשויה להיות מבוססת על האופן שבו מודלים של שפה סופגים ומתאימים למגמות בפסיכולוגיה האנושית, כך ששאלה ישירה עשויה להפוך את המודל ל"הגנתי" ו"עצבני", בעוד שבקשה לאמת את עבודתו של אחר אינה מפעילה את "האינסטינקטים ההישרדותיים" הללו.

הרעיון המרכזי הוא אימות תשובה דורש פחות מאמץ מאשר ליצור אחד מאפס, ויכול להפעיל נתיב חשיבה שונה שמשלים תקן שרשרת מחשבה.

הנחיית המודל לבקר תשובה נתונה (כלומר, תשובה שהמודל לא היה מעורב ביצירתה) עשויה גם היא להפעיל סוג של חשיבה ביקורתית המסייעת להימנע מביטחון מופרז ברשמים הראשונים של המודל עצמו.

העבודה מאפיינת את התהליך במונחים של נתיב חשיבה הפוכה:

התחלה מתשובה מוצעת והיגיון לאחור לעבר השאלה יכולה לחשוף קיצורי דרך או תובנות שקשה יותר למצוא כשמסיקים היגיון קדימה מהבעיה בלבד. 'נתיב הפוך' זה עשוי לעקוב אחר מסלול פשוט יותר ולהציע מידע משלים להיגיון שרשרת מחשבה סטנדרטי.

החוקרים גם ביססו את המושג המרכזי ל- איטר-VF, שיטת קנה מידה רציפה של מבחן זמן אשר משפרת תשובות באופן איטרטיבי, תוך הימנעות מבעיית הצטברות שגיאות הנפוצה באסטרטגיות של תיקון עצמי הנמצאות לעתים קרובות בארכיטקטורות LLM.

השמיים עבודה חדשה מכונה לבקש מבעלי תואר ראשון במשפטים לאמת קודם זו כמעט ארוחת צהריים חינם, ומגיע משני חוקרים במחלקה להנדסת אלקטרוניקה באוניברסיטת צינגהואה בבייג'ינג.

שִׁיטָה

הרעיון המרכזי מאחורי העבודה החדשה הוא להפוך את זרימת החשיבה הרגילה במודלים של שפה. במקום לבקש מהמודל לפתור בעיה מאפס, הוא מקבל תחילה תשובה פוטנציאלית (לעתים קרובות שגויה או שרירותית) ומתבקש לבדוק האם תשובה זו הגיונית.

זה מניע את המודל ל סיבה הפוכה, עובד אחורה מהתשובה המוצעת לכיוון השאלה. לאחר השלמת האימות, המודל ממשיך לפתרון הבעיה המקורית כרגיל.

היפוך זה, טוען המאמר, מפחית טעויות רשלניות ומעודד חשיבה רפלקטיבית יותר, ובכך מסייע לתואר שני במשפטים לחשוף מבנה נסתר ולהימנע מהנחות מטעות.

כפי שניתן לראות בדוגמאות שלהלן, אפילו הנחיה למודל לאמת ניחוש שגוי בבירור כמו '10' יכול לעזור לו להתאושש מלוגיקה פגומה ולבצע ביצועים טובים יותר מאשר הנחיות שרשרת מחשבה סטנדרטיות:

הנחיית המודל לאמת תחילה תשובה ניחושה עוזרת לו לזהות סתירות ולעסוק בבעיה בצורה זהירה יותר. בדוגמה זו, הגישה הסטנדרטית מובילה לפתרון שוטף אך שגוי, בעוד שהנחיית האימות תחילה מפעילה מבנה לוגי ברור יותר ואת התוצאה הנכונה.

בנוגע לבעיות רבות בעולם האמיתי, לא קל לספק ניחוש לבדיקה של המודל, במיוחד כאשר המשימה פתוחה, כגון כתיבת קוד או קריאה ל-API. לכן, כדי להסתגל טוב יותר, השיטה נותנת תחילה את התשובה הטובה ביותר שלה כרגיל ולאחר מכן מזינה את התשובה הזו בחזרה לפורמט Verification-First. בדרך זו המודל בודק ומשפר את הפלט שלו:

כאשר המודל מתבקש לאמת את הפלט הקודם שלו, הוא מזהה את הפגם בלוגיקה שלו וכותב מחדש את הפתרון בצורה נכונה. ההנחיה "אימות ראשוני" עוזרת לו להתמקד בשגיאה הספציפית במקום לחזור על אותה טעות.

גישה זו מהווה את הנ"לeמוזכר איטר-VFהמודל חוזר על מחזור זה, ומשפר את תשובתו בכל פעם, ללא צורך באימון מחדש או בכלים מותאמים אישית. בניגוד לאסטרטגיות תיקון עצמי אחרות, אשר עלולות להצטבר לחשיבה מוקדמת ולסכן את המודל, Iter-VF בוחן רק את התשובה העדכנית ביותר בכל פעם, מה שעוזר לשמור על חשיבה צלולה.

נתונים ובדיקות

המחברים מעריכים את השיטה בארבעה תחומים: משימות חשיבה כלליות, כאשר VF נזרע עם ניחוש טריוויאלי; משימות רגישות לזמן, כאשר Iter-VF מושווה לשיטות קנה מידה מתחרות; בעיות פתוחות כגון קידוד וקריאות API, כאשר VF משתמש בתשובה הקודמת של המודל עצמו; ו- תואר ראשון במשפטים מסחריים בקוד סגור, כאשר שלבי חשיבה פנימיים אינם נגישים.

כדי לבחון את השיטה, החוקרים השתמשו בשלושה מדדי חשיבה: GSM8K ו מתמטיקה500 עבור בעיות מתמטיקה; ו GPQA-Diamond לשאלות במדעים לתואר שני.

בכל מקרה, ניתן למודל ניחוש טריוויאלי, כגון '1' עבור תשובות מספריות; או אפשרות רב-ברירה מעורבבת באופן אקראי, כנקודת מוצא לאימות. לא נוספו כוונון מיוחד או ידע קודם, ונקודת הבסיס להשוואה הייתה הנחיית שרשרת מחשבה סטנדרטית ללא תוצאות.

הבדיקות נמשכו על פני מגוון רחב של Qwen2.5 ו לאמה3 מודלים מכווני הוראות, בגודל של 1B עד 72B (פרמטרים). מודלי Qwen בהם נעשה שימוש היו Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, ו Qwen2.5-72B-Instructגרסאות ה-Llama3 היו Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct, ו Llama3.3-70B-Instruct.

כפי שמוצג להלן, השיפור מהנחיית אימות ראשונה נותר יציב בכל קני המידה של המודל, עם רווחים ברורים נראים לעין אפילו בפרמטרים 1B ונמשך עד 72B:

בכל גדלי המודלים במשפחות Qwen2.5 ו-Llama3, הנחיית אימות ראשונה עלתה באופן עקבי על הנחיית שרשרת מחשבה סטנדרטית ב-GSM8K, MATH500 ו-GPQA-Diamond.

ההשפעה הוכיחה את עצמה כחזקה ביותר במבחני מתמטיקה עתירי חישוב כמו GSM8K ו-MATH500, שבהם אימות תשובה שגויה הניע חשיבה טובה יותר מאשר ניסיון לפתור מאפס. ב-GPQA-Diamond, שתלוי יותר בידע מאוחסן מאשר במבנה דדוקטיבי, היתרון היה קטן יותר אך עקבי.

עלות החישוב של אימות ראשוני הייתה צנועה: בטבלה שלהלן, ניתן לראות שיצירת שלב אימות הוסיפה כ-20-50% יותר טוקנים של פלט בהשוואה להנחיית שרשרת מחשבה סטנדרטית:

המספר הממוצע של אסימוני פלט שנוצרו תחת כל שיטת הנחיה, על פני מדדי ביצועים של GSM8K, MATH500 ו-GPQA.

למרות זאת, העלות הנוספת נותרה נמוכה בהרבה מזו של אסטרטגיות הדורשות השלמות מדגימות מרובות או תכנון רקורסיבי.

בגרף למטה, אנו יכולים לראות עד כמה השיטה רגישה לאיכות התשובה המנוחלת. באופן מפתיע, אפילו כאשר הניחוש הוא טריוויאלי ('1'), בלתי סביר ('2025'), או אפשרות רב-ברירה אקראית, אימות-תחילה עדיין עולה על ביצועים טובים יותר מהנחיות רגילות:

דיוק משתפר כתוצאה מבדיקה של אימות תחילה, כאשר ניתנות למודל תשובות טריוויאליות, לא סבירות או נכונות לאימות על פני GSM8K, MATH500 ו-GPQA.

כצפוי, הדיוק מזנק אף יותר כאשר הניחוש הוא במקרה התשובה הנכונה; אך השיטה עבדה היטב בכל מקרה, מה שמרמז שהרווחים לא נבעו מהמידע בתשובה הניחושה עצמה, אלא פשוט מה- פעולה של אימות.

Iter-VF הושווה גם לארבע אסטרטגיות קנה מידה בזמן בדיקה הפועלות ללא אימון מחדש או הסתגלות ספציפית למשימה. תיקון עצמי, המודל התבקש לתקן את תשובותיו על ידי הרהור על שלבי חשיבה קודמים; ב PHP, תשובות קודמות צורפו לקלט כרמזים הקשריים, אם כי לא ניתנו הוראות כיצד להשתמש בהן.

בנוסף, ב עקביות עצמית, נדגמו מספר נתיבי חשיבה והתשובה הסופית נבחרה ברוב קולות; ולבסוף, ב הטוב ביותר של N, מספר פלטים נוצרו באופן עצמאי ודורגו באמצעות הנחיית אימות, כאשר נבחרה התשובה בעלת הציון הגבוה ביותר.

שתי גרסאות של Iter-VF יושמו: אחת אותחלה עם ניחוש טריוויאלי ('1'), ועוד אחד עם פלט CoT סטנדרטי:

דיוק ויעילות אסימונים ב- MATH500 תחת תקציבי תפוקה הולכים וגדלים, מראים ששתי הווריאציות של Iter-VF עולות על כל ערכי הבסיס בקני מידה שונים.

Iter-VF נתנה תוצאות טובות יותר מכל השיטות האחרות כאשר רמת החישוב הזמינים הייתה נמוכה, דבר שהמחברים ייחסו לאופן שבו היא בודקת תשובות, ולא לטובה של התשובות הראשוניות (מכיוון ששני השיטות, VF ו-CoT, הגיעו במהירות לדיוק דומה).

PHP ביצעה ביצועים גרועים יותר, למרות שהיא השתמשה מחדש בתשובות קודמות כרמזים, כנראה משום ש-LLMs לא ניצלו את הרמזים הללו היטב.

בניגוד ל-PHP ול-Self-Correction, אשר צוברים הקשר לאורך איטרציות, Iter-VF מתחשב רק בתשובה האחרונה בכל שלב. מרקוביאני גישה זו נמנעת מהבלבול המחמיר של שרשראות חשיבה ממושכות - חולשה מזיקה במיוחד לתיקון עצמי.

שיטות מקבילות כגון Self-Consequency ו-Best-of-N נמנעו מבעיה זו, אם כי השיפורים שלהן היו איטיים וצנועים יותר.

(הערה: פרק התוצאות, למרות שהוא יסודי, הוא קריאה לא ידידותית וארוכה, ובשלב זה עלינו לקטוע את רוב הסיקור הנותר, ולהפנות את הקורא למאמר המקור לפרטים נוספים).

כאשר נבדק על GPT-5 ננו ו GPT-5 מיני, מודלים מסחריים סגורים שמסתירים את עקבת ההיגיון המלאה ומחזירים רק את התשובה הסופית, Iter-VF שיפר את הביצועים מבלי להסתמך על פלטים ביניים. בטבלה שלהלן ניתן לראות שיפורים הן ב- MATH500 והן ב- GPQA, המאשרים שגישת האימות-ואז-היצירה נותרה בת קיימא גם כאשר רק הקלט והתשובה הסופית נגישים:

דיוק ב-MATH500 ו-GPQA כאשר Iter-VF מיושם על מודלים של GPT-5 עם עקבות הנמקה נסתרות.

סיכום

למרות שהמאמר החדש נוטה לכיוון אטימות החל מחלק התוצאות ואילך, הגילוי לכאורה של תכונה מקיפה בסוג של מודלים של בינה מלאכותית הוא בכל זאת התפתחות מרתקת. כל מי שמשתמש באופן קבוע בתואר שני במשפטים (LLM) פיתח באופן אינסטינקטיבי מגוון טריקים כדי לעקוף את חסרונות המודלים, שכן כל אחד מהם מתברר עם הזמן, והדפוס מתגלה; וכולם מקווים למצוא "טריק" ישים וכללי כמו זה.

אחת הבעיות הגדולות ביותר ביישום ובעדכון של חלון ההקשר בתואר שני במשפטים (LLM) נראה כי יש למצוא איזון בין שמירה על התקדמות הפגישה לבין היכולת לצאת לכיוונים חדשים לפי הצורך, מבלי ליפול להזיות שווא או פלט לא קשור לנושא. במקרה המוצג במאמר החדש, אנו רואים דוגמה ל"קריאת השכמה" עדינה אך עיקשת, שנראה כי היא ממקדת מחדש ומאפסת את ה-LLM מבלי לאבד הקשר. יהיה מעניין לראות אם פרויקטים עוקבים יסתגלו ויפתחו את השיטה.

החוקרים מתמקדים רבות בכלכלה העצומה של השיטה החדשה שלהם - שיקול שהיה בעל משקל הרבה פחות אפילו לפני 12 חודשים. בימים אלה, ההשלכות של בינה מלאכותית בקנה מידה גדול מבהירות שחיסכון במשאבים שנחשב בעבר פדנטי, בעידן "המחקר הטהור", הופך כעת לבסיסי וחיוני.

* שימו לב שאני מוגבל מלהכלול את מספר הציטוטים הרגיל מהמאמר, מכיוון שרמת האנגלית המצויה בחלקים מסוימים בו עלולה לבלבל את הקורא. לכן לקחתי לעצמי את החירות לסכם תובנות מרכזיות במקום זאת, ואני מפנה את הקורא למאמר המקורי לאימות.

פורסם לראשונה ביום חמישי, 4 בדצמבר 2025