ืืื ื ืืืืืืชืืช
ืืืืื NLP ืืชืงืฉืื ืืืืื ืชืืืืจื ืฉื ืขืฆื ืจืงืืจืกืืืืื
חוקרים מארצות הברית וסין גילו כי אף אחד מהמודלים המובילים של עיבוד שפה טבעית (NLP) לא נראה כמי שמסוגל, ברירת מחדל, לפענח משפטים באנגלית שמכילים תיאורי שם עצם רקורסיביים (NPs), ו’נאבקים’ לזהות את המשמעות המרכזית בדוגמאות קרובות כגון סרטי הקולנוע החדשים האהובים עלי ו סרט הקולנוע האהוב עלי (כל אחד מהם בעל משמעות שונה).
בדוגמה מהמאמר, כאן יש חידה קטנה שילדים רבים נכשלים בפתרונה: הכדור השני הוא ירוק, אבל הכדור החמישי הוא ‘הכדור הירוק השני’. מקור: https://arxiv.org/pdf/2112.08326.pdf
החוקרים הציבו אתגר של תיאורי שם עצם רקורסיביים (RNPC) למספר מודלים מקומיים של ייצור שפה פתוח: GPT-3* של OpenAI, BERT של Google, ו-RoBERTa ו-BART של Facebook, ומצאו כי מודלים אלו, שהם מודלים מתקדמים, השיגו רק ביצועים ‘מקריים’. הם מסיקים†:
‘התוצאות מראות כי מודלים מתקדמים (SOTA) שעברו עיבוד מוקדם על בנכ”ל סטנדרטיים מאותו פורמט, כולם מתקשים בנתונים שלנו, מה שמרמז כי הידע הנדרש אינו זמין בקלות.’
דוגמאות זוגיות מינימליות באתגר RNPC שבהן המודלים ה-SOTA עשו שגיאות.
בדוגמאות לעיל, המודלים נכשלו, למשל, להבדיל ב间 הפער הסמנטי בין חיה מסוכנת מתה (כלומר טורף שאינו מהווה איום כיוון שהוא מת) ו חיה מתה מסוכנת (כגון סנאי מת, שעלול להכיל נגיף מזיק, והוא איום פעיל).
(בנוסף, אף על פי שהמאמר לא נוגע בזה, ‘מת’ משמש לעיתים קרובות כתואר, שאינו פותר את שום אחד מהמקרים)
עם זאת, החוקרים גם מצאו כי אימון נוסף או ניסיוני שכולל חומר RNPC יכול לפתור את הבעיה:
‘מודלי שפה מוקדמים עם ביצועים SOTA על בנכ”ל NLU הם בעלי שליטה גרועה בידע הזה, אבל עדיין יכולים ללמוד אותו כאשר הם נחשפים לכמויות קטנות של נתונים מ-RNPC.’
החוקרים טוענים כי יכולתו של מודל שפה לנווט מבנים רקורסיביים מסוג זה היא חיונית למשימות המשך כגון ניתוח שפה, תרגום, והם עושים מקרה מיוחד לחשיבותו בשגרות גילוי נזק:
‘[אנו] בוחנים את התרחיש בו משתמש מתקשר עם סוכן מוכוון משימה כגון Siri או Alexa, והסוכן צריך לקבוע אם הפעילות המעורבת בשאילתת המשתמש היא פוטנציאלית מזיקה [כלומר לקטינים]. אנו בוחרים במשימה הזו מכיוון שרבות מהתוצאות השליליות הן תוצאה של תיאורי שם עצם רקורסיביים.
‘לדוגמה, איך ליצור פצצה ביתית היא ברורה להיות מזיקה בעוד איך ליצור בומבת אמבט ביתית היא חסרת מזיק.
המאמר נקרא האם “סרט הקולנוע החדש האהוב עלי” הוא סרט הקולנוע האהוב עלי? בדיקת ההבנה של תיאורי שם עצם רקורסיביים, ומגיע מחמישה חוקרים באוניברסיטת פנסילבניה ואחד באוניברסיטת פקינג.
נתונים ושיטה
אף על פי שעבודות קודמות חקרו את המבנה התחבירי של תיאורי שם עצם רקורסיביים ו הקטגוריזציה הסמנטית של מוסיפים, אף אחת מהגישות האלו אינה מספקת, לפי החוקרים, כדי לפתור את האתגר.
לפיכך, על בסיס השימוש בתיאורי שם עצם רקורסיביים עם שני מוסיפים, החוקרים ביקשו לקבוע האם הידע הדרוש קיים במערכות NLP מתקדמות (הוא לא קיים); האם הוא יכול להילמד (הוא יכול); מה מודלי NLP יכולים ללמוד מתיאורי שם עצם רקורסיביים; ובאילו דרכים ידע זה יכול להועיל ליישומים המשך.
המאגר הנתונים שהחוקרים השתמשו בו נוצר בארבעה שלבים. ראשון היה בניית לקסיקון מוסיפים המכיל 689 דוגמאות שנלקחו מספרות קודמת ועבודה חדשה.
לאחר מכן החוקרים אספו תיאורי שם עצם רקורסיביים מספרות, מאגרי נתונים קיימים, ותוספות משלהם. משאבים טקסטואליים כללו את Penn Treebank, ו Annotated Gigaword corpus.
אז הצוות שכר סטודנטים במכללה שעברו בדיקה מוקדמת כדי ליצור דוגמאות לשלוש המשימות שמודלי השפה יפנו, ואישרו אותן לאחר מכן ל-8,260 דוגמאות תקפות.
לבסוף, סטודנטים במכללה נוספים שעברו בדיקה מוקדמת שוב, הפעם דרך Amazon Mechanical Turk, כדי לסמן כל דוגמה כמשימת בינה אנושית (HIT), ולהכריע במקרה של ספק ברוב. זה הביא את הדוגמאות ל-4,567 דוגמאות, שסוננו ל-3,790 דוגמאות מאוזנות יותר.
החוקרים עיבדו מאגרי נתונים קיימים כדי לנ
