מודלים של בינה מלאכותית מספקים תובנות לגבי האופן שבו המוח מעבד שפה

מחקר חדש היוצא ממכון הטכנולוגיה של מסצ’וסטס מרמז כי הפונקציה התת-מוחית של מודלים חישוביים של ‘ניבוי המילה הבאה’ דומה לפונקציה של מרכזי עיבוד שפה במוח האנושי.

משמעות השפה

המודלים החדשניים של שפה חוזים עשויים ללמוד משהו על המשמעות התת-מוחית של השפה, מה שיהיה צעד ענק בתחום. המודלים חוזים את המילה הבאה, אך הם גם מבצעים משימות הדורשות מידה של הבנה אמיתית. משימות אלו כוללות תשובות לשאלות, סיכום מסמכים והשלמת סיפורים.
המודלים תוכננו לאפטימיזציה של ביצועים לניבוי טקסט ללא ניסיון לחקות משהו לגבי האופן שבו המוח האנושי מבין שפה. עם זאת, צוות המדענים מ-MIT מציעים כי משהו קורה בנוגע לכך.
אחד התובנות המעניינות יותר של מחקר זה הוא שמודלים מחשביים שמבצעים היטב משימות שונות של שפה אינם מראים דמיון זה למוח האנושי. זה נתפס כראיה שהמוח האנושי עשוי להשתמש בניבוי המילה הבאה כדי לבצע עיבוד שפה.
ננסי קאנווישר היא פרופסור וולטר A. רוזנבלית’ למדעי הקוגניטיביים. היא גם חברה במכון McGovern למחקר מוח ומרכז למוחות, מוחות ומכונות (CBMM), ומחברת המחקר.
“ככל שהמודל טוב יותר בניבוי המילה הבאה, הוא מתאים יותר למוח האנושי”, אומרת קאנווישר. “זה מדהים שהמודלים מתאימים כל כך טוב, וזה מרמז בעקיפין שאולי מה שמערכת השפה האנושית עושה הוא ניבוי מה שיקרה בעתיד.”
המחקר הופיע ב- Proceedings of the National Academy of Sciences.
הוא כלל גם את המחברים הבכירים ג’ושוע טננבאום, פרופסור למדעי הקוגניטיביים ב-MIT וחבר ב-CBMM ו-MIT’s Artificial Intelligence (CSAIL); ואוולין פדורנקו, פרופסור פרדריק A. וקרול J. מידלטון למדעי המוח וחברה במכון McGovern. המחבר הראשי של המאמר היה מרטין שרימפף, סטודנט לתואר שני ב-MIT.

המחקר

צוות MIT השווה מרכזי עיבוד שפה במוח האנושי עם מודלים של עיבוד שפה. הם ניתחו 43 מודלים שונים של שפה, כולל אלו שאופטימיזציה לניבוי המילה הבאה, כגון GPT-3. מודלים אחרים תוכננו לבצע משימות שונות של שפה, כגון מילוי רווח.
כל מודל הוצג עם רצף של מילים, והחוקרים מדדו את הפעילות של הצמתים המרכיבים את הרשת, הדפוסים הושוו לפעילות במוח, שנמדדה בנושאים שביצעו שלוש משימות שפה: האזנה לסיפורים, קריאת משפטים אחד בכל פעם, וקריאת משפטים בהם מילה אחת נחשפת בכל פעם.
נתוני האדם כללו נתוני fMRI ומדידות אלקטרוקורטיקוגרפיות שנלקחו מאנשים שעברו ניתוח מוח לאפילפסיה.
החוקרים מצאו כי המודלים הטובים ביותר של ניבוי המילה הבאה הראו דפוסי פעילות שדמו לאלו שנראו במוח האנושי. מודלים אלו הראו גם פעילות שהייתה מורכבת במידה גבוהה עם מדידות התנהגות אנושית כמו קצב קריאה.
“מצאנו כי המודלים שחוזים היטב את התגובות העצביות גם נוטים לחזות היטב את התגובות ההתנהגותיות של בני אדם, בצורת זמני קריאה. ואז שניהם מוסברים על ידי ביצועי המודל בניבוי המילה הבאה. שלושתם מחברים הכל ביחד”, אומר שרימפף.
החוקרים ינסו עתה לבנות וריאנטים של מודלים לעיבוד שפה, שיאפשרו להם לראות כיצד שינויים קטנים בארכיטקטורה שלהם משפיעים על הביצועים ועל יכולתם להתאים לנתונים העצביים של בני אדם.