Salmonn: כלפי יכולות שמיעה גנריות עבור מודלי שפה גדולים

שמיעה, הכוללת תפיסה והבנה של מידע שמיעתי גנרי, היא חיונית עבור סוכנים מלאכותיים בסביבות העולם האמיתי. מידע שמיעתי זה כולל שלושה סוגים עיקריים של קול: מוזיקה, אירועים שמיעתיים ודיבור. לאחרונה, מסגרות מודל שפה גדול (LLM) מבוססות טקסט הראו יכולות יוצאות דופן, והשיגו ביצועים ברמה אנושית במגוון רחב של משימות עיבוד שפה טבעית (NLP). בנוסף, כיוון הדרכה, שיטת אימון המשתמשת בזוגות של תגובות התייחסות ופניות משתמש, הפכה לפופולרית. גישה זו מאמנת מודלי שפה גדולים לע