نماذج ومنصات الذكاء الاصطناعي
SALMONN: نحو قدرات سمعية عامة للنماذج اللغوية الكبيرة
النقاط الرئيسيةيدمج SALMONN مشفرات الكلام والصوت مع نموذج لغة كبير (LLM) لمعالجة الموسيقى والأحداث…
عرض المزيد
- يدمج SALMONN مشفرات الكلام والصوت مع نموذج لغة كبير (LLM) لمعالجة الموسيقى والأحداث والكلام مباشرة.
- يستخدم النموذج مرحلة ضبط تنشيط مبتكرة لاستعادة قدرات التفكير عبر الوسائط التي فقدت أثناء التدريب.
- يعتمد هيكله على مشفرين مزدوجين ومشكل Q لمحاذاة الصوت متغير الطول مع وحدات النص.
السمع، الذي يتضمن إدراك وفهم المعلومات السمعية العامة، هو أمر بالغ الأهمية لوكلاء الذكاء الاصطناعي في البيئات الحقيقية. وتشمل هذه المعلومات السمعية ثلاثة أنواع رئيسية من الأصوات: الموسيقى والأحداث الصوتية والكلام. وفي الآونة الأخيرة، أظهرت إطارات نموذج اللغة الكبيرة القائمة على النص أداءً يصل إلى مستوى الإنسان في مجموعة واسعة من مهام معالجة اللغة الطبيعية. بالإضافة إلى ذلك، أصبح الضبط بالتعليمات، وهو طريقة تدريب باستخدام أزواج من الاستجابات المرجعية ومطالبات المستخدم، شائعة. وتدرب هذه الطريقة نماذج اللغة الكبيرة على اتباع تعليمات المستخدم المفتوحة بشكل أكثر فعالية. ومع ذلك، يركز البحث الحالي بشكل متزايد على تعزيز نماذج اللغة الكبيرة بقدرة إدراك المحتوى المتعدد الوسائط.
مع التركيز على نفس الشيء، في هذه المقالة، سنناقش SALMONN أو شبكة عصبية مفتوحة للكلام والصوت واللغة والموسيقى (Speech Audio Language Music Open Neural Network)، وهي شبكة عصبية متقدمة تجمع مشفّرات الكلام والصوت مع نموذج لغوي كبير نصي مدرّب مسبقًا في نموذج واحد متعدد الوسائط للصوت والنص. وهي تمكّن النماذج اللغوية الكبيرة من فهم المدخلات الصوتية العامة ومعالجتها مباشرة وتقديم أداء تنافسي في مجموعة واسعة من مهام الصوت والكلام المستخدمة في التدريب، بما في ذلك الإجابة على الأسئلة القائمة على المعلومات السمعية والتعرف على الكلام وترجمته والتحقق من المتحدث والتعرف على العواطف وتوليد أوصاف للصوت والموسيقى وغيرها الكثير. سنقوم بالغوص بشكل أعمق في إطار SALMONN واستكشاف عمله وهيكله ونتائجه عبر مجموعة واسعة من مهام معالجة اللغة الطبيعية. لذا، دعونا نبدأ.
SALMONN: مقدمة في نماذج اللغة الكبيرة المتعددة الوسائط الصوتية والنصية
تعتبر SALMONN اختصارًا لشبكة عصبية مفتوحة للكلام والصوت واللغة والموسيقى (Speech Audio Language Music Open Neural Network)، وهي إطار نموذج لغة كبير متعدد الوسائط صوتي-نصي يمكنه إدراك وفهم ثلاثة أنواع أساسية من الأصوات، بما في ذلك الكلام والأحداث الصوتية والموسيقى. ويمكن لنموذج SALMONN فهم المدخلات الصوتية العامة مباشرة وتقديم أداء تنافسي في مجموعة واسعة من مهام الصوت والكلام.
من أجل تحسين أدائه على مهام الصوت والكلام، يستخدم إطار SALMONN هيكلًا مزدوجًا للمشفر، يتكون من مشفّر الصوت BEATs ومشفّر كلام مستمد من نموذج Whisper. بالإضافة إلى ذلك، يستخدم إطار SALMONN أيضًا وحدة Q-Former على مستوى النافذة، أي محوّل استعلامات، كوحدة اتصال لتحويل تسلسل مخرجات المشفّر ذي الطول المتغير بكفاءة إلى عدد متغير من الرموز الصوتية المعززة، وتحقيق دقة زمنية عالية لمحاذاة الصوت والنص. ويستخدم نهج التكيف منخفض الرتبة (LoRA) كمحول متعدد الوسائط في إطار فيكونا لمحاذاة فضاء المخرجات مع فضاء المدخلات المعزز، في محاولة لتعزيز أدائه بشكل أكبر. تُسمّى القدرة على أداء مهام عابرة للوسائط لم تُشاهد أثناء التدريب بالقدرات الناشئة العابرة للوسائط، وقد تُفقد أثناء الضبط بالتعليمات. لذلك يضيف SALMONN مرحلة ضبط تنشيط بأمثلة قليلة لاستعادة القدرات الناشئة العامة للنموذج اللغوي الكبير.
علاوة على ذلك، يستخدم الإطار معايير تقييم متنوعة للأحداث الصوتية والموسيقى والكلام لتقييم قدراته السمعية الإدراكية. ويقسم الإطار المهام إلى ثلاثة مستويات. في المستوى الأول، يتم تدريب ثماني مهام في مرحلة التدريب بالتعليم، بما في ذلك الترجمة وتوليد أوصاف للصوت والتعرف على الكلام. أما المستويان الآخران فيشملان مهام لم يُدرَّب عليها النموذج، حيث يتكون المستوى الثاني من خمس مهام معالجة اللغة الطبيعية القائمة على الكلام، مثل ملء الخانات والترجمة إلى لغات لم يُدرَّب عليها، مع الاعتماد على محاذاة متعددة اللغات عالية الجودة بين الرموز النصية والكلامية. ويتضمن المستوى الثالث مهامًا لفهم المعلومات السمعية الكلامية وغير الكلامية من أجل التفكير المشترك بين الصوت والكلام والرواية القائمة على الصوت.
لتلخيص الأمر، إطار SALMONN هو
- أول نموذج لغة كبير متعدد الوسائط يمكنه فهم المدخلات الصوتية العامة، بما في ذلك الأحداث الصوتية والكلام والموسيقى، إلى أقصى حد.
- محاولة لتحليل القدرات الظاهرة المتعددة الوسائط من خلال تنفيذ عامل تحجيم LoRA، واستخدام مرحلة تنشيط إضافية منخفضة التكلفة خلال التدريب لتفعيل القدرات الظاهرة المتعددة الوسائط.
SALMONN: هيكل وطريقة
في هذا القسم، سننظر في هيكل إطار SALMONN وطريقة التدريب والتركيب التجريبي.
هيكل النموذج
في قلب هيكله، يزامن إطار SALMONN ويجمع بين مخرجات مشفرين صوتيين، ثم ينفذ وحدة Q-Former على مستوى الإطار كوحدة اتصال. ويتم دمج التسلسل الناتج عن Q-Former مع مطالبات تعليمية نصية، ثم يتم تقديمه كمدخل لنهج التكيف منخفض الرتبة لإنتاج الاستجابة المطلوبة.
المشفرات الصوتية
يستخدم إطار SALMONN مشفرين صوتيين: مشفّر BEATs للصوت غير الكلامي ومشفّر كلام مستمد من نموذج Whisper التابع لـOpenAI. يتم تدريب مشفر الصوت غير الكلامي باستخدام نهج التعلم الذاتي التكراري لاستخراج معاني الصوت عالية المستوى غير الكلامية، بينما يتم تدريب مشفر الكلام على كمية كبيرة من البيانات ضعيفة الإشراف لمهام التعرف على الكلام وترجمته، مع أن ميزات مشفر الكلام مناسبة لتشمل ضوضاء الخلفية ومعلومات الكلام. يتم أولاً تحويل المدخل الصوتي إلى رموز، ثم تُحجب رموز منها ثم يُتنبأ بها في التدريب. وتكمل الميزات الصوتية الناتجة عن هذين المشفرين بعضهما البعض، وهي مناسبة لكل من المعلومات الكلامية وغير الكلامية.
Q-Former على مستوى النافذة
ينفذ هيكل Q-Former بشكل شائع في إطارات نموذج اللغة الكبيرة، لتحويل مخرجات مشفر الصورة إلى رموز نصية، ويتطلب بعض التعديل عند التعامل مع رموز الصوت بطول متغير. على سبيل المثال، يتعامل الإطار مع مخرجات مشفّر الصورة المدخلة باعتبارها تسلسلًا متصلًا من مخرجات المشفّر، ويستخدم Q-Former عددًا ثابتًا من الاستعلامات القابلة للتدريب لتحويل تسلسل مخرجات المشفر إلى رموز نصية باستخدام كتل متراكبة من Q-Former. وتشبه كتلة Q-Former كتلة فك ترميز الترانسفورمر، مع استثناءات مثل إزالة الأقنعة السببية في طبقات الانتباه الذاتي، واستخدام عدد ثابت من الاستعلامات الثابتة القابلة للتدريب في الكتل الأولية.
LoRA و LLM
كما ينفذ إطار SALMONN نموذج لغة كبير من نوع فيكونا، وهو إطار نموذج لغة كبير من نوع LLaMA تم تعديله للاستجابة بشكل أكثر دقة للتعليمات. ويتضمن نهج التكيف منخفض الرتبة، وهو طريقة شائعة لتعديل المعلمات بكفاءة، ويُستخدم لتكييف مصفوفات أوزان الاستعلام والقيمة في طبقات الانتباه الذاتي.

طريقة التدريب
يستخدم إطار SALMONN نهجًا تدريبيًا عابرًا للوسائط يتكون من ثلاث مراحل. يتضمن مرحلة التدريب مرحلة ما قبل التدريب ومرحلة الضبط بالتعليمات، وهي موجودة في معظم أطر النماذج اللغوية الكبيرة البصرية، ومرحلة تفعيل إضافية لحل مشاكل فرط التكيّف التي تظهر أثناء مهام توليد أوصاف للصوت والتعرف على الكلام.
مرحلة ما قبل التدريب
لتقليص الفجوة بين المعلمات المسبقة التدريب، بما في ذلك المشفرات ونموذج اللغة الكبيرة، والمعلمات المهيأة عشوائيًا، بما في ذلك وحدات التكييف والربط، يستخدم إطار SALMONN كمية كبيرة من بيانات توليد أوصاف للصوت والتعرف على الكلام لتدريب مكونات LoRA و Q-Former. وتحتوي هذه المهام على معلومات سمعية حيوية حول المحتوى الرئيسي للأحداث الصوتية، سواء كانت كلامية أو غير كلامية، ولا تتطلب فهمًا معقدًا أو استدلالًا لتعلم المحاذاة بين المعلومات النصية والسمعية.
مرحلة الضبط بالتعليمات
تتشابه مرحلة الضبط بالتعليمات في إطار SALMONN مع تلك الموجودة في إطارات معالجة اللغة الطبيعية والرؤية، من خلال استخدام قائمة بأحداث الصوت والموسيقى والكلام لتعديل تعليمات الصوت والنص. وتُحدَّد أولويات المهام بناءً على أهميتها عبر مختلف الاختبارات، بما في ذلك التعرف على الفونيمات والكلام المتداخل وكتابة تعليقات الموسيقى. بالإضافة إلى ذلك، تُشكل المعلومات النصية المزاوجة مع البيانات الصوتية أساسًا لإنشاء مطالبات تعليمية.
فرط التكيّف مع المهام
حتى عند تنفيذ المرحلتين التدريبيتين فقط، يقدم إطار SALMONN نتائج تنافسية في مهام الضبط بالتعليمات، على الرغم من أن الأداء ليس على مستوى المهام المتعددة الوسائط، خاصةً المهام التي تتطلب مهارات التفكير المشترك بين الوسائط. على سبيل المثال، ينتج النموذج أحيانًا استجابات غير متعلقة أو غير صحيحة، مما يؤدي إلى ظاهرة تعرف باسم فرط التكيّف مع المهام في إطار SALMONN، وتُنفَّذ مرحلة ضبط التنشيط لمعالجة مشكلات فرط التكيّف هذه.
مرحلة التفعيل
تعتبر طريقة فعالة لمعالجة مشكلات فرط التكيّف هي تنظيم النماذج اللغوية المشروطة الداخلية باستخدام استجابات أطول وأكثر تنوعًا، مثل القصص أو أسئلة الإجابة القائمة على المعلومات السمعية. ثم يتم إنشاء بيانات التدريب الزوجية لهذه المهام باستخدام نصوص مقترنة بأوصاف للصوت أو الكلام أو الموسيقى.
مواصفات المهام
لتقييم قدرات SALMONN الناشئة العابرة للوسائط دون أمثلة مسبقة، تم تضمين 15 مهمة كلامية وسمعية وموسيقية مقسمة على ثلاثة مستويات.
المستوى الأول
في المستوى الأول، يتم استخدام المهام لالضبط بالتعليمات، وبالتالي فهي مجموعة المهام الأكثر سهولة التي يجب على إطار SALMONN أداؤها.
المستوى الثاني
يتكون المستوى الثاني من مهام غير مدربة، ومستوى الصعوبة أعلى مقارنة بمهام المستوى الأول. في المستوى الثاني، المهام هي مهام معالجة اللغة الطبيعية القائمة على الكلام، بما في ذلك استخراج الكلمات الرئيسية التي تُستخدم لتقييم دقة الإطار في استخراج الكلمات الرئيسية باستخدام الكلام. وتشمل المهام الأخرى الإجابة عن الأسئلة المبنية على استفسارات منطوقة (SQQA)، لتقييم المعرفة العامة التي يستخلصها الإطار من الأسئلة المنطوقة، وملء الخانات بناءً على الكلام (SF) لتقييم دقة قيم الخانات، وأخيرًا، هناك مهامان لتحويل اللغة الإنجليزية إلى الألمانية واليابانية.
المستوى الثالث
مستوى الصعوبة للمهام في المستوى الثالث هو الأعلى مقارنة بالمستويين الآخرين، ويتضمن مهام التفكير المشترك بين الصوت والكلام والرواية القائمة على الصوت. يتطلب مهمة التفكير المشترك بين الصوت والكلام من إطار SALMONN فهم سؤال موجود في مقطع الصوت الذي يتم إدخاله إلى النموذج، العثور على أدلة داعمة باستخدام أحداث الصوت أو الموسيقى في الخلفية، وتوليد سبب مناسب للإجابة على السؤال. وتتطلب مهام الرواية القائمة على الصوت من النموذج توليد قصة ذات معنى بناءً على المعلومات السمعية من المدخلات الصوتية العامة.

النتائج
مهام المستوى الأول
يُظهر الجدول التالي نتائج مهام المستوى الأول، ويمكن ملاحظة أن إطار SALMONN يُرجع نتائج تنافسية في مهام المستوى الأول مع أو بدون التفعيل.

مهام المستوى الثاني والثالث
على الرغم من أن إطار SALMONN يُرجع نتائج تنافسية في مهام المستوى الأول حتى بدون التفعيل، لا يمكن القول نفس الشيء عن مهام المستوى الثاني والثالث، حيث يعاني إطار SALMONN بشدة من فرط التكيّف على المهام دون التفعيل. وينخفض الأداء بشكل أكبر في مهام استخراج الأسئلة الشفوية والتفكير المشترك بين الصوت والكلام والرواية، مع التركيز على التفاعلات المتعددة الوسائط، ويواجه إطار SALMONN صعوبة في اتباع التعليمات دون ضبط التنشيط. لكن ضبط التنشيط يحسّن النتائج بدرجة كبيرة، كما توضح الصورة التالية.

تخفيض عامل التكيف منخفض الرتبة
يقيّم هذا الاختبار أثر خفض عامل تحجيم LoRA وقت الاختبار لتقليل فرط التكيّف مع المهام. ويمكن ملاحظة أن انخفاض عامل التكيف منخفض الرتبة إلى 2.0 يرفع من قدرة التفكير المتعدد الوسائط في إطار SALMONN على مهام التعرف التلقائي على الكلام (ASR) والتعرف على الفونيمات (PR)، والإجابة عن الأسئلة المنطوقة (SQQA)، وسرد القصص، والاستدلال المشترك بين الكلام والصوت (SAC).

تقييم فرط التكيّف للمهام
للتأكيد على التفعيل، يقوم إطار SALMONN بتحليل التغييرات في الارتباك خلال المراحل التدريبية الثلاث، ويمكن ملاحظة أن قيم الحيرة لمهمتي الوصف التلقائي للصوت (AAC) والتعرف التلقائي على الكلام (ASR) لها قيم نهائية صغيرة بعد المرحلة التدريبية الأولى، مما يشير إلى تعلم النموذج للمحاذاة المتعددة الوسائط.

علاوة على ذلك، تنخفض الحيرة لمهمة التعرف على الفونيمات (PR) بعد الضبط بالتعليمات بسبب اعتماده على مكون LoRA لتعلم الرموز الناتجة. كما لوحظ أن الضبط بالتعليمات يساعد في خفض الارتباك على مهام الرواية والتفكير المشترك بين الصوت والكلام، ولكن الفجوة لا تزال كبيرة وتمنع تنفيذ المهام بنجاح ما لم يتم إضافة مرحلة تفعيل إضافية أو إزالة مكون LoRA.
التفعيل
يغوص إطار SALMONN في طرق التفعيل المختلفة، بما في ذلك تدريب النموذج على مهام أسئلة وأجوبة نصية ذات إجابات طويلة، أو استخدام قصص طويلة مكتوبة صوتية، أو استخدام نصوص طويلة لمهام التعرف على الكلام. ويُضبط كل من Q-Former وLoRA باستخدام هذه الطرق الثلاث. ويختبر الإطار أيضًا تجاهل مدخلات الصوت وQ-Former وضبط LoRA وVicuna بوصفهما نموذجًا لغويًا كبيرًا نصيًا قابلًا للتكيف. وتُظهر الصورة التالية أن التدريب على نصوص طويلة للتعرف على الكلام لا يحقق التنشيط، كما لا يتحقق بتدريب LoRA على مطالبات نصية للقصص أو الأسئلة والأجوبة.

أفكار ختامية
في هذه المقالة، ناقشنا إطار SALMONN، وهو نموذج لغة كبير متعدد الوسائط صوتي-نصي يمكنه إدراك وفهم ثلاثة أنواع أساسية من الأصوات، بما في ذلك الكلام والأحداث الصوتية والموسيقى. ويمكن لنموذج SALMONN فهم المدخلات الصوتية العامة مباشرة وتقديم أداء تنافسي في مجموعة واسعة من مهام الصوت والكلام.
يقدم إطار SALMONN أداءً تنافسيًا في مجموعة واسعة من المهام المدربة، بما في ذلك توليد أوصاف للصوت وترجمة الكلام والتعرف عليه، ويتعمق في مجموعة واسعة من المهام غير المدربة، بما في ذلك استخراج الكلمات الرئيسية من الكلام والترجمة إلى لغات لم يُدرَّب عليها النموذج. وبفضل قدراته، يمكن اعتبار إطار SALMONN الخطوة التالية لتعزيز القدرات السمعية العامة لنموذج اللغة الكبيرة.












