مستقبل تقييم الكلام – قادة الفكر

على مستوى العالم، يزداد عدد متعلمي اللغة الإنجليزية باستمرار. تحتاج المؤسسات التعليمية وأصحاب العمل إلى تقييم إتقان اللغة الإنجليزية لمتعلمي اللغة – خاصة القدرة على التحدث، منذ أن bleibt لغة التحدث من بين أهم مهارات اللغة. التحدي، لكل من مطورى الاختبارات ومستخدميها، هو إيجاد طريقة لفعل ذلك بدقة وسرعة واقتصاد. كجزء من هذا التحدي، يأتي تقييم هذه الاختبارات بمجموعة من العوامل، خاصة عند النظر في المجالات المختلفة (الكلام والكتابة وغيرها) التي يتم اختبارها. مع زيادة الطلب على مهارات اللغة الإنجليزية في جميع أنحاء العالم، ما هو شكل مستقبل تقييم الكلام لتلبي هذه الاحتياجات؟

الإجابة على هذا السؤال، جزئيًا، تكمن في تطور تقييم الكلام حتى الآن. تم تقييم الاستجابات الشفوية البنائية تاريخيًا باستخدام مقيمين بشريين. ومع ذلك، فإن هذا العملية تميل إلى أن تكون مكلفة وبطيئة، وتواجه تحديات إضافية، بما في ذلك قابلية التوسع وقيود المقيمين البشريين أنفسهم (مثل انحياز المقيم أو موضوعية). كما ناقشنا في كتابنا تقييم الكلام الآلي: استخدام تقنيات اللغة لتقييم الكلام التلقائي، من أجل مواجهة هذه التحديات، يعتمد عدد متزايد من الاختبارات على تقنية تقييم الكلام الآلي كوسيلة وحيدة للتقييم أو بالاشتراك مع المقيمين البشريين. ومع ذلك، قبل نشر محركات التقييم الآلية، يتعين تقييم أدائها بدقة، خاصة فيما يتعلق بموثوقية الدرجة وصدقها (هل يقيس النظام ما هو متوقع منه؟) وعدله (يجب ألا يقدم النظام انحيازًا متعلقًا بفئات سكانية فرعية مثل الجنس أو اللغة الأم).

منذ عام 2006، تم تشغيل محرك تقييم الكلام الخاص بشركة ETS، SpeechRater، في اختبار TOEFL Practice Online (TPO) (الذي يستخدمه المتقدمون للاختبار للاستعداد للاختبار TOEFL iBT)، ومنذ عام 2019، تم استخدام SpeechRater أيضًا، جنبًا إلى جنب مع المقيمين البشريين، لتقييم جزء الكلام من اختبار TOEFL iBT. يقيم المحرك مجموعة واسعة من مهارات التحدث، بما في ذلك النطق والترادف، ومجال المفردات والقواعد، والقدرات العالية للتحدث المتعلقة بالاتساق وتقدم الأفكار. يتم حساب هذه الميزات باستخدام خوارزميات معالجة اللغة الطبيعية ومعالجة الكلام. ثم يتم تطبيق نموذج إحصائي على هذه الميزات لتخصيص درجة نهائية لاستجابة المتقدم للاختبار.

على الرغم من أن هذا النموذج يتم تدريبه على بيانات سابقة تم تقييمها بواسطة مقيمين بشريين، إلا أنه يتم أيضًا استعراضه بواسطة خبراء المحتوى لتعظيم صلاحيته. إذا تم العثور على استجابة غير قابلة للتقييم بسبب جودة الصوت أو مشاكل أخرى، يمكن للمحرك وضع علامة عليها للمراجعة لمنع توليد درجة غير موثوقة أو غير صالحة. يتماشى المقيمون البشريون دائمًا مع تقييم استجابات المتحدث في اختبار التحدث عالي الخطورة TOEFL iBT.

نظرًا لأن المقيمين البشريين ومحرك SpeechRater يتم استخدامهما حاليًا معًا لتقييم استجابات المتقدمين للاختبار في اختبارات التحدث عالية الخطورة، كلاهما يلعب دورًا فيما يمكن أن يكون مستقبل تقييم إتقان اللغة الإنجليزية. يمتلك المقيمون البشريون القدرة على فهم محتوى المنظمة والخطاب للاستجابة الشفوية بعمق. في المقابل، يمكن لمحركات تقييم الكلام الآلي قياس جوانب محددة من الكلام بدقة أكبر، مثل الترداد أو النطق، ويمكن أن تظهر الاتساق الكامل مع مرور الوقت، ويمكن أن تقلل من وقت التقييم الإجمالي وتكلفة، ويمكن أن تكون أكثر سهولة للتوسع لدعم حجم اختبارات كبير. عندما يتم الجمع بين المقيمين البشريين ومحركات تقييم الكلام الآلي، يمكن للنظام الناتج أن يستفيد من نقاط قوة كل منهما.

من أجل التطور المستمر لمحركات تقييم الكلام الآلي، يتعين على البحث والتطوير التركيز على الجوانب التالية، من بين أمور أخرى:

• بناء أنظمة التعرف على الكلام الآلي بدقة أعلى: نظرًا لأن معظم ميزات نظام تقييم الكلام يعتمد بشكل مباشر أو غير مباشر على هذا المكون من النظام الذي يحول كلام المتقدم للاختبار إلى نص، فإن التعرف على الكلام الآلي بدقة عالية ضروري للحصول على ميزات صالحة;
• استكشاف طرق جديدة لدمج الدرجات البشرية والآلية: من أجل الاستفادة الكاملة من نقاط قوة درجات المقيمين البشريين ودرجات المحرك الآلي، يتعين استكشاف طرق إضافية لدمج هذه الأدلة;
• معالجة الشذوذ في الاستجابات، سواء كانت تقنية أو سلوكية: من الضروري وجود مرشحات عالية الأداء قادرة على وضع علامة على هذه الاستجابات واستبعادها من التقييم الآلي لتسهيل ضمان صلاحية وثبات درجات التقييم الناتجة;
• تقييم الكلام التلقائي أو المحادثي الذي يحدث أكثر في الحياة اليومية: في حين أن تقييم الكلام التفاعلي الآلي هو هدف هام، فإن هذه العناصر تطرح تحديات تقييمية، بما في ذلك التقييم العام والتسجيل;
• استكشاف تقنيات التعلم العميق لتقييم الكلام الآلي: هذا المنهج المتعلق بالتعلم الآلي قد أنتج زيادات كبيرة في الأداء في العديد من مهام الذكاء الاصطناعي (مثل التعرف على الكلام، التعرف على الصور) في السنوات الأخيرة، وبالتالي من المحتمل أن يستفيد التقييم الآلي أيضًا من استخدام هذه التقنية. ومع ذلك، نظرًا لأن معظم هذه الأنظمة يمكن اعتبارها نهجًا “ال盒ة السوداء”، سيكون من الضروري الاهتمام بفهم الدرجة الناتجة للحفاظ على بعض مستويات الشفافية.

للمواكبة نمو السكان المتعلمين للغة الإنجليزية وتغييره، يجب أن توسع أنظمة تقييم الكلام الجديدة نطاق التأثير وتوسيع نطاق ما يمكن قياسه، مما يتيح الاتساق والقابلية للتوسع. هذا لا يعني أن العنصر البشري سيتم إزالته، خاصة في الاختبارات عالية الخطورة. من المحتمل أن يبقى المقيمون البشريون ضروريين لتقدير بعض جوانب الكلام التي سيظل من الصعب تقييمها بدقة بواسطة أنظمة التقييم الآلية لفترة طويلة، بما في ذلك جوانب محتوى الكلام المتحدث والمنظمة. استخدام أنظمة تقييم الكلام الآلية بشكل منفصل للاختبارات ذات النتائج المهمة يخاطر بعدم تحديد استجابات المتقدمين للاختبار المشكلة – على سبيل المثال، الاستجابات التي لا تتعلق بالموضوع أو المقلدة، ونتيجة لذلك، يمكن أن يؤدي إلى انخفاض الصلاحية وثبات الدرجات. استخدام المقيمين البشريين وأنظمة التقييم الآلية معًا قد يكون أفضل طريقة لتقييم الكلام في الاختبارات عالية الخطورة لمستقبل قريب، خاصة إذا تم تقييم الكلام التلقائي أو المحادثي.

كتب بواسطة: كيلان إيفانيني، مدير أبحاث الكلام، ETS وكلوز زكنر، عالم أبحاث أول في الكلام، ETS

تعمل ETS مع المؤسسات التعليمية والشركات والحكومات على إجراء أبحاث وتطوير برامج تقييم توفر معلومات هامة يمكن الاعتماد عليها لتقييم الأفراد والبرامج. تطور ETS وتنفذ وتقيم أكثر من 50 مليون اختبار سنويًا في أكثر من 180 دولة في أكثر من 9,000 موقع في جميع أنحاء العالم. نصمم اختباراتنا باستخدام رؤى رائدة في الصناعة وأبحاث صارمة والتزام غير مسبوق بالجودة حتى نتمكن من مساعدة مجتمعات التعليم ومجتمع العمل على اتخاذ قرارات مدروسة. لمعرفة المزيد، زوروا ETS.