التعرف على ضغوط الموظفين من خلال التحليل Facial في العمل

في سياق التغييرات التي تشهدها ثقافة اجتماعات زوم، وانتشار ظاهرة إجهاد زوم، قام باحثون من جامعة كامبريدج بنشر دراسة تستخدم التعلم الآلي لتحديد مستويات التوتر لدينا من خلال التحليل Facial لتعابير الوجه في بيئة العمل.

على اليسار، بيئة جمع البيانات، مع معدات مراقبة متعددة إما مدربة أو متصلة بمشارك؛ على اليمين، تعابير الوجه التي تم توليدها بواسطة المشاركين في مستويات مختلفة من صعوبة المهمة. مصدر: https://arxiv.org/pdf/2111.11862.pdf

الهدف من البحث هو تحليل المشاعر (أي التعرف على المشاعر) في أنظمة ” Ambient Assistive Living”، ومن المفترض أن يتم تنفيذها في إطارات مراقبة تعابير الوجه القائمة على الفيديو في مثل هذه الأنظمة؛ على الرغم من أن الورقة لا تتوسع في هذا الجانب، فإن جهد البحث لا يجد معنى في أي سياق آخر.

المجال المحدد للمشروع هو تعلم أنماط تعابير الوجه في بيئات العمل – بما في ذلك الترتيبات العمل عن بعد – chứ لا “الترفيه” أو “المراقبة”، مثل السفر.

التعرف على المشاعر القائمة على الوجه في مكان العمل

فيما يلي بعض النقاط المهمة:

‘النظم المبتكرة لبيئات المساعدة المحيطة تهدف إلى أداء تحليل المشاعر التلقائي والاستجابة. تعتمد بيئات المساعدة المحيطة على استخدام تكنولوجيا المعلومات والاتصالات لتعزيز صحة الشخص وحيويته في بيئته اليومية والعملية، وتساعده على العيش بشكل مستقل مع تقدمه في العمر. وبالتالي، تهدف بيئات المساعدة المحيطة إلى تسهيل عمل العاملين في مجال الصحة، والممرضين، والأطباء، والعمال في المصانع، والسائقين، والطيارين، والمعلمين، بالإضافة إلى مختلف الصناعات من خلال الحس والتقدير والتدخل. ‘

‘النظام旨 في تحديد الإجهاد الجسدي والعاطفي والعقلي والاستجابة والتكيف حسب الحاجة، على سبيل المثال، يمكن لسيارة مجهزة بنظام كشف النعاس أن تخبر السائق بأن يكون حذرًا ويمكنه أن ي建议 له أن يأخذ استراحة قصيرة لتفادي الحوادث [††].’

الورقة بعنوان استنتاج تأثير الوجه للمستخدم في بيئات شبيهة بالعمل، وهي من ثلاثة باحثين في مختبر الذكاء العاطفي والروبوتات في كامبريدج.

ظروف الاختبار

نظرًا لأن الأبحاث السابقة في هذا المجال اعتمدت إلى حد كبير على مجموعات صور غير رسمية مأخوذة من الإنترنت، أجرت باحثو كامبريدج تجارب جمع بيانات محلية مع 12 متطوعًا من الحرم الجامعي، 5 رجال و 7 نساء. جاء المتطوعون من تسع دول، وتراوح возрастهم بين 22 و 41 عامًا.

هدف المشروع إلى إعادة إنشاء ثلاث بيئات عمل محتملة للتوتر: مكتب؛ خط إنتاج في المصنع؛ ومكالمة تليفونية – مثل نوع المكالمات الجماعية التي أصبحت ميزة متكررة في العمل عن بعد منذ ظهور الجائحة.

تم مراقبة الأشخاص بطرق مختلفة، بما في ذلك ثلاثة كاميرات، وميكروفون جابرا حول الرقبة، وشرائط إمباتيكا على الورك (جهاز لاسلكي متعدد الحساسات يقدم ردود فعل حية)، وشرائط موز 2 على الرأس (التي تقدم أيضًا ردود فعل حية). بالإضافة إلى ذلك، طُلب من المتطوعين ملء الاستبيانات وتقييم مزاجهم بشكل دوري.

ومع ذلك، هذا لا يعني أن أنظمة Ambient Assistive Living المستقبلية ستكون “موصولة” بهذا القدر (حتى لأسباب التكلفة)؛ جميع معدات المراقبة غير الكاميرا والطرق المستخدمة في جمع البيانات، بما في ذلك التقييمات المكتوبة الذاتية، تهدف إلى التحقق من أنظمة التعرف على تعابير الوجه القائمة على الكاميرا.

زيادة الضغط: سيناريو المكتب

في السيناريوهين الأولين (“المكتب” و “المصنع”)، بدأ المتطوعون بسرعة سهلة، مع زيادة الضغط تدريجيًا خلال أربع مراحل، مع أنواع مختلفة من المهام لكل منها.

في أعلى مستوى من الإجهاد المستحث، كان على المتطوعين أيضًا تحمل “تأثير السترة البيضاء” لشخص يحدق في كتفه، بالإضافة إلى 85 ديسيبل من الضوضاء الإضافية، وهو ما يعادل خمس ديسيبل أقل من الحد القانوني لمكتب في الولايات المتحدة، والحد الأقصى المحدد من قبل المعهد الوطني للسلامة والصحة المهنية (NIOSH).

في مرحلة جمع البيانات الشبيهة بالمكتب، طُلب من الأشخاص تذكر الحروف السابقة التي ظهرت على شاشاتهم، مع زيادة مستويات الصعوبة (مثل تذكر تسلسلات حرفين حدثت قبل شاشتين).

سيناريو المصنع

لتمثيل بيئة عمل يدوية، طُلب من الأشخاص لعب لعبة العملية، والتي تتحدي مهارة اليد من خلال الحاجة إلى استخراج أشياء صغيرة من اللوحة من خلال فتحات معدنية ضيقة، دون لمس الحواف، مما يؤدي إلى سiren “فشل”.

عندما جاءت المرحلة الأصعب، طُلب من المتطوع أن يستخرج جميع العناصر الـ 12 دون خطأ في دقيقة واحدة. من أجل السياق، سجل الرقم القياسي العالمي لهذه المهمة، الذي سجله في المملكة المتحدة في عام 2019، 12.68 ثانية.

سيناريو التليفونات المرئية

أخيرًا، في اختبار العمل عن بعد / التليفونات المرئية، طُلب من المتطوعين من قبل باحث عبر مكالمة MS Teams تذكر ذكرياتهم الإيجابية والسلبية.对于 المرحلة الأكثر توترًا في هذا السيناريو، طُلب من المتطوع تذكر ذاكرة سلبية أو حزينة من ماضيه الحديث.

تم تنفيذ المهام والسيناريوهات بالترتيب العشوائي، وتم تجميعها في مجموعة بيانات مخصصة بعنوان Working-Environment-Context-Aware Dataset (WECARE-DB).

الطريقة والتدريب

استُخدمت نتائج تقييمات المزاج الذاتية للمتطوعين كحقيقة أساسية، وتم映سها إلى أبعاد القيمة والاستثارة. تم تشغيل مقاطع الفيديو للمحاكمة عبر شبكة كشف معالم الوجه، وتم تغذية الصور المحددة لشبكة ResNet-18 المُدرَّبة على مجموعة بيانات AffectNet.

450,000 صورة من AffectNet، جميعها مرسومة ومُ etiquetted من الإنترنت باستخدام استعلامات متعلقة بالمشاعر، تم تعليمها يدويًا، حسبما تقول الورقة.

بعد ذلك، قام الباحثون بتعديل الشبكة بناءً على مجموعة بيانات WECARE الخاصة بهم، بينما تم استخدام تمثيل الترميز الطيفي لتلخيص التنبؤات الإطارية.

النتائج

تم تقييم أداء النموذج على ثلاثة مقاييس شائعة المرتبطة بالتنبؤ التلقائي بالمشاعر: معامل الارتباط للتوافق؛ معامل الارتباط بيرسون؛ وخطأ الجذر التربيعي الوسط (RMSE).

يشير المؤلفون إلى أن النموذج المُعدَّل على مجموعة بيانات WECARE الخاصة بهم يتفوق على نموذج ResNet-18، وينتهجون إلى أن الطريقة التي نتحكم بها تعابير الوجه في بيئة العمل تختلف كثيرًا عن السياقات المجردة التي تم استخلاص المواد منها من الإنترنت.

هم يقولون:

‘بالنظر إلى الجدول، نلاحظ أن النموذج المُعدَّل على WECARE-DB يتفوق على نموذج ResNet-18 المُدرَّب على [AffectNet]، مما يشير إلى أن السلوكيات الوجهية المعروضة في بيئات شبيهة بالعمل تختلف مقارنةً بالسياقات البرية على الإنترنت المستخدمة في قاعدة بيانات AffectNet. وبالتالي، من الضروري الحصول على مجموعات بيانات وتنفيذ نماذج لتعرف المشاعر الوجهية في بيئات شبيهة بالعمل.’

فيما يتعلق بمستقبل التعرف على المشاعر في العمل، الذي تمكّن من خلال شبكات الكاميرات الموجهة إلى الموظفين، وتقديم تنبؤات دائمة لاحتمالات حالاتهم العاطفية، يخلص المؤلفون إلى:

‘الهدف النهائي هو تنفيذ النماذج المُدرَّبة في الوقت الفعلي وفي بيئات العمل الفعلية لتزويد أنظمة دعم القرار بالبيانات للتعزيز من صحة ورفاهية الأشخاص خلال فترة عملهم في سياق مشروع العمر العمل في الاتحاد الأوروبي.’

† هنا يذكر المؤلفون ثلاثة مراجع:

التعرف التلقائي على المشاعر، والتعرف البعدي والمتواصل – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
استكشاف مجال المساعدة المحيطة – https://link.springer.com/article/10.1007/s12652-016-0374-3
مراجعة تكنولوجيا إنترنت الأشياء للمساعدة المحيطة – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† هنا يذكر المؤلفون مرجعين:

كشف النعاس في الوقت الفعلي للسائقين لنظام متضمّن باستخدام ضغط الشبكات العصبية العميقة – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
نظام كشف النعاس في الوقت الفعلي للسائقين باستخدام الميزات الوجهية – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532