التعرف على ضغوط الموظف من خلال تحليل الوجه في العمل

في سياق تغيير الثقافة حول آداب اجتماع التكبير ، وظهور إجهاد التكبير، أصدر باحثون من كامبريدج دراسة تستخدم التعلم الآلي لتحديد مستويات التوتر لدينا من خلال تغطية كاميرا الويب المدعومة بالذكاء الاصطناعي لتعبيرات الوجه لدينا في العمل.

على اليسار ، بيئة جمع البيانات ، مع معدات مراقبة متعددة إما مدربة على متطوع أو ملحقة به ؛ على اليمين ، أمثلة لتعبيرات الوجه التي تم إنشاؤها بواسطة الأشخاص الخاضعين للاختبار بمستويات متفاوتة من صعوبة المهمة. المصدر: https://arxiv.org/pdf/2111.11862.pdf

يهدف البحث إلى تحليل التأثير (على سبيل المثال ، التعرف على المشاعر) في أنظمة "Ambient Assistive Living" ، ويفترض أنها مصممة لتمكين أطر مراقبة تعبيرات الوجه المعتمدة على الفيديو في مثل هذه الأنظمة ؛ على الرغم من أن الورقة لا تتوسع في هذا الجانب ، إلا أن جهود البحث لا معنى لها في أي سياق آخر.

الهدف المحدد للمشروع هو تعلم أنماط تعبيرات الوجه في بيئات العمل - بما في ذلك ترتيبات العمل عن بعد - بدلاً من المواقف "الترفيهية" أو "السلبية" ، مثل السفر.

التعرف على المشاعر من خلال الوجه في مكان العمل

في حين أن "Ambient Assistive Living" قد يبدو وكأنه مخطط لرعاية المسنين ، إلا أن هذا بعيد كل البعد عن الواقع. عند الحديث عن "المستخدمين النهائيين" المقصودين ، يذكر المؤلفون *:

أنظمة تم إنشاؤها لبيئات المعيشة المساعدة المحيطة [†] تهدف إلى أن تكون قادرة على أداء كل من تحليل التأثير التلقائي والاستجابة. تعتمد الحياة المساعدة المحيطة على استخدام تكنولوجيا المعلومات والاتصالات (ICT) للمساعدة في بيئة العمل والمعيشة اليومية للأفراد للحفاظ على صحتهم ونشاطهم لفترة أطول ، وتمكينهم من العيش بشكل مستقل مع تقدمهم في السن. هكذا، تهدف الحياة المساعدة المحيطة إلى تسهيل العاملين الصحيين والممرضات والأطباء وعمال المصانع والسائقين والطيارين والمعلمين وكذلك الصناعات المختلفة من خلال الاستشعار والتقييم والتدخل.

يهدف النظام إلى تحديد الإجهاد البدني والعاطفي والعقلي والاستجابة والتكيف عند الحاجة ، على سبيل المثال ، يمكن لسيارة مجهزة بنظام اكتشاف النعاس إبلاغ السائق ليكون منتبهًا ويمكن أن يقترح عليه أخذ استراحة قصيرة لتجنب الحوادث [††].

• ورقة بعنوان استنتاج تأثير وجه المستخدم في إعدادات تشبه العمل، ويأتي من ثلاثة باحثين في مختبر الذكاء العاطفي والروبوتات في كامبريدج.

شروط الاختبار

منذ عمل مسبق في هذا المجال اعتمد إلى حد كبير على مجموعات مخصصة من الصور المأخوذة من الإنترنت ، أجرى باحثو كامبريدج تجارب محلية لجمع البيانات مع 12 متطوعًا في الحرم الجامعي ، 5 ذكور و 7 إناث. جاء المتطوعون من تسع دول ، وتراوحت أعمارهم بين 22 و 41 عامًا.

يهدف المشروع إلى إعادة خلق ثلاث بيئات عمل مرهقة: مكتب؛ خط إنتاج المصنع ومكالمة عبر الهاتف - مثل نوع دردشة مجموعة Zoom التي أصبحت ملف ميزة متكررة من العمل المنزلي منذ ظهور الوباء.

تمت مراقبة الموضوعات بوسائل مختلفة ، منها ثلاث كاميرات ، وميكروفون من نوع جبرا ، وميكروفون معصم امباتيكا (جهاز لاسلكي متعدد المستشعرات يمكن ارتداؤه يوفر الارتجاع البيولوجي في الوقت الفعلي) ، ومستشعر Muse 2 للرأس (والذي يوفر أيضًا الارتجاع البيولوجي). بالإضافة إلى ذلك ، طُلب من المتطوعين إكمال الاستبيانات وتقييم مزاجهم بشكل دوري.

ومع ذلك ، هذا لا يعني أن منصات Ambient Assistive Living المستقبلية ستعمل على "توصيلك" إلى هذا الحد (إذا كان ذلك لأسباب تتعلق بالتكلفة فقط) ؛ تهدف جميع معدات وأساليب المراقبة غير الكاميرا المستخدمة في جمع البيانات ، بما في ذلك التقييمات الذاتية المكتوبة ، إلى التحقق من أنظمة التعرف على التأثيرات القائمة على الوجه التي يتم تمكينها بواسطة لقطات الكاميرا.

تصعيد الضغط: سيناريو المكتب

في أول اثنين من السيناريوهات الثلاثة ("المكتب" و "المصنع") ، بدأ المتطوعون العمل بوتيرة سهلة ، مع زيادة الضغط تدريجيًا على أربع مراحل ، مع أنواع مختلفة من المهام لكل منها.

في أعلى مستوى من الإجهاد الناجم ، كان على المتطوعين أيضًا تحمل "تأثير المعطف الأبيض" لشخص ينظر من فوق كتفهم ، بالإضافة إلى 85 ديسيبل من الضوضاء الإضافية ، وهو مجرد خمسة ديسيبل أدناه الحد القانوني لبيئة مكتبية في الولايات المتحدة ، والحد الأقصى الدقيق المحدد من قبل المعهد الوطني للسلامة والصحة المهنية (NIOSH).

في مرحلة جمع البيانات الشبيهة بالمكتب ، تم تكليف الأشخاص بتذكر الأحرف السابقة التي تومض عبر الشاشة ، مع مستويات متزايدة من الصعوبة (مثل الاضطرار إلى تذكر التسلسلات المكونة من حرفين التي حدثت قبل شاشتين).

سيناريو المصنع

لمحاكاة بيئة العمل اليدوي ، طُلب من الأشخاص ممارسة اللعبة عملية، والتي تتحدى براعة المستخدم من خلال مطالبة اللاعب باستخراج أشياء صغيرة من لوحة من خلال فتحات ضيقة ذات إطار معدني دون لمس الجوانب ، مما يؤدي إلى إطلاق صفارة "الفشل".

بحلول الوقت الذي جاءت فيه أصعب مرحلة ، واجه المتطوع تحديًا لاستخراج جميع العناصر الاثني عشر دون أخطاء خلال دقيقة واحدة. للسياق ، الرقم القياسي العالمي لهذه المهمة ، المحدد في المملكة المتحدة في عام 12 ، يقف عند 12.68 ثانية.

سيناريو المؤتمرات عن بعد

أخيرًا ، في اختبار الواجبات المنزلية / الاجتماع عن بُعد ، سأل المجرب المتطوعون عبر مكالمة MS Teams لتذكر ذكرياتهم الإيجابية والسلبية. في المرحلة الأكثر إرهاقًا من هذا السيناريو ، كان مطلوبًا من المتطوع أن يتذكر ذكرى سلبية أو حزينة للغاية من ماضيه القريب.

تم تنفيذ المهام والسيناريوهات المختلفة بترتيب عشوائي ، وتم تجميعها في مجموعة بيانات مخصصة بعنوان Working-Environment-Context-Aware Dataset (WECARE-DB).

الطريقة والتدريب

تم استخدام نتائج التقييمات الذاتية للمستخدمين لمزاجهم كحقيقة أساسية ، وتم تعيينها حسب أبعاد التكافؤ والإثارة. تم تشغيل مقطع الفيديو الذي تم التقاطه للتجارب من خلال اكتشاف معالم الوجه شبكة، ويتم تغذية الصور المحاذاة إلى ملف شبكة ResNet-18 تدرب على افيكت نت مجموعة البيانات.

تقول الورقة البحثية إن 450,000 صورة من AffectNet ، تم رسمها / تصنيفها من الإنترنت باستخدام استعلامات متعلقة بالعاطفة ، تم شرحها يدويًا بأبعاد التكافؤ والإثارة.

بعد ذلك ، قام الباحثون بتحسين الشبكة بناءً على مجموعة بيانات WECARE الخاصة بهم فقط ، بينما ترميز التمثيل الطيفي لتلخيص التوقعات القائمة على الإطار.

النتائج

تم تقييم أداء النموذج على ثلاثة مقاييس مرتبطة بشكل شائع بالتنبؤ بالتأثير الآلي: ارتباط معامل التوافق ؛ ارتباط معامل بيرسون وخطأ مربع متوسط ​​الجذر (RMSE).

لاحظ المؤلفون أن النموذج الذي تم ضبطه بدقة على مجموعة بيانات WECARE الخاصة بهم تفوق على ResNet-18 ، واستنتجوا من هذا أن الطريقة التي نحكم بها تعابير وجهنا مختلفة تمامًا في بيئة العمل عنها في السياقات الأكثر تجريدًا التي اشتقت منها الدراسات السابقة مصدر المواد من الإنترنت.

يذكرون:

بالنظر إلى الجدول ، نلاحظ أن النموذج الذي تم ضبطه بدقة على WECARE-DB تفوق في الأداء على نموذج ResNet-18 الذي تم تدريبه مسبقًا على [AffectNet] ، مما يشير إلى أن سلوكيات الوجه المعروضة في بيئات شبيهة بالعمل تختلف عن - إعدادات الإنترنت البرية المستخدمة في AffectNet DB. وبالتالي ، من الضروري الحصول على مجموعات بيانات وتدريب نماذج للتعرف على تأثير الوجه في أماكن تشبه العمل.

فيما يتعلق بمستقبل التعرف على التأثير أثناء العمل ، الذي تم تمكينه من خلال شبكات من الكاميرات المدربة على الموظفين ، والتنبؤ باستمرار بحالاتهم العاطفية ، يستنتج المؤلفون *:

الهدف النهائي هو تنفيذ واستخدام النماذج المدربة في الوقت الفعلي وفي إعدادات العمل الحقيقية لتوفير مدخلات لأنظمة دعم القرار لتعزيز صحة ورفاهية الأشخاص خلال سن العمل في سياق مشروع سن العمل في الاتحاد الأوروبي.'

* تأكيدي.

† هنا يقوم المؤلفون بثلاث استشهادات:

التعرف التلقائي والأبعاد والمستمر على المشاعر - https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
استكشاف المجال المعيشة بمساعدة المحيط: مراجعة منهجية – https://link.springer.com/article/10.1007/s12652-016-0374-3
مراجعة لتقنيات إنترنت الأشياء لبيئات المعيشة المساعدة المحيطة – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† هنا يقوم المؤلفان باستشهاد اثنين:

الكشف عن نعاس السائق في الوقت الحقيقي للنظام المضمن باستخدام نموذج ضغط للشبكات العصبية العميقة - https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
نظام الكشف عن نعاس السائق في الوقت الحقيقي باستخدام ميزات الوجه – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532