التعرف على ضغوط الموظف من خلال تحليل الوجه في العمل

في سياق تغيير الثقافة حول آداب اجتماع التكبير ، وظهور إجهاد التكبير، أصدر باحثون من كامبريدج دراسة تستخدم التعلم الآلي لتحديد مستويات التوتر لدينا من خلال تغطية كاميرا الويب المدعومة بالذكاء الاصطناعي لتعبيرات الوجه لدينا في العمل.

على اليسار ، بيئة جمع البيانات ، مع معدات مراقبة متعددة إما مدربة على متطوع أو ملحقة به ؛ على اليمين ، أمثلة لتعبيرات الوجه التي تم إنشاؤها بواسطة الأشخاص الخاضعين للاختبار بمستويات متفاوتة من صعوبة المهمة. المصدر: https://arxiv.org/pdf/2111.11862.pdf

يهدف البحث إلى تحليل التأثير (على سبيل المثال ، التعرف على المشاعر) في أنظمة "المساعدة المحيطة بالمعيشة"، ومن المفترض أنها مصممة لتمكين أطر مراقبة تعبيرات الوجه القائمة على الفيديو بواسطة الذكاء الاصطناعي في مثل هذه الأنظمة؛ وعلى الرغم من أن الورقة لا تتوسع في هذا الجانب، فإن جهد البحث لا معنى له في أي سياق آخر.

الهدف المحدد للمشروع هو تعلم أنماط تعبيرات الوجه في بيئات العمل - بما في ذلك ترتيبات العمل عن بعد - بدلاً من المواقف "الترفيهية" أو "السلبية"، مثل السفر.

التعرف على المشاعر من خلال الوجه في مكان العمل

قد يبدو "العيش المُساعد المُحيط" كبرنامج لرعاية كبار السن، إلا أنه ليس كذلك. وفي حديثه عن "المستخدمين النهائيين" المُستهدفين، يقول المؤلفون*:

أنظمة تم إنشاؤها لبيئات المعيشة المساعدة المحيطة [†] تهدف إلى أن تكون قادرة على أداء كل من تحليل التأثير التلقائي والاستجابة. تعتمد الحياة المساعدة المحيطة على استخدام تكنولوجيا المعلومات والاتصالات (ICT) للمساعدة في بيئة العمل والمعيشة اليومية للأفراد للحفاظ على صحتهم ونشاطهم لفترة أطول ، وتمكينهم من العيش بشكل مستقل مع تقدمهم في السن. هكذا، تهدف الحياة المساعدة المحيطة إلى تسهيل العاملين الصحيين والممرضات والأطباء وعمال المصانع والسائقين والطيارين والمعلمين وكذلك الصناعات المختلفة من خلال الاستشعار والتقييم والتدخل.

يهدف النظام إلى تحديد الإجهاد البدني والعاطفي والعقلي والاستجابة والتكيف عند الحاجة ، على سبيل المثال ، يمكن لسيارة مجهزة بنظام اكتشاف النعاس إبلاغ السائق ليكون منتبهًا ويمكن أن يقترح عليه أخذ استراحة قصيرة لتجنب الحوادث [††]."

استخدم ورقة بعنوان استنتاج تأثير وجه المستخدم في إعدادات تشبه العمل، ويأتي من ثلاثة باحثين في مختبر الذكاء العاطفي والروبوتات في كامبريدج.

شروط الاختبار

منذ عمل مسبق في هذا المجال اعتمد إلى حد كبير على مجموعات مخصصة من الصور المأخوذة من الإنترنت ، أجرى باحثو كامبريدج تجارب محلية لجمع البيانات مع 12 متطوعًا في الحرم الجامعي ، 5 ذكور و 7 إناث. جاء المتطوعون من تسع دول ، وتراوحت أعمارهم بين 22 و 41 عامًا.

يهدف المشروع إلى إعادة خلق ثلاث بيئات عمل مرهقة: مكتب؛ خط إنتاج المصنع ومكالمة عبر الهاتف - مثل نوع دردشة مجموعة Zoom التي أصبحت ملف ميزة متكررة من العمل المنزلي منذ ظهور الوباء.

تمت مراقبة الموضوعات بوسائل مختلفة ، منها ثلاث كاميرات ، وميكروفون من نوع جبرا ، وميكروفون معصم امباتيكا (جهاز لاسلكي متعدد المستشعرات يمكن ارتداؤه يوفر الارتجاع البيولوجي في الوقت الفعلي) ، ومستشعر Muse 2 للرأس (والذي يوفر أيضًا الارتجاع البيولوجي). بالإضافة إلى ذلك ، طُلب من المتطوعين إكمال الاستبيانات وتقييم مزاجهم بشكل دوري.

ومع ذلك، هذا لا يعني أن منصات Ambient Assistive Living المستقبلية سوف "تربطك" بهذا الحد (ولو لأسباب تتعلق بالتكلفة فقط)؛ حيث تهدف جميع معدات ووسائل مراقبة غير الكاميرات المستخدمة في جمع البيانات، بما في ذلك التقييمات الذاتية المكتوبة، إلى التحقق من أنظمة التعرف على التأثيرات القائمة على الوجه والتي يتم تمكينها من خلال لقطات الكاميرا.

تصعيد الضغط: سيناريو المكتب

في السيناريوهين الأولين من السيناريوهات الثلاثة ("المكتب" و"المصنع")، بدأ المتطوعون بوتيرة سهلة، مع زيادة الضغط تدريجيًا على مدى أربع مراحل، مع أنواع مختلفة من المهام لكل مرحلة.

في أعلى مستوى من التوتر المستحث، كان على المتطوعين أيضًا أن يتحملوا "تأثير المعطف الأبيض" لشخص ينظر من فوق كتفهم، بالإضافة إلى 85 ديسيبل من الضوضاء الإضافية، وهو ما يعادل خمسة ديسيبل أدناه الحد القانوني لبيئة مكتبية في الولايات المتحدة ، والحد الأقصى الدقيق المحدد من قبل المعهد الوطني للسلامة والصحة المهنية (NIOSH).

في مرحلة جمع البيانات الشبيهة بالمكتب ، تم تكليف الأشخاص بتذكر الأحرف السابقة التي تومض عبر الشاشة ، مع مستويات متزايدة من الصعوبة (مثل الاضطرار إلى تذكر التسلسلات المكونة من حرفين التي حدثت قبل شاشتين).

سيناريو المصنع

لمحاكاة بيئة العمل اليدوي ، طُلب من الأشخاص ممارسة اللعبة تشغيل، والتي تتحدى براعة المستخدم من خلال مطالبة اللاعب باستخراج أشياء صغيرة من لوحة من خلال فتحات ضيقة ذات حواف معدنية دون لمس الجوانب، وهو ما يؤدي في حالة حدوثه إلى تشغيل جرس "الفشل".

بحلول الوقت الذي جاءت فيه أصعب مرحلة ، واجه المتطوع تحديًا لاستخراج جميع العناصر الاثني عشر دون أخطاء خلال دقيقة واحدة. للسياق ، الرقم القياسي العالمي لهذه المهمة ، المحدد في المملكة المتحدة في عام 12 ، يقف عند 12.68 ثانية.

سيناريو المؤتمرات عن بعد

أخيرًا ، في اختبار الواجبات المنزلية / الاجتماع عن بُعد ، سأل المجرب المتطوعون عبر مكالمة MS Teams لتذكر ذكرياتهم الإيجابية والسلبية. في المرحلة الأكثر إرهاقًا من هذا السيناريو ، كان مطلوبًا من المتطوع أن يتذكر ذكرى سلبية أو حزينة للغاية من ماضيه القريب.

تم تنفيذ المهام والسيناريوهات المختلفة بترتيب عشوائي ، وتم تجميعها في مجموعة بيانات مخصصة بعنوان Working-Environment-Context-Aware Dataset (WECARE-DB).

الطريقة والتدريب

استُخدمت نتائج التقييمات الذاتية للمستخدمين لمزاجهم كحقائق أساسية، ورُبطت بأبعاد التكافؤ والإثارة. شُغّل الفيديو المُلتقط للتجارب عبر جهاز كشف معالم الوجه. شبكة، ويتم تغذية الصور المحاذاة إلى ملف شبكة ResNet-18 تدرب على افيكت نت مجموعة البيانات.

تقول الورقة البحثية إن 450,000 صورة من AffectNet ، تم رسمها / تصنيفها من الإنترنت باستخدام استعلامات متعلقة بالعاطفة ، تم شرحها يدويًا بأبعاد التكافؤ والإثارة.

بعد ذلك ، قام الباحثون بتحسين الشبكة بناءً على مجموعة بيانات WECARE الخاصة بهم فقط ، بينما ترميز التمثيل الطيفي لتلخيص التوقعات القائمة على الإطار.

النتائج

تم تقييم أداء النموذج على ثلاثة مقاييس مرتبطة عادة بالتنبؤ بالتأثير الآلي: معامل الارتباط بالتوافق؛ ومعامل الارتباط ببيرسون؛ وخطأ الجذر التربيعي المتوسط ​​(RMSE).

لاحظ المؤلفون أن النموذج الذي تم ضبطه بدقة على مجموعة بيانات WECARE الخاصة بهم تفوق على ResNet-18 ، واستنتجوا من هذا أن الطريقة التي نحكم بها تعابير وجهنا مختلفة تمامًا في بيئة العمل عنها في السياقات الأكثر تجريدًا التي اشتقت منها الدراسات السابقة مصدر المواد من الإنترنت.

يذكرون:

بالنظر إلى الجدول، نلاحظ أن النموذج المُعدّل بدقة على قاعدة بيانات WECARE-DB تفوق على نموذج ResNet-18 المُدرّب مُسبقًا على [AffectNet]، مما يُشير إلى أن سلوكيات الوجه المُعروضة في بيئات العمل تختلف مُقارنةً بإعدادات الإنترنت الفعلية المُستخدمة في قاعدة بيانات AffectNet. لذا، من الضروري الحصول على مجموعات بيانات وتدريب نماذج للتعرف على تعابير الوجه في بيئات العمل.

فيما يتعلق بمستقبل التعرف على التأثير أثناء العمل ، الذي تم تمكينه من خلال شبكات من الكاميرات المدربة على الموظفين ، والتنبؤ باستمرار بحالاتهم العاطفية ، يستنتج المؤلفون *:

الهدف النهائي هو تنفيذ واستخدام النماذج المدربة في الوقت الفعلي وفي إعدادات العمل الحقيقية لتوفير مدخلات لأنظمة دعم القرار لتعزيز صحة ورفاهية الأشخاص خلال سن العمل في سياق مشروع سن العمل في الاتحاد الأوروبي".

* تأكيدي.

† هنا يقوم المؤلفون بثلاث استشهادات:

التعرف التلقائي والأبعاد والمستمر على المشاعر - https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
استكشاف المجال المعيشة بمساعدة المحيط: مراجعة منهجية – https://link.springer.com/article/10.1007/s12652-016-0374-3
مراجعة لتقنيات إنترنت الأشياء لبيئات المعيشة المساعدة المحيطة – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† هنا يقوم المؤلفان باستشهاد اثنين:

الكشف عن نعاس السائق في الوقت الحقيقي للنظام المضمن باستخدام نموذج ضغط للشبكات العصبية العميقة - https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
نظام الكشف عن نعاس السائق في الوقت الحقيقي باستخدام ميزات الوجه – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532