Reconnaître le stress des employés grâce à l’analyse faciale sur le lieu de travail

Dans le contexte de la culture changeante autour de l’étiquette des réunions Zoom, et de l’émergence de la fatigue Zoom, des chercheurs de Cambridge ont publié une étude qui utilise l’apprentissage automatique pour déterminer nos niveaux de stress via la couverture de nos expressions faciales au travail par des caméras équipées de l’IA.

À gauche, l’environnement de collecte de données, avec plusieurs équipements de surveillance soit formés sur soit attachés à un volontaire; à droite, des expressions faciales générées par les sujets d’essai à différents niveaux de difficulté de tâche. Source: https://arxiv.org/pdf/2111.11862.pdf

La recherche est destinée à l’analyse des affects (c’est-à-dire, la reconnaissance des émotions) dans les systèmes de « vie assistée ambiante », et est probablement conçue pour permettre des cadres de surveillance d’expressions faciales basés sur la vidéo dans de tels systèmes; bien que l’article ne développe pas cet aspect, l’effort de recherche n’a aucun sens dans tout autre contexte.

Le domaine spécifique du projet est d’apprendre les modèles d’expressions faciales sur les lieux de travail – y compris les dispositions de travail à distance – plutôt que des situations « de loisirs » ou « passives », telles que les voyages.

Reconnaissance des émotions basée sur le visage sur le lieu de travail

Alors que « la vie assistée ambiante » peut sembler un plan pour les soins aux personnes âgées, ce n’est pas le cas. En parlant des « utilisateurs finaux » visés, les auteurs déclarent*:

‘Les systèmes créés pour les environnements de vie assistée ambiante [†] visent à être capables de réaliser à la fois l’analyse automatique des affects et la réponse. La vie assistée ambiante repose sur l’utilisation des technologies de l’information et de la communication (TIC) pour aider les personnes dans leur environnement de vie et de travail quotidien pour les garder en bonne santé et actifs plus longtemps, et leur permettre de vivre de manière indépendante alors qu’ils vieillissent. Ainsi, la vie assistée ambiante vise à faciliter les travailleurs de la santé, les infirmières, les médecins, les travailleurs de l’usine, les conducteurs, les pilotes, les enseignants ainsi que diverses industries via la détection, l’évaluation et l’intervention.

‘Le système est destiné à déterminer les contraintes physiques, émotionnelles et mentales et à répondre et à s’adapter au besoin, par exemple, une voiture équipée d’un système de détection de somnolence peut informer le conducteur d’être attentif et peut lui suggérer de prendre une petite pause pour éviter les accidents [††].’

L’article est intitulé Inférer l’affect facial de l’utilisateur dans des environnements de travail, et provient de trois chercheurs du Laboratoire d’intelligence affective et de robotique de Cambridge.

Conditions de test

Puisque les travaux précédents dans ce domaine ont dépendu largement de collections ad hoc d’images collectées sur Internet, les chercheurs de Cambridge ont mené des expériences de collecte de données locales avec 12 volontaires du campus, 5 hommes et 7 femmes. Les volontaires venaient de neuf pays et avaient entre 22 et 41 ans.

Le projet visait à recréer trois environnements de travail potentiellement stressants: un bureau; une ligne de production d’usine; et un appel de téléconférence – comme le type d’appel de groupe Zoom qui est devenu une caractéristique fréquente du travail à domicile depuis l’avènement de la pandémie.

Les sujets ont été surveillés par divers moyens, notamment trois caméras, un microphone Jabra porté au cou, un bracelet Empatica (un dispositif de biosurveillance sans fil offrant une rétroaction en temps réel), et un capteur de tête Muse 2 (qui offre également une rétroaction). De plus, les volontaires ont été invités à remplir des enquêtes et à évaluer leur humeur périodiquement.

Cependant, cela ne signifie pas que les futurs systèmes de vie assistée ambiante vont « vous brancher » à ce point (si ce n’est pour des raisons de coût); tous les équipements et méthodes de surveillance non caméra utilisés dans la collecte de données, y compris les auto-évaluations écrites, sont destinés à vérifier les systèmes de reconnaissance d’expressions faciales basés sur les caméras.

Augmentation de la pression: Le scénario du bureau

Dans les deux premiers des trois scénarios (‘Bureau’ et ‘Usine’), les volontaires ont commencé avec un rythme facile, avec la pression augmentant progressivement sur quatre phases, avec différents types de tâches pour chacune.

À l’étape la plus élevée de stress induit, les volontaires ont également dû subir l’« effet du blanc » de quelqu’un qui les regardait par-dessus leur épaule, plus 85 décibels de bruit supplémentaire, ce qui est juste cinq décibels en dessous de la limite légale pour un environnement de bureau aux États-Unis, et la limite maximale spécifiée par le National Institute for Occupational Safety and Health (NIOSH).

Dans la phase de collecte de données simulant un environnement de bureau, les sujets ont été chargés de se souvenir des lettres qui avaient clignoté sur leur écran, avec des niveaux de difficulté croissants (tels que devoir se souvenir de séquences de deux lettres qui s’étaient produites deux écrans plus tôt).

Le scénario de l’usine

Pour simuler un environnement de travail manuel, les sujets ont été invités à jouer au jeu Operation, qui met au défi la dextérité de l’utilisateur en exigeant que le joueur retire de petits objets d’un plateau à travers de petites ouvertures métalliques sans toucher les bords, ce qui déclenche une « sonnerie d’échec ».

Lorsque la phase la plus difficile est arrivée, le volontaire a été mis au défi d’extraire les 12 objets sans erreur en une minute. Pour contexte, le record du monde pour cette tâche, établi au Royaume-Uni en 2019, se situe à 12,68 secondes.

Le scénario de la téléconférence

Enfin, dans le test de travail à domicile/téléconférence, les volontaires ont été invités par un expérimentateur via un appel MS Teams à se souvenir de leurs souvenirs positifs et négatifs. Pour la phase la plus stressante de ce scénario, le volontaire a été tenu de se souvenir d’un souvenir très négatif ou triste de son passé récent.

Les diverses tâches et scénarios ont été exécutés dans un ordre aléatoire, et compilés dans un ensemble de données personnalisé intitulé Working-Environment-Context-Aware Dataset (WECARE-DB).

Méthode et formation

Les résultats des auto-évaluations des humeurs des utilisateurs ont été utilisés comme vérité de base, et cartographiés sur les dimensions de valence et d’excitation. Les vidéos capturées des expériences ont été passées à travers un réseau de détection de points de repère faciaux, et les images alignées ont été fournies à un réseau ResNet-18 formé sur l’ensemble de données AffectNet.

450 000 images d’AffectNet, toutes tirées et étiquetées à partir d’Internet à l’aide de requêtes liées aux émotions, ont été annotées manuellement, indique l’article.

Ensuite, les chercheurs ont affiné le réseau uniquement sur leur propre ensemble de données WECARE, tandis que la représentation spectrale d’encodage a été utilisée pour résumer les prédictions basées sur les cadres.

Résultats

Les performances du modèle ont été évaluées sur trois métriques couramment associées à la prédiction automatique des affects: Coefficient de corrélation de Concordance; Coefficient de corrélation de Pearson; et Erreur quadratique moyenne (RMSE).

Les auteurs notent que le modèle affiné sur leur propre ensemble de données WECARE a surpassé ResNet-18, et en déduisent que la façon dont nous régulons nos expressions faciales est très différente dans un environnement de travail que dans les contextes plus abstraits à partir desquels les études précédentes ont dérivé du matériel source d’Internet.

Ils déclarent:

‘En regardant le tableau, nous observons que le modèle affiné sur WECARE-DB a surpassé le modèle ResNet-18 pré-entraîné sur [AffectNet], indiquant que les comportements faciaux affichés dans les environnements de travail sont différents par rapport aux paramètres Internet sauvages utilisés dans la base de données AffectNet. Ainsi, il est nécessaire d’acquérir des ensembles de données et de former des modèles pour reconnaître les affects faciaux dans les environnements de travail.’

En ce qui concerne l’avenir de la reconnaissance des affects sur le lieu de travail, rendue possible par des réseaux de caméras dirigés vers les employés et faisant constamment des prédictions sur leurs états émotionnels, les auteurs concluent*:

‘L’objectif ultime est de mettre en œuvre et d’utiliser les modèles formés en temps réel et dans des environnements de travail réels pour fournir des entrées aux systèmes de prise en charge de décision pour promouvoir la santé et le bien-être des personnes pendant leur âge de travail dans le contexte du projet européen sur l’âge de travail.’

* Mon accent.

† Ici, les auteurs font trois citations:

Reconnaissance automatique, dimensionnelle et continue des émotions – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Exploration du domaine de la vie assistée ambiante: une revue systématique – https://link.springer.com/article/10.1007/s12652-016-0374-3
Une revue des technologies de l’Internet des objets pour les environnements de vie assistée ambiante – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Ici, les auteurs font deux citations:

Détection en temps réel de la somnolence du conducteur pour les systèmes intégrés en utilisant la compression de modèles de réseaux de neurones profonds – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Système de détection de la somnolence du conducteur en temps réel en utilisant les caractéristiques faciales – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532