Erkennung von Mitarbeiterstress durch Gesichtsanalyse am Arbeitsplatz

Im Kontext der veränderten Kultur um Zoom-Meeting-Etikette und dem Auftreten von Zoom-Erschöpfung haben Forscher von der Universität Cambridge eine Studie veröffentlicht, die mithilfe von Machine-Learning-Techniken unsere Stresslevel über AI-gestützte Webcam-Aufnahmen unserer Gesichtsausdrücke am Arbeitsplatz bestimmt.

Links, die Datenerfassungsumgebung, mit mehreren Überwachungsgeräten, die entweder auf einen Freiwilligen gerichtet sind oder an ihm befestigt sind; rechts, Beispiele für Gesichtsausdrücke, die von Testpersonen bei unterschiedlichen Schwierigkeitsgraden der Aufgaben generiert wurden. Quelle: https://arxiv.org/pdf/2111.11862.pdf

Die Forschung ist für die Affektanalyse (d. h. Emotionserkennung) in “Ambient Assistive Living”-Systemen bestimmt und soll offensichtlich dazu dienen, video-basierte AI-Gesichtsausdrucks-Überwachungsframeworks in solchen Systemen zu ermöglichen; obwohl die Veröffentlichung diesen Aspekt nicht erweitert, ergibt sich die Forschungsanstrengung in keinem anderen Kontext.

Der spezifische Bereich des Projekts ist es, Gesichtsausdrucksmuster in Arbeitsumgebungen – einschließlich Remote-Arbeitsarrangements – zu erlernen, anstatt “Freizeit”- oder “passive” Situationen, wie Reisen.

Gesichtsbasierte Emotionserkennung am Arbeitsplatz

Während “Ambient Assistive Living” wie ein Schema für die Altenpflege klingen mag, ist dem nicht so. Wenn man von den beabsichtigten “Endnutzern” spricht, stellen die Autoren fest*:

‘Systeme, die für ambient assistive living-Umgebungen erstellt werden [†], zielen darauf ab, automatische Affektanalyse und Reaktionen durchzuführen. Ambient assistive living basiert auf der Nutzung von Informationstechnologie (ICT), um den Alltag und die Arbeitsumgebung einer Person zu unterstützen, um sie gesünder und aktiver zu halten und es ihnen zu ermöglichen, unabhängig zu leben, während sie älter werden. Daher zielt ambient assistive living darauf ab, Gesundheitspersonal, Krankenpfleger, Ärzte, Fabrikarbeiter, Fahrer, Piloten, Lehrer sowie verschiedene Branchen durch Sensing, Bewertung und Intervention zu unterstützen.

‘Das System soll den physischen, emotionalen und mentalen Stress bestimmen und reagieren und anpassen, wenn erforderlich, beispielsweise kann ein Fahrzeug mit einem Müdigkeitserkennungssystem den Fahrer auffordern, aufmerksam zu bleiben und ihm vorschlagen, eine kurze Pause einzulegen, um Unfälle zu vermeiden [††].’

Die Veröffentlichung trägt den Titel Inferring User Facial Affect in Work-like Settings und stammt von drei Forschern des Affective Intelligence & Robotics Lab in Cambridge.

Testbedingungen

Da frühere Arbeiten in diesem Bereich größtenteils auf ad-hoc-Sammlungen von Bildern basieren, die aus dem Internet gesammelt wurden, führten die Cambridge-Forscher lokale Datenerfassungsexperimente mit 12 Freiwilligen durch, 5 Männer und 7 Frauen. Die Freiwilligen kamen aus neun Ländern und waren zwischen 22 und 41 Jahren alt.

Das Projekt zielt darauf ab, drei möglicherweise stressige Arbeitsumgebungen nachzubilden: ein Büro; eine Produktionslinie in einer Fabrik; und eine Videokonferenz – wie z. B. eine Zoom-Gruppen-Chat, die seit dem Beginn der Pandemie zu einem häufigen Merkmal von Homeoffice-Arbeit geworden ist.

Die Testpersonen wurden auf verschiedene Weise überwacht, darunter drei Kameras, ein Jabra-Halsmikrofon, ein Empatica-Armband (ein drahtloses Multisensor-Wearable, das Echtzeit-Biofeedback bietet) und ein Muse-2-Kopfhörer-Sensor (der ebenfalls Biofeedback bietet). Darüber hinaus wurden die Freiwilligen gebeten, Umfragen auszufüllen und ihre Stimmung regelmäßig selbst zu bewerten.

Allerdings bedeutet dies nicht, dass zukünftige Ambient-Assistive-Living-Systeme Sie in diesem Umfang “anschließen” werden (wenn auch nur aus Kostengründen); alle nicht-kamera-basierten Überwachungsgeräte und -methoden, die bei der Datenerfassung verwendet wurden, einschließlich der schriftlichen Selbstbewertungen, sollen die gesichtsbasierten Emotionserkennungssysteme bestätigen, die durch Kameraaufnahmen ermöglicht werden.

Erhöhung des Drucks: Das Büroszenario

In den ersten beiden der drei Szenarien (“Büro” und “Fabrik”) begannen die Freiwilligen mit einem leichten Tempo, wobei der Druck über vier Phasen allmählich erhöht wurde, mit unterschiedlichen Aufgaben für jede Phase.

Bei dem höchsten Level des induzierten Stresses mussten die Freiwilligen auch den “Weiße-Kittel-Effekt” von jemandem, der über ihre Schulter schaut, sowie 85 dB zusätzlichen Lärms aushalten, was gerade fünf Dezibel unter der gesetzlichen Grenze für ein Büroumfeld in den USA liegt und der exakte Höchstwert ist, der vom National Institute for Occupational Safety and Health (NIOSH) festgelegt wird.

In der büroähnlichen Datenerfassungsphase wurden die Testpersonen aufgefordert, vorherige Buchstaben zu erinnern, die auf ihrem Bildschirm aufgeblitzt waren, mit zunehmendem Schwierigkeitsgrad (wie z. B. das Erinnern von zweibuchstabigen Sequenzen, die zwei Bildschirme zuvor aufgetaucht waren).

Das Fabrikszenario

Um eine manuelle Arbeitsumgebung zu simulieren, wurden die Testpersonen aufgefordert, das Spiel Operation zu spielen, das die Benutzerhandhabung herausfordert, indem es den Spieler auffordert, kleine Objekte aus einer Platte durch enge, metallgeränderte Öffnungen zu entfernen, ohne die Seiten zu berühren, was einen “Fehler”-Summer auslöst.

Als die schwierigste Phase kam, wurde der Freiwillige herausgefordert, alle 12 Objekte ohne Fehler innerhalb von einer Minute zu entfernen. Zum Vergleich: Der Weltrekord für diese Aufgabe, aufgestellt im Vereinigten Königreich im Jahr 2019, liegt bei 12,68 Sekunden.

Das Videokonferenzszenario

Schließlich wurden die Freiwilligen in der Heimarbeit/Videokonferenz-Testphase von einem Experimentator über einen MS-Teams-Anruf aufgefordert, ihre eigenen positiven und negativen Erinnerungen in Erinnerung zu rufen. Für die stressigste Phase dieses Szenarios musste der Freiwillige eine sehr negative oder traurige Erinnerung aus seiner jüngsten Vergangenheit in Erinnerung rufen.

Die verschiedenen Aufgaben und Szenarien wurden in zufälliger Reihenfolge durchgeführt und in einer benutzerdefinierten Datenbank mit dem Titel Working-Environment-Context-Aware Dataset (WECARE-DB) zusammengefasst.

Methode und Training

Die Ergebnisse der Selbstbewertungen der Testpersonen hinsichtlich ihrer Stimmung wurden als Grundwahrheit verwendet und auf Valenz- und Erregungsdimensionen abgebildet. Die aufgenommenen Videos der Experimente wurden durch ein Gesichtsmerkmal-Erkennungs-Netzwerk geführt, und die ausgerichteten Bilder wurden einem ResNet-18-Netzwerk zugeführt, das auf dem AffectNet-Datensatz trainiert wurde.

450.000 Bilder aus AffectNet, alle aus dem Internet gezogen und mit Emotions-bezogenen Abfragen beschriftet, wurden von Hand annotiert, so die Veröffentlichung.

Als Nächstes verfeinerten die Forscher das Netzwerk ausschließlich auf der Grundlage ihres eigenen WECARE-Datensatzes, während spektrale Repräsentationscodierung verwendet wurde, um framebasierte Vorhersagen zusammenzufassen.

Ergebnisse

Die Leistung des Modells wurde anhand von drei Metriken bewertet, die häufig mit automatisierter Affekterkennung in Verbindung gebracht werden: Konkordanzkoeffizienten-Korrelation; Pearsonscher Korrelationskoeffizient; und Root-Mean-Square-Error (RMSE).

Die Autoren stellen fest, dass das auf ihren eigenen WECARE-Datensatz fein abgestimmte Modell das ResNet-18-Modell übertraf, das auf AffectNet vorgebildet wurde, und daraus schließen, dass die Art und Weise, wie wir unsere Gesichtsausdrücke steuern, in einer Arbeitsumgebung sehr unterschiedlich ist als in den abstrakteren Kontexten, aus denen frühere Studien Material aus dem Internet abgeleitet haben.

Sie stellen fest:

‘Wenn man sich die Tabelle ansieht, stellen wir fest, dass das auf WECARE-DB fein abgestimmte Modell das ResNet-18-Modell übertraf, das auf [AffectNet] vorgebildet wurde, was darauf hindeutet, dass die in Arbeitsumgebungen gezeigten Gesichtsverhaltensweisen unterschiedlich sind im Vergleich zu den im Internet verwendeten Kontexten. Es ist daher notwendig, Datensätze zu sammeln und Modelle für die Erkennung von Gesichtsausdrücken in Arbeitsumgebungen zu trainieren.’

Was die Zukunft der Emotionserkennung am Arbeitsplatz betrifft, die durch Netze von Kameras, die auf Mitarbeiter gerichtet sind und ständig Vorhersagen über ihren emotionalen Zustand treffen, schließen die Autoren*:

‘Das ultimative Ziel ist es, die trainierten Modelle in Echtzeit und in realen Arbeitsumgebungen zu implementieren und zu verwenden, um Entscheidungsunterstützungssysteme zu unterstützen, die die Gesundheit und das Wohlbefinden von Menschen während ihres Arbeitslebens im Rahmen des EU-Arbeitsalter-Projekts fördern.’

* Meine Betonung.

† Hier zitieren die Autoren drei Quellen:

Automatische, dimensionale und kontinuierliche Emotionserkennung – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Erkundung des Ambient-Assisted-Living-Bereichs: eine systematische Übersicht – https://link.springer.com/article/10.1007/s12652-016-0374-3
Überprüfung von Internet-of-Things-Technologien für Ambient-Assisted-Living-Umgebungen – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Hier zitieren die Autoren zwei Quellen:

Echtzeit-Fahrermüdigkeitserkennung für eingebettete Systeme unter Verwendung von Modellkomprimierung von Deep-Neural-Netzwerken – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Echtzeit-Fahrermüdigkeitserkennungssystem unter Verwendung von Gesichtsmerkmalen – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532