Розпізнавання стресу працівників через аналіз обличчя на роботі

У контексті зміни культури навколо етикету проведення зустрічей у Zoom та появи втоми від Zoom, дослідники з Кембриджу опублікували дослідження, яке використовує машинне навчання для визначення рівня стресу працівника через аналіз його обличчя за допомогою веб-камери.

Зліва – середовище збору даних, з декількома моніторами, прикріпленими до добровольця; справа – приклади виразів обличчя, згенерованих учасниками на різних рівнях складності завдання. Джерело: https://arxiv.org/pdf/2111.11862.pdf

Дослідження призначене для аналізу емоцій (тобто розпізнавання емоцій) в системах “Ambient Assistive Living” і, як передбачається, призначене для реалізації відеоаналізу виразів обличчя в цих системах; хоча робота не розшифровує цей аспект, дослідницька робота не має сенсу в будь-якому іншому контексті.

Конкретна мета проекту – вивчити закономірності виразів обличчя у робочому середовищі – включаючи віддалену роботу – а не “дозвілля” або “пасивні” ситуації, такі як подорож.

Розпізнавання емоцій на основі обличчя на роботі

Хоча “Ambient Assistive Living” може звучати як схема для догляду за літніми людьми, це далеко не так. Говорячи про кінцевих користувачів, автори заявляють*:

‘Системи, створені для середовищ Ambient Assistive Living [†] мають можливість проводити автоматичний аналіз емоцій і реагування. Ambient Assistive Living використовує інформацію та комунікаційні технології (ІКТ) для допомоги людині в повсякденному житті та роботі, щоб тримати їх здоровими та активними довше, і дозволити їм жити самостійно, коли вони старіють. Таким чином, Ambient Assistive Living спрямована на допомогу медичним працівникам, медсестрам, лікарям, працівникам заводів, водіям, пілотам, учителям, а також різним галузям за допомогою сенсорів, оцінки та втручання.

‘Система призначена для визначення фізичного, емоційного та психічного напруження і реагування та адаптації, коли це необхідно, наприклад, автомобіль, оснащений системою виявлення сонливості, може повідомити водієві бути уважним і порадити йому зробити коротку перерву, щоб уникнути аварій [††].’

Робота названа Виведення виразів обличчя користувача в робочому середовищі, і походила від трьох дослідників з лабораторії Афективного інтелекту та робототехніки в Кембриджі.

Умови тестування

Оскільки попередні дослідження в цій галузі залежали в основному від випадкових зборів зображень з Інтернету, дослідники з Кембриджу провели місцеві експерименти з 12 добровольцями, 5 чоловіків і 7 жінок. Добровольці походили з дев’яти країн і мали вік від 22 до 41 року.

Проект мав на меті відтворити три потенційно стресові робочі середовища: офіс; виробничу лінію заводу; і телеконференцію – такий як той, що став частим елементом домашньої роботи з часів пандемії.

Учасників моніторили різними засобами, включаючи три камери, мікрофон Jabra, носимий пристрій Empatica (бездротовий багатосенсорний пристрій, який надає реальний біологічний зворотній зв’язок), і сенсор Muse 2 (який також надає біологічний зворотній зв’язок). Крім того, добровольцям пропонувалося заповнити опитування і самооцінити свій настрій періодично.

Однак, це не означає, що майбутні системи Ambient Assistive Living будуть “підключені” до цього ступеня (хоча б через причини вартості); всі засоби моніторингу, крім камер, і методи, використані при зборі даних, включаючи письмові самооцінки, призначені для підтвердження систем розпізнавання емоцій на основі обличчя, які забезпечуються відеозаписами.

Повышення тиску: Сценарій офісу

У першій із трьох сценаріїв (“Офіс”) добровольців почали з легкого темпу, з поступовим збільшенням тиску протягом чотирьох фаз, з різними завданнями для кожної.

На найбільшому рівні індукованого стресу добровольцям також довелося терпіти “ефект білого халата” когось, хто дивиться через їхнє плече, плюс 85 дБ додаткового шуму, що становить лише п’ять децибел нижче юридичного ліміту для офісного середовища в США, і точний максимальний ліміт, визначений Національним інститутом охорони праці та здоров’я (NIOSH).

У офісному середовищі добровольців просили nhớти попередні букви, які мигали на їхньому екрані, з підвищенням рівня складності (наприклад, потрібно було nhớти послідовності з двох букв, які відбувалися два екрани раніше).

Сценарій заводу

Для імітації середовища ручної праці учасників просили грати в гру Operation, яка викликає у користувача довільність, вимагаючи від нього витягнути маленькі предмети з дошки через вузькі металеві отвори без дотику до країв, що спричиняє спрацьовування “сигналу невдачі”.

До найбільш складного етапу добровольцю довелося витягнути всі 12 предметів без помилки протягом однієї хвилини. Для порівняння, світовий рекорд з цього завдання, встановлений у Великій Британії у 2019 році, склав 12,68 секунд.

Сценарій телеконференції

Нарешті, у тесті домашньої роботи/телеконференції добровольців просили експериментатором через зв’язок MS Teams nhớти свої позитивні та негативні спогади. На найбільшому рівні стресу цього сценарію добровольцю довелося nhớти дуже негативний або сумний спогад з недавнього минулого.

Різні завдання та сценарії виконувалися в випадковому порядку і були скомпоновані в спеціальну базу даних під назвою Working-Environment-Context-Aware Dataset (WECARE-DB).

Метод і навчання

Результати самооцінки настрою добровольців використовувалися як основа для оцінки, і були зіставлені з валентністю та збудженням. Відеозапис експериментів проходили через мережу виявлення орієнтації обличчя мережі, і отримані зображення подавалися до мережі ResNet-18, навченої на базі даних AffectNet.

450 000 зображень з AffectNet, всі отримані з Інтернету за допомогою запитів, пов’язаних з емоціями, були вручну анотовані, як зазначено в роботі, з валентністю та збудженням.

Далі дослідники уточнили мережу лише на основі своєї власної бази даних WECARE, тоді як спектральне представлення кодування використовувалося для підсумовування прогнозів кадрів.

Результати

Вихід моделі оцінювався за трьома метриками, звичайно пов’язаними з автоматичним прогнозуванням емоцій: коефіцієнт кореляції Конкорданс; коефіцієнт кореляції Пірсона; і середня квадратична похибка (RMSE).

Автори зазначають, що модель, уточнена на їхній власній базі даних WECARE, показала кращі результати, ніж мережа ResNet-18, попередньо навчена на базі даних AffectNet, і роблять висновок, що те, як ми контролюємо свої вирази обличчя, дуже відрізняється у робочому середовищі, ніж у більш абстрактних контекстах, з яких походять попередні дослідження.

Вони заявляють:

‘Дивлячись на таблицю, ми спостерігаємо, що модель, уточнена на WECARE-DB, показала кращі результати, ніж модель ResNet-18, попередньо навчена на базі даних AffectNet, вказуючи на те, що поведінка обличчя у робочому середовищі відрізняється від поведінки у природних умовах Інтернету. Таким чином, необхідно отримувати бази даних і тренувати моделі для розпізнавання емоцій у робочому середовищі.’

Відносно майбутнього розпізнавання емоцій на роботі, яке дозволить мережам камер, спрямованих на працівників, і постійно робитиме прогнози про їхні емоційні стани, автори роблять висновок*:

‘Остаточною метою є реалізація та використання тренованих моделей в реальному часі та в реальних робочих умовах для надання даних системам підтримки прийняття рішень для сприяння здоров’ю та добробуту людей під час їхньої робочої діяльності в контексті проекту робочого віку ЄС.’

* Моє підкреслення.

† Тут автори роблять три цитати:

Автоматичне, вимірне та безперервне розпізнавання емоцій – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Дослідження області Ambient Assisted Living – https://link.springer.com/article/10.1007/s12652-016-0374-3
Огляд технологій Інтернету речей для Ambient Assisted Living – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Тут автори роблять дві цитати:

Розпізнавання сонливості водіїв у реальному часі для вбудованих систем за допомогою стиснення глибоких нейронних мереж – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Система розпізнавання сонливості водіїв у реальному часі за допомогою виразів обличчя – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532