Розпізнавання стресу співробітника за допомогою аналізу обличчя на роботі

У контексті зміна культури навколо етикету Zoom-зустрічі та поява Збільшення втоми, дослідники з Кембриджа опублікували дослідження, яке використовує машинне навчання для визначення рівня нашого стресу за допомогою веб-камери з підтримкою штучного інтелекту, яка відображає нашу міміку на роботі.

Ліворуч — середовище збору даних із кількома обладнанням для моніторингу, навченим або підключеним до волонтера; праворуч приклади виразів обличчя, створені піддослідними на різних рівнях складності завдання. Джерело: https://arxiv.org/pdf/2111.11862.pdf

Дослідження призначене для аналізу впливу (тобто розпізнавання емоцій) у системах «Ambient Assistive Living» і, імовірно, призначений для того, щоб увімкнути системи моніторингу виразу обличчя на основі відео на основі штучного інтелекту в таких системах; Хоча стаття не розширює цей аспект, дослідження не мають сенсу в будь-якому іншому контексті.

Специфічна мета проекту – вивчення міміки у робочому середовищі – включаючи віддалену роботу – а не «відпочинок» або «пасивні» ситуації, такі як подорожі.

Розпізнавання емоцій за обличчям на робочому місці

Хоча «допоміжне життя в оточенні» може звучати як схема догляду за літніми людьми, це далеко не так. Говорячи про «кінцевих користувачів», автори заявляють*:

«Системи, створені для сприятливого середовища проживання [†] прагнути мати можливість виконувати як автоматичний аналіз впливу, так і відповідати. Допоміжне життя в навколишньому середовищі спирається на використання інформаційно-комунікаційних технологій (ІКТ), щоб допомогти людям у щоденному житті та робочому середовищі, щоб зберегти їх здоровішими та активними довше, а також дозволити їм жити незалежно з віком. Таким чином, навколишнє допоміжне життя спрямоване на полегшення медичних працівників, медсестер, лікарів, фабричних робітників, водіїв, пілотів, вчителів, а також різних галузей промисловості за допомогою зондування, оцінки та втручання.

«Система призначена для визначення фізичного, емоційного та розумового напруження, реагування та адаптації за потреби. Наприклад, автомобіль, обладнаний системою виявлення сонливості, може повідомити водія бути уважним і може запропонувати йому зробити невелику перерву. щоб уникнути нещасних випадків [††].'

Команда папір має титул Визначення ефекту обличчя користувача в робочих налаштуваннях, і походить від трьох дослідників з Лабораторії емоційного інтелекту та робототехніки в Кембриджі.

Умови випробувань

З попередня робота У цій галузі значною мірою залежала від спеціальних колекцій зображень, зібраних з Інтернету, дослідники Кембриджу провели локальні експерименти зі збору даних із 12 добровольцями студентського містечка, 5 чоловіками та 7 жінками. Волонтери приїхали з дев'яти країн, віком від 22 до 41 року.

Проект мав на меті відтворити три потенційно стресові робочі середовища: офіс; заводська виробнича лінія; і телеконференція – наприклад, груповий чат Zoom, який став a часта особливість домашньої роботи з початку пандемії.

За суб’єктами спостерігали за допомогою різних засобів, включаючи три камери, нашийний мікрофон Jabra, Браслет Empatica (бездротовий мультисенсорний носій, що забезпечує біологічний зворотний зв’язок у режимі реального часу) і датчик наголів’я Muse 2 (який також забезпечує біологічний зворотний зв’язок). Крім того, волонтерів просили періодично проходити опитування та самооцінювати свій настрій.

Однак це не означає, що майбутні установки Ambient Assistive Living «підключять» вас до такої міри (хоча б лише з міркувань вартості); усе обладнання для моніторингу, яке не є камерою, і методи, що використовуються для збору даних, у тому числі письмові самооцінки, призначені для перевірки систем розпізнавання афектів за обличчям, які ввімкнені за допомогою запису камери.

Посилення тиску: офісний сценарій

У перших двох із трьох сценаріїв («Офіс» і «Фабрика») волонтери починали з легкого темпу, при цьому тиск поступово зростав протягом чотирьох етапів, з різними типами завдань для кожного.

Під час найвищого рівня викликаного стресу волонтерам також довелося витримати «ефект білого халата», коли хтось дивиться через плече, а також 85 дБ додаткового шуму, що просто на п'ять децибел нижче законодавчий ліміт для офісного середовища в США та точний максимальний ліміт, визначений Національним інститутом безпеки та гігієни праці (NIOSH).

На етапі збору даних, схожому на офісний, суб’єктам доручалося пригадати попередні літери, які блимали на екрані, із зростаючим рівнем складності (наприклад, запам’ятовувати послідовності з двох літер, які виникли два екрана тому).

Фабричний сценарій

Щоб імітувати середовище фізичної праці, суб’єктам було запропоновано зіграти в гру операція, який кидає виклик спритності користувача, вимагаючи від гравця витягувати дрібні предмети з дошки через вузькі отвори з металевою окантовкою, не торкаючись сторін, що викликає зумер «відмова».

Коли настав найскладніший етап, перед добровольцем постало завдання безпомилково витягти всі 12 предметів протягом однієї хвилини. Для контексту, світовий рекорд для цього завдання, встановлений у Великобританії в 2019 році, становить 12.68 секунди.

Сценарій телеконференції

Нарешті, у тесті домашньої роботи/телеконференції експериментатор попросив добровольців під час виклику MS Teams пригадати власні позитивні та негативні спогади. Для найбільш стресової фази цього сценарію добровольці повинні були пригадати дуже негативні або сумні спогади зі свого недавнього минулого.

Різні завдання та сценарії виконувалися у довільному порядку та скомпільовані в спеціальний набір даних під назвою Working-Environment-Context-Aware Dataset (WECARE-DB).

Метод і навчання

Результати самооцінки свого настрою користувачами були використані як основна правда та зіставлені з параметрами валентності та збудження. Відзняте відео експериментів було перевірено за допомогою визначення орієнтирів обличчя мережу, а вирівняні зображення подаються в a Мережа ResNet-18 тренувався на AffectNet набір даних.

450,000 XNUMX зображень з AffectNet, усі намальовані/помічені з Інтернету за допомогою запитів, пов’язаних з емоціями, були вручну анотовані, як йдеться у статті, параметрами валентності та збудження.

Далі дослідники вдосконалили мережу виключно на основі власного набору даних WECARE кодування спектрального представлення використовувався для узагальнення кадрових передбачень.

результати

Ефективність моделі оцінювалася за трьома показниками, зазвичай пов’язаними з автоматизованим прогнозуванням впливу: Коефіцієнт узгодження, кореляція; Кореляція коефіцієнта Пірсона; і середньоквадратична помилка (RMSE).

Автори зазначають, що модель, налаштована на їхньому власному наборі даних WECARE, перевершила ResNet-18, і звідси зробили висновок, що те, як ми керуємо виразом обличчя, дуже відрізняється в робочому середовищі, ніж у більш абстрактних контекстах, з яких випливають попередні дослідження. вихідний матеріал з Інтернету.

Вони заявляють:

«Дивлячись на таблицю, ми бачимо, що модель, налаштована на WECARE-DB, перевершила модель ResNet-18, попередньо навчену на [AffectNet], вказуючи на те, що поведінка обличчя, яка відображається в робочому середовищі, відрізняється від внутрішньої -дикі налаштування Інтернету, що використовуються в базі даних AffectNet. Таким чином, необхідно отримати набори даних і навчити моделі для розпізнавання афекту обличчя в робочих умовах».

Що стосується майбутнього розпізнавання афектів під час роботи, за допомогою мереж камер, налаштованих на співробітників, і постійного прогнозування їхнього емоційного стану, автори роблять висновок*:

«Кінцева мета полягає в тому, щоб запровадити та використовувати навчені моделі в режимі реального часу та в реальних умовах роботи, щоб надати вхідні дані для систем підтримки прийняття рішень для сприяння здоров’ю та благополуччю людей у ​​їхньому працездатному віці в контексті Проект ЄС працездатного віку.'

* Наголос мій.

† Тут автори роблять три цитати:

Автоматичне, розмірне та безперервне розпізнавання емоцій – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Вивчення сфери проживання з допоміжним середовищем: систематичний огляд – https://link.springer.com/article/10.1007/s12652-016-0374-3
Огляд технологій Інтернету речей для сприятливих середовищ життя – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Тут автори роблять дві цитати:

Виявлення сонливості драйвера в режимі реального часу для вбудованої системи за допомогою стиснення моделі глибоких нейронних мереж – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Система виявлення сонливості водія в режимі реального часу за допомогою рис обличчя – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532