Распознавание стресса сотрудников с помощью анализа лица на работе

В контексте изменение культуры вокруг этикета Zoom-совещаний и появление Увеличить усталостьИсследователи из Кембриджа опубликовали исследование, в котором машинное обучение используется для определения уровня нашего стресса с помощью веб-камеры с поддержкой искусственного интеллекта, которая показывает наше выражение лица на работе.

Слева — среда сбора данных с многочисленным оборудованием для мониторинга, либо обученным, либо закрепленным за добровольцем; справа примеры выражений лица, созданные испытуемыми с разным уровнем сложности задания. Источник: https://arxiv.org/pdf/2111.11862.pdf

Исследование предназначено для анализа аффектов (т.е. распознавание эмоций) в системах «Ambient Assistive Living» и, предположительно, предназначен для включения в такие системы систем мониторинга выражений лица с использованием ИИ на основе видео; хотя статья не распространяется на этот аспект, исследовательская работа не имеет смысла в любом другом контексте.

Конкретная цель проекта - изучить модели выражения лица. в рабочей среде – включая удаленную работу – вместо «отдыха» или «пассивных» ситуаций, таких как путешествия.

Распознавание эмоций по лицу на рабочем месте

Хотя «Ambient Assistive Living» может звучать как схема ухода за пожилыми людьми, это далеко не так. Говоря о предполагаемых «конечных пользователях», авторы заявляют*:

«Системы, созданные для комфортной среды обитания [†] стремитесь иметь возможность выполнять как автоматический анализ аффектов, так и реагирование. Амбиентный вспомогательный образ жизни основан на использовании информационных и коммуникационных технологий (ИКТ), чтобы помочь человеку в повседневной жизни и рабочей среде, чтобы он дольше оставался здоровым и активным, а также позволял ему жить независимо по мере старения. Таким образом, Вспомогательный образ жизни в окружающей среде направлен на облегчение работы медицинских работников, медсестер, врачей, фабричных рабочих, водителей, пилотов, учителей, а также представителей различных отраслей промышленности посредством зондирования, оценки и вмешательства..

«Система предназначена для определения физического, эмоционального и умственного напряжения, а также реагирования и адаптации по мере необходимости, например, автомобиль, оснащенный системой обнаружения сонливости, может сообщить водителю, чтобы он был внимателен, и может предложить ему сделать небольшой перерыв. чтобы избежать несчастных случаев [††].

Ассоциация бумаги называется Определение эффекта лица пользователя в рабочих настройкахи принадлежит трем исследователям из Лаборатории аффективного интеллекта и робототехники в Кембридже.

Условия испытаний

С предварительная работа в этой области в значительной степени зависело от специальных коллекций изображений, извлеченных из Интернета, исследователи из Кембриджа провели локальные эксперименты по сбору данных с 12 добровольцами кампуса, 5 мужчинами и 7 женщинами. Добровольцы приехали из девяти стран в возрасте от 22 до 41 года.

Целью проекта было воссоздание трех потенциально стрессовых рабочих сред: офиса; заводская производственная линия; и телеконференцсвязь — например, групповой чат Zoom, который стал частая особенность домашних заданий с начала пандемии.

За субъектами следили с помощью различных средств, в том числе трех камер, носимого на шее микрофона Jabra, Эмпатический браслет (беспроводное мультисенсорное носимое устройство с биологической обратной связью в реальном времени) и датчик на оголовье Muse 2 (который также обеспечивает биологическую обратную связь). Кроме того, добровольцев попросили заполнить анкеты и периодически оценивать свое настроение.

Однако это не означает, что будущие установки Ambient Assistive Living будут «подключать» вас в такой степени (хотя бы по соображениям стоимости); все оборудование и методы мониторинга, не связанные с камерой, используемые при сборе данных, включая письменные самооценки, предназначены для проверки систем распознавания эмоций на основе лица, которые активируются с помощью видеозаписи с камеры.

Нарастание давления: сценарий «Офис»

В первых двух из трех сценариев («Офис» и «Фабрика») добровольцы начинали работу в легком темпе, при этом давление постепенно возрастало в течение четырех этапов, с разными типами задач для каждого.

При самом высоком уровне индуцированного стресса добровольцы также должны были терпеть «эффект белого халата», когда кто-то оглядывается через плечо, плюс 85 дБ дополнительного шума, что всего лишь на пять децибел ниже законный предел для офисной среды в США и точный максимальный предел, указанный Национальным институтом безопасности и гигиены труда (NIOSH).

На этапе сбора данных в офисе испытуемым давали задание вспомнить предыдущие буквы, которые мелькали на их экране, с возрастающим уровнем сложности (например, необходимость помнить последовательности из двух букв, которые встречались два экрана назад).

Фабрика Сценарий

Чтобы имитировать среду ручного труда, испытуемых попросили сыграть в игру. Эксплуатация, который бросает вызов ловкости пользователя, требуя от игрока извлекать небольшие предметы с доски через узкие отверстия с металлической оправой, не касаясь сторон, что вызывает зуммер «сбоя».

К тому времени, когда наступил самый сложный этап, добровольцу было предложено извлечь все 12 элементов без ошибок в течение одной минуты. Для сравнения, мировой рекорд по этой задаче, установленный в Великобритании в 2019 г. составляет 12.68 секунды.

Сценарий телеконференции

Наконец, в тесте на домашнюю работу/телеконференцию экспериментатор по звонку MS Teams попросил добровольцев вспомнить свои собственные положительные и отрицательные воспоминания. Для наиболее напряженной фазы этого сценария от добровольца требовалось вспомнить очень негативное или печальное воспоминание из своего недавнего прошлого.

Различные задачи и сценарии выполнялись в произвольном порядке и компилировались в пользовательский набор данных под названием «Набор данных с учетом контекста рабочей среды» (WECARE-DB).

Метод и обучение

Результаты самооценки пользователями своего настроения использовались в качестве исходной истины и сопоставлялись с измерениями валентности и возбуждения. Захваченное видео экспериментов было пропущено через обнаружение ориентиров лица. сеть, а выровненные изображения передаются в Сеть ResNet-18 обучен на Аффектнет набор данных.

В документе говорится, что 450,000 XNUMX изображений из AffectNet, нарисованных/помеченных из Интернета с использованием запросов, связанных с эмоциями, были вручную аннотированы с измерениями валентности и возбуждения.

Затем исследователи усовершенствовали сеть, основываясь исключительно на собственном наборе данных WECARE. кодирование спектрального представления был использован для суммирования прогнозов на основе кадров.

Итоги

Производительность модели оценивалась по трем показателям, обычно связанным с автоматическим прогнозированием воздействия: корреляция коэффициента согласованности; Корреляция коэффициента Пирсона; и среднеквадратическая ошибка (RMSE).

Авторы отмечают, что модель, настроенная на их собственном наборе данных WECARE, превзошла ResNet-18, и делают вывод, что то, как мы управляем выражениями лица, сильно отличается в рабочей среде от более абстрактных контекстов, из которых были получены предыдущие исследования. исходный материал из интернета.

Они заявляют:

«Глядя на таблицу, мы видим, что модель, точно настроенная на WECARE-DB, превзошла модель ResNet-18, предварительно обученную на [AffectNet], что указывает на то, что поведение лица, отображаемое в рабочей среде, отличается от поведения в рабочей среде. -дикие настройки Интернета, используемые в базе данных AffectNet. Таким образом, необходимо получить наборы данных и обучить модели распознаванию лица в рабочих условиях».

Что касается будущего распознавания аффектов на работе с помощью сетей камер, обученных сотрудникам и постоянно прогнозирующих их эмоциональные состояния, авторы делают вывод*:

«Конечная цель состоит в том, чтобы внедрить и использовать обученные модели в режиме реального времени и в реальных рабочих условиях, чтобы предоставить данные для систем поддержки принятия решений для улучшения здоровья и благополучия людей в их трудоспособном возрасте в контексте Проект ЕС по трудоспособному возрасту.'

* Мой акцент.

† Здесь авторы делают три цитаты:

Автоматическое, объемное и непрерывное распознавание эмоций – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Изучение области жизни с помощью окружающей среды: систематический обзор – https://link.springer.com/article/10.1007/s12652-016-0374-3
Обзор технологий Интернета вещей для среды обитания с поддержкой окружающей среды – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Здесь авторы делают две цитаты:

Обнаружение сонливости драйвера в режиме реального времени для встроенной системы с использованием сжатия модели глубоких нейронных сетей – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Система обнаружения сонливости водителя в режиме реального времени с использованием функций лица – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532