직장 안면 분석을 통한 직원 스트레스 인식

맥락에서 변화하는 문화 Zoom 회의 에티켓과 줌 피로, 케임브리지 연구원들은 기계 학습을 사용하여 직장에서 얼굴 표정을 AI 지원 웹캠으로 감지하여 스트레스 수준을 결정하는 연구를 발표했습니다.

왼쪽에는 지원자에게 교육을 받았거나 부착된 여러 모니터링 장비가 있는 데이터 수집 환경이 있습니다. 오른쪽은 다양한 수준의 작업 난이도에서 테스트 대상이 생성한 얼굴 표정의 예입니다. 출처 : https://arxiv.org/pdf/2111.11862.pdf

이 연구는 영향 분석(즉, 감정 인식) 'Ambient Assistive Living' 시스템에서, 아마도 그러한 시스템에서 비디오 기반 AI 얼굴 표정 모니터링 프레임워크를 가능하게 하도록 설계되었을 것입니다. 이 측면에서 논문이 확장되지는 않았지만 연구 노력은 다른 맥락에서 의미가 없습니다.

프로젝트의 구체적인 목표는 얼굴 표정 패턴을 학습하는 것입니다. 작업 환경에서 – 원격 작업 준비 포함 – '여가' 또는 여행과 같은 '수동적' 상황이 아닌.

직장에서의 얼굴 기반 감정 인식

'Ambient Assistive Living'은 노인 돌봄을 위한 계획처럼 들릴 수 있지만 사실과는 거리가 멀다. 의도된 '최종 사용자'에 대해 저자는 다음과 같이 말합니다.

'주변 보조 생활 환경을 위해 만들어진 시스템 [†] 자동 감정 분석과 대응을 모두 수행할 수 있도록 하는 것을 목표로 합니다. 주변 보조 생활은 정보 통신 기술(ICT)을 사용하여 개인의 일상 생활 및 작업 환경을 지원하여 더 오래 건강하고 활동적으로 유지하고 나이가 들어감에 따라 독립적으로 생활할 수 있도록 합니다. 따라서, 주변 보조 생활은 감지, 평가 및 개입을 통해 의료 종사자, 간호사, 의사, 공장 근로자, 운전사, 조종사, 교사 및 다양한 산업을 촉진하는 것을 목표로 합니다..

예를 들어 졸음 감지 시스템이 장착된 자동차는 운전자에게 주의를 기울이도록 알리고 약간의 휴식을 제안할 수 있습니다. 사고를 피하기 위해 [††].'

The 종이 제목이 작업과 같은 설정에서 사용자 얼굴 영향 추론, Cambridge의 Affective Intelligence & Robotics Lab의 세 명의 연구원이 제공합니다.

시험 조건

이후 선행 연구 이 분야에서 인터넷에서 스크랩한 임시 이미지 모음에 크게 의존해 왔기 때문에 캠브리지 연구원은 12명의 캠퍼스 지원자(남성 5명과 여성 7명)를 대상으로 지역 데이터 수집 실험을 수행했습니다. 자원봉사자들은 22개국에서 왔으며 41-XNUMX세였습니다.

이 프로젝트는 잠재적으로 스트레스가 많은 세 가지 작업 환경을 재현하는 것을 목표로 했습니다. 공장 생산 라인; 원격 회의 통화 – 일종의 Zoom 그룹 채팅과 같은 빈번한 기능 대유행의 출현 이후 재택근무.

카메라 XNUMX대, 목에 착용하는 Jabra 마이크, 엠파티카 팔찌 (실시간 바이오피드백을 제공하는 무선 멀티 센서 웨어러블) 및 Muse 2 헤드밴드 센서(바이오피드백도 제공). 또한 자원 봉사자들은 설문 조사를 완료하고 주기적으로 기분을 자체 평가하도록 요청 받았습니다.

그러나 이것이 미래의 Ambient Assistive Living 장비가 그 정도까지 '플러그인'할 것이라는 의미는 아닙니다(비용상의 이유만 있는 경우). 서면 자체 평가를 포함하여 데이터 수집에 사용되는 모든 비카메라 모니터링 장비 및 방법은 카메라 영상으로 활성화되는 얼굴 기반 정서 인식 시스템을 확인하기 위한 것입니다.

압력 증가: 사무실 시나리오

XNUMX가지 시나리오 중 처음 XNUMX가지('사무실' 및 '공장')에서 자원봉사자들은 쉬운 속도로 시작했으며 각각 다른 유형의 작업으로 XNUMX단계에 걸쳐 압력이 점차 증가했습니다.

가장 높은 수준의 스트레스 유발에서 지원자들은 어깨 너머로 보이는 누군가의 '백의 효과'와 85db의 추가 소음도 견뎌야 했습니다. XNUMX데시벨 이하 미국의 사무실 환경에 대한 법적 제한 및 NIOSH(National Institute for Occupational Safety and Health)에서 지정한 정확한 최대 제한.

사무실과 같은 데이터 수집 단계에서 피험자들은 화면에 번쩍이는 이전 문자를 기억하는 작업을 난이도가 높아졌습니다(예: 두 화면 전에 발생한 두 문자 시퀀스를 기억해야 함).

공장 시나리오

육체 노동 환경을 시뮬레이션하기 위해 피험자들에게 게임을 하도록 요청했습니다. 조작, 플레이어가 측면을 건드리지 않고 좁은 금속 테두리 구멍을 통해 보드에서 작은 물체를 꺼내도록 요구하여 사용자 손재주에 도전합니다. 이 이벤트는 '실패' 버저를 트리거합니다.

가장 어려운 단계가 왔을 때 지원자는 12분 안에 오류 없이 2019개 항목을 모두 추출해야 했습니다. 참고로 XNUMX년 영국에서 세운 이 작업의 세계 기록은 12.68초.

원격 회의 시나리오

마지막으로, 숙제/원격회의 테스트에서 MS Teams 통화를 통해 실험자가 지원자들에게 자신의 긍정적인 기억과 부정적인 기억을 회상하도록 요청했습니다. 이 시나리오의 가장 스트레스가 많은 단계에서 자원 봉사자는 최근 과거의 매우 부정적이거나 슬픈 기억을 회상해야 했습니다.

다양한 작업과 시나리오가 임의의 순서로 실행되었으며 WECARE-DB(Working-Environment-Context-Aware Dataset)라는 사용자 지정 데이터 세트로 컴파일되었습니다.

방법 및 교육

기분에 대한 사용자의 자체 평가 결과는 기준 진실로 사용되었고 원자가 및 각성 차원에 매핑되었습니다. 실험의 캡처된 비디오는 얼굴 랜드마크 감지를 통해 실행되었습니다. 네트워크, 정렬된 이미지는 ResNet-18 네트워크 에 훈련 AffectNet 데이터 세트.

감정 관련 쿼리를 사용하여 인터넷에서 모두 그려지고 레이블이 지정된 AffectNet의 450,000개 이미지에 원자가 및 각성 차원으로 수동으로 주석이 달렸다고 논문은 말합니다.

다음으로 연구원들은 자체 WECARE 데이터 세트만을 기반으로 네트워크를 개선했습니다. 스펙트럼 표현 인코딩 프레임 기반 예측을 요약하는 데 사용되었습니다.

결과

모델의 성능은 자동화된 영향 예측과 일반적으로 관련된 세 가지 메트릭으로 평가되었습니다. 일치 계수 상관 관계; 피어슨 계수 상관 관계; 평균 제곱근 오차(RMSE).

저자는 자체 WECARE 데이터 세트에서 미세 조정된 모델이 ResNet-18보다 성능이 뛰어나다는 점에 주목하고, 이로부터 우리가 얼굴 표정을 제어하는 ​​방식이 이전 연구에서 파생된 보다 추상적인 맥락에서보다 작업 환경에서 매우 다르다는 것을 추론합니다. 인터넷에서 가져온 자료.

그들은 말한다 :

'표를 보면 WECARE-DB에서 미세 조정된 모델이 [AffectNet]에서 사전 훈련된 ResNet-18 모델보다 성능이 우수하다는 것을 관찰할 수 있습니다. - AffectNet DB에서 활용되는 거친 인터넷 설정. 따라서 작업과 같은 환경에서 안면 감정을 인식하기 위한 데이터 세트 및 훈련 모델을 획득하는 것이 필요합니다.'

직원들에게 훈련된 카메라 네트워크를 통해 가능하고 그들의 감정 상태를 지속적으로 예측하는 작업 중 감정 인식의 미래에 대해 저자는 결론*을 내립니다.

'궁극적인 목표는 훈련된 모델을 실시간 및 실제 작업 환경에서 구현하고 사용하여 의사 결정 지원 시스템에 입력을 제공하여 근로 연령 동안 사람들의 건강과 웰빙을 증진하는 것입니다. EU 근로 연령 프로젝트.'

* 나의 강조.

† 여기서 저자는 세 가지를 인용합니다.

자동, 차원 및 연속 감정 인식 – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
주변 보조 생활 영역 탐색: 체계적 검토 – https://link.springer.com/article/10.1007/s12652-016-0374-3
주변 보조 생활 환경을 위한 사물 인터넷 기술 검토 – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† 여기서 저자는 두 가지 인용을 합니다.

심층신경망 모델 압축을 이용한 임베디드 시스템의 실시간 운전자 졸음 감지 – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
얼굴 특징을 이용한 실시간 운전자 졸음 감지 시스템 – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532