Andersonμ κ΄μ
μ§μ₯μμ μΌκ΅΄ μΈμμΌλ‘ μ§μ μ€νΈλ μ€λ₯Ό μΈμνλ λ°©λ²
줌 미팅 에티켓이 변화하고, 줌 피로가出现하는 상황에서, 캠브리지 연구진은 직장에서 얼굴 표정으로 스트레스 수준을 결정하는 연구를 발표했습니다. 이 연구는 기계 학습을 사용하여 웹캠으로 얼굴 표정을 분석하여 스트레스 수준을 파악합니다.
왼쪽, 데이터 수집 환경, 여러 모니터링 장비가 자원봉사자에게 연결되어 있음; 오른쪽, 테스트 대상자들이 다양한 작업 난이도에서 생성한 얼굴 표정 예시. 출처: https://arxiv.org/pdf/2111.11862.pdf
이 연구는 ‘Ambient Assistive Living’ 시스템에서 감정 분석을 위한 것입니다. 즉, 직장에서 얼굴 표정을 분석하여 스트레스 수준을 파악하는 것입니다. 이 연구는 기존의 인터넷에서 수집한 이미지에 기반한 연구와는 달리, 실제 직장 환경에서 수집한 데이터를 사용했습니다.
직장에서 얼굴 인식으로 감정 인식
‘Ambient Assistive Living’은 노인 돌봄을 위한 시스템처럼 보이지만, 실제로는 건강하고 활동적인 삶을 유지하기 위한 기술을 개발하는 것입니다. 이 시스템은 정보 및 통신 기술을 사용하여 일상 생활과 작업 환경을 지원하여 건강하고 활동적인 삶을 유지하는 것을 목표로 합니다.
‘Ambient Assistive Living 환경을 위한 시스템은 자동 감정 분석과 반응을 수행하도록 설계되었습니다. Ambient Assistive Living은 정보 및 통신 기술을 사용하여 일상 생활과 작업 환경을 지원하여 건강하고 활동적인 삶을 유지하는 것을 목표로 합니다.
‘이 시스템은 물리적, 감정적, 정신적 스트레스를 파악하고 필요에 따라 반응하고 적응합니다. 예를 들어, 자동차에 장착된 졸음 감지 시스템은 운전자를 경고하고 휴식을 취할 것을 제안할 수 있습니다.
테스트 조건
이 연구는 12명의 자원봉사자(5명의 남성, 7명의 여성)를 대상으로 진행되었습니다. 자원봉사자들은 9개국 출신이며, 22세에서 41세 사이입니다.
이 연구는 세 가지 작업 환경을 재현했습니다. 사무실, 공장 생산 라인, 및 텔레컨퍼런스 콜입니다. 각 환경에서 자원봉사자들은 다양한 작업을 수행했습니다.
자원봉사자들은 여러 가지 방법으로 모니터링되었습니다. 세 개의 카메라, 자브라 목에 착용하는 마이크, 엠파티카 손목밴드(무선 멀티 센서 웨어러블 디바이스), 및 뮤즈 2 헤드밴드 센서(또한 바이오 피드백을 제공함)를 사용했습니다. 또한, 자원봉사자들은 자신의 기분을 평가하고 설문조사를 완료했습니다.
압력을 높여보자: 사무실 시나리오
첫 번째 시나리오에서는 자원봉사자들이 사무실 환경에서 작업했습니다. 자원봉사자들은 처음에는 쉬운 작업을 수행했으며, 점차적으로 작업 난이도가 증가했습니다.
자원봉사자들은 또한 85dB의 추가 노イズ를 듣고, 누군가가 их 뒤를 보고 있는 느낌을 받았습니다. 이는 미국에서 사무실 환경에서 허용되는 법적 한도인 90dB보다 5dB 낮은 수준입니다.
공장 시나리오
두 번째 시나리오에서는 자원봉사자들이 공장 생산 라인에서 작업했습니다. 자원봉사자들은 오퍼레이션 게임을 수행했으며, 이는 사용자의 수동性을 테스트하는 게임입니다.
자원봉사자들은 12개의 물체를 1분 내에 추출해야 했습니다. 이는 매우 어려운 작업입니다. 실제로, 이 게임의 세계 기록은 12.68초입니다.
텔레컨퍼런스 시나리오
세 번째 시나리오에서는 자원봉사자들이 텔레컨퍼런스 콜에서 작업했습니다. 자원봉사자들은 긍정적이고 부정적인 기억을 회상해야 했습니다.
방법 및 훈련
자원봉사자들의 기분 평가 결과는 실제 데이터로 사용되었습니다. 얼굴 표정 데이터는 얼굴 랜드마크 감지 네트워크를 통해 처리되었습니다. 이후, ResNet-18 네트워크를 통해 훈련되었습니다.
이 연구에서는 450,000개의 이미지 데이터를 사용했습니다. 이는 AffectNet 데이터셋에서 수집한 것입니다.
결과
이 연구의 결과는 Concordance Coefficient Correlation, Pearson Coefficient Correlation, 및 Root Mean Square Error (RMSE)로 평가되었습니다.
이 연구의 결과는 직장에서 얼굴 인식으로 감정 인식을 하는 것이 가능함을 보여주었습니다. 이는 직장에서 스트레스를 감소시키고, 건강하고 활동적인 삶을 유지하는 데 도움이 될 수 있습니다.
‘결과를 보면, 우리의 모델이 WECARE-DB 데이터셋에서 훈련된 모델보다 더 좋은 성능을 보이는 것을 알 수 있습니다. 이는 직장에서 얼굴 표정을 분석하여 스트레스 수준을 파악하는 것이 가능함을 보여줍니다.’
† 여기서 저자들은 세 가지 참고 문헌을 인용합니다.
자동 감정 인식, 차원 감정 인식, 연속 감정 인식 – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Ambient Assistive Living 도메인 탐색: 체계적 리뷰 – https://link.springer.com/article/10.1007/s12652-016-0374-3
Ambient Assisted Living 환경을 위한 IoT 기술 리뷰 – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf
†† 여기서 저자들은 두 가지 참고 문헌을 인용합니다.
임베디드 시스템을 위한 실시간 운전자 졸음 감지 – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
얼굴 특징을 사용한 실시간 운전자 졸음 감지 시스템 – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532
