Nhận dạng Căng thẳng của Nhân viên thông qua Phân tích Khuôn mặt tại Nơi làm việc

Trong bối cảnh văn hóa xung quanh thay đổi về quy tắc ứng xử trong các cuộc họp trực tuyến Zoom, và sự xuất hiện của mệt mỏi Zoom, các nhà nghiên cứu từ Cambridge đã công bố một nghiên cứu sử dụng học máy để xác định mức độ căng thẳng của chúng ta thông qua phân tích khuôn mặt bằng webcam được kích hoạt bởi AI tại nơi làm việc.

Bên trái, môi trường thu thập dữ liệu, với thiết bị giám sát đa dạng được đào tạo hoặc gắn vào một tình nguyện viên; bên phải, ví dụ về các biểu cảm khuôn mặt được tạo ra bởi các đối tượng thử nghiệm ở các mức độ khó khăn khác nhau. Nguồn: https://arxiv.org/pdf/2111.11862.pdf

Nghiên cứu này nhằm phân tích ảnh hưởng (tức là nhận dạng cảm xúc) trong các hệ thống ‘Sống hỗ trợ Ambient’, và có vẻ như được thiết kế để cho phép các khuôn khổ giám sát biểu cảm khuôn mặt dựa trên video trong các hệ thống như vậy; mặc dù bài báo không mở rộng khía cạnh này, nỗ lực nghiên cứu không có ý nghĩa trong bất kỳ bối cảnh nào khác.

Phạm vi cụ thể của dự án là học các mẫu biểu cảm khuôn mặt trong môi trường làm việc – bao gồm cả các sắp xếp làm việc từ xa – chứ không phải ‘giải trí’ hoặc ‘thụ động’ như khi đi du lịch.

Nhận dạng Cảm xúc dựa trên Khuôn mặt tại Nơi làm việc

Trong khi ‘Sống hỗ trợ Ambient’ có thể nghe giống như một kế hoạch dành cho chăm sóc người già, thì đó là một điều hoàn toàn khác. Nói về ‘người dùng cuối’, các tác giả tuyên bố*:

‘Hệ thống được tạo cho môi trường sống hỗ trợ Ambient [†] nhằm thực hiện cả phân tích ảnh hưởng tự động và phản hồi. Sống hỗ trợ Ambient dựa trên việc sử dụng công nghệ thông tin và truyền thông (ICT) để hỗ trợ cuộc sống và làm việc hàng ngày của một người để giữ cho họ khỏe mạnh và hoạt động lâu hơn, và cho phép họ sống độc lập khi họ già đi. Do đó, sống hỗ trợ Ambient nhằm hỗ trợ công nhân y tế, y tá, bác sĩ, công nhân nhà máy, tài xế, phi công, giáo viên cũng như các ngành công nghiệp khác thông qua cảm biến, đánh giá và can thiệp.

‘Hệ thống được thiết kế để xác định căng thẳng thể chất, cảm xúc và tinh thần và phản hồi và thích nghi khi cần, ví dụ, một chiếc xe được trang bị hệ thống phát hiện buồn ngủ có thể thông báo cho tài xế để chú ý và có thể đề xuất họ nghỉ ngơi một chút để tránh tai nạn [††].’

Bài báo này có tiêu đề Giả định Ảnh hưởng Khuôn mặt Người dùng trong Cài đặt giống như Công việc, và đến từ ba nhà nghiên cứu tại Phòng thí nghiệm Trí tuệ Cảm xúc và Robotics tại Cambridge.

Điều kiện Kiểm tra

Vì các nghiên cứu trước trong lĩnh vực này phụ thuộc rất nhiều vào các bộ sưu tập hình ảnh ad hoc được thu thập từ internet, các nhà nghiên cứu tại Cambridge đã tiến hành các thí nghiệm thu thập dữ liệu cục bộ với 12 tình nguyện viên trên khuôn viên, 5 nam và 7 nữ. Các tình nguyện viên đến từ chín quốc gia, và được tuổi từ 22-41.

Dự án nhằm tái tạo ba môi trường làm việc có khả năng gây căng thẳng: một văn phòng; một dây chuyền sản xuất nhà máy; và một cuộc gọi hội nghị truyền hình – giống như loại hội thảo nhóm Zoom đã trở thành một tính năng thường xuyên của làm việc tại nhà kể từ khi có đại dịch.

Đối tượng được theo dõi bằng nhiều phương tiện, bao gồm ba máy ảnh, một micro đeo cổ Jabra, một Empatica wristband (một thiết bị đeo đa cảm biến không dây cung cấp phản hồi sinh học thời gian thực), và một cảm biến đầu Muse 2 (cũng cung cấp phản hồi sinh học). Ngoài ra, các tình nguyện viên được yêu cầu hoàn thành các cuộc khảo sát và tự đánh giá tâm trạng của họ định kỳ.

Tuy nhiên, điều này không có nghĩa là các thiết bị Sống hỗ trợ Ambient trong tương lai sẽ ‘cắm’ bạn vào mức độ đó (ít nhất là vì lý do chi phí); tất cả thiết bị và phương pháp giám sát không phải camera được sử dụng trong thu thập dữ liệu, bao gồm cả đánh giá viết tự, được thiết kế để xác minh các hệ thống nhận dạng ảnh hưởng dựa trên khuôn mặt được kích hoạt bởi cảnh quay camera.

Tăng Áp lực: Kịch bản Văn phòng

Trong hai kịch bản đầu tiên trong ba kịch bản (‘Văn phòng’ và ‘Nhà máy’), các tình nguyện viên bắt đầu với tốc độ dễ, với áp lực tăng dần qua bốn giai đoạn, với các loại nhiệm vụ khác nhau cho mỗi giai đoạn.

Ở mức căng thẳng cao nhất, các tình nguyện viên cũng phải chịu ‘hiệu ứng áo choàng trắng’ của việc có người đứng nhìn over vai họ, cộng với 85db tiếng ồn bổ sung, chỉ năm decibel dưới giới hạn pháp lý cho môi trường văn phòng ở Mỹ, và chính xác là giới hạn tối đa được chỉ định bởi Viện An toàn và Sức khỏe nghề nghiệp Quốc gia (NIOSH).

Trong giai đoạn thu thập dữ liệu giống như văn phòng, các đối tượng được giao nhiệm vụ nhớ các chữ cái trước đó đã nhấp nháy trên màn hình của họ, với mức độ khó tăng dần (chẳng hạn như phải nhớ các chuỗi hai chữ cái xảy ra hai màn hình trước).

Kịch bản Nhà máy

Để mô phỏng một môi trường lao động thủ công, các đối tượng được yêu cầu chơi trò chơi Operation, đòi hỏi sự khéo léo của người dùng bằng cách yêu cầu người chơi loại bỏ các vật thể nhỏ khỏi bảng thông qua các lỗ hẹp có viền kim loại, mà nếu chạm vào sẽ kích hoạt ‘chuông báo thất bại’.

Khi giai đoạn khó nhất đến, tình nguyện viên được thách thức phải loại bỏ tất cả 12 vật thể mà không có lỗi trong vòng một phút. Để có ngữ cảnh, kỷ lục thế giới cho nhiệm vụ này, được thiết lập tại Anh vào năm 2019, đứng ở mức 12,68 giây.

Kịch bản Hội nghị Truyền hình

Cuối cùng, trong thử nghiệm làm việc tại nhà / hội nghị truyền hình, các tình nguyện viên được yêu cầu bởi một người thử nghiệm qua cuộc gọi MS Teams để nhớ lại những ký ức tích cực và tiêu cực của họ. Đối với giai đoạn căng thẳng nhất của kịch bản này, tình nguyện viên được yêu cầu nhớ lại một ký ức rất tiêu cực hoặc buồn từ quá khứ gần đây của họ.

Các nhiệm vụ và kịch bản khác nhau được thực hiện theo thứ tự ngẫu nhiên, và được biên dịch thành một tập dữ liệu tùy chỉnh có tên là Working-Environment-Context-Aware Dataset (WECARE-DB).

Phương pháp và Đào tạo

Kết quả của việc tự đánh giá tâm trạng của người dùng được sử dụng làm sự thật, và được ánh xạ đến các chiều valence và kích động. Các đoạn video thu được từ các thí nghiệm được chạy qua một mạng lưới phát hiện điểm mốc khuôn mặt mạng, và các hình ảnh được căn chỉnh được cung cấp cho một mạng ResNet-18 được đào tạo trên tập dữ liệu AffectNet.

450.000 hình ảnh từ AffectNet, tất cả được vẽ / gắn nhãn từ internet bằng các truy vấn liên quan đến cảm xúc, đã được chú thích thủ công, theo bài báo, với các chiều valence và kích động.

Tiếp theo, các nhà nghiên cứu tinh chỉnh mạng dựa chỉ trên tập dữ liệu WECARE của riêng họ, trong khi mã hóa biểu diễn phổ được sử dụng để tóm tắt các dự đoán dựa trên khung hình.

Kết quả

Hiệu suất của mô hình được đánh giá trên ba chỉ số thường liên quan đến dự đoán ảnh hưởng tự động: Hệ số tương quan Concordance; Hệ số tương quan Pearson; và Root Mean Square Error (RMSE).

Các tác giả lưu ý rằng mô hình được tinh chỉnh trên tập dữ liệu WECARE của riêng họ đã vượt trội so với ResNet-18, và suy ra từ điều này rằng cách chúng ta điều chỉnh biểu cảm khuôn mặt rất khác nhau trong môi trường làm việc so với các bối cảnh trừu tượng hơn mà các nghiên cứu trước đây đã rút ra tài liệu từ internet.

Họ tuyên bố:

‘Nhìn vào bảng, chúng tôi quan sát thấy rằng mô hình được tinh chỉnh trên WECARE-DB đã vượt trội so với mô hình ResNet-18 được đào tạo trước trên [AffectNet], cho thấy rằng các hành vi khuôn mặt được hiển thị trong môi trường làm việc giống như môi trường làm việc là khác so với các thiết lập trong tự nhiên được sử dụng trong cơ sở dữ liệu AffectNet. Do đó, cần thiết phải có được các tập dữ liệu và đào tạo các mô hình để nhận dạng ảnh hưởng khuôn mặt trong môi trường làm việc.’

Về tương lai của nhận dạng ảnh hưởng tại nơi làm việc, được kích hoạt bởi các mạng máy ảnh được đào tạo để liên tục dự đoán trạng thái cảm xúc của nhân viên, các tác giả kết luận*:

‘Mục tiêu cuối cùng là triển khai và sử dụng các mô hình được đào tạo trong thời gian thực và trong các môi trường làm việc thực để cung cấp đầu vào cho các hệ thống hỗ trợ quyết định để thúc đẩy sức khỏe và phúc lợi của mọi người trong độ tuổi làm việc trong khuôn khổ của Dự án Tuổi làm việc của EU.’

* Nhấn mạnh của tôi.

† Ở đây, các tác giả trích dẫn ba lần:

Nhận dạng Cảm xúc Tự động, Chiều và Liên tục – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Khám phá miền Ambient Assisted Living: một đánh giá hệ thống – https://link.springer.com/article/10.1007/s12652-016-0374-3
Đánh giá Công nghệ Internet của Vạn vật cho Môi trường Ambient Assisted Living – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Ở đây, các tác giả trích dẫn hai lần:

Phát hiện Buồn ngủ của Tài xế trong Thời gian Thực cho Hệ thống Nhúng Sử dụng Nén Mạng lưới Nơ-ron Sâu – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Hệ thống Phát hiện Buồn ngủ của Tài xế trong Thời gian Thực Sử dụng Tính năng Khuôn mặt – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532