職場での顔認識によるストレス認定

Zoomミーティングのエチケットの変化や、Zoom疲労の出現に伴い、ケンブリッジ大学の研究者は、AIを使用したウェブカメラによる顔認識技術を使用して、職場でのストレスレベルを判断する研究を発表しました。

左側は、ボランティアにさまざまな機器を取り付けているデータ収集環境。右側は、タスクの難易度の異なるテスト参加者によって生成された顔の表情の例。 出典：https://arxiv.org/pdf/2111.11862.pdf

この研究は、感情認識（アフェクト分析）を目的としたもので、「アンビエントアシスティブライフ」システムで使用することを目的としています。研究論文では、この点について詳しく説明されていませんが、この研究は、他の状況では意味をなさないと思われます。

このプロジェクトの具体的な目的は、レジャーや受動的な状況ではなく、職場環境（リモートワークを含む）での顔の表情パターンを学習することです。

職場での顔認識による感情認識

「アンビエントアシスティブライフ」は、高齢者ケアのシステムのように思われますが、実際はそうではありません。研究者は、対象となる「エンドユーザー」について、以下のように述べています*：

‘アンビエントアシスティブライフ環境のためのシステム[†]は、自動的なアフェクト分析と応答を実行できるように設計されています。アンビエントアシスティブライフは、情報通信技術（ICT）を使用して、個人の日常生活と仕事環境を支援し、健康と活動的な生活を長く維持し、老齢になってからも独立して生活できるようにします。したがって、アンビエントアシスティブライフは、ヘルスケアワーカー、看護師、医師、工場労働者、運転手、パイロット、教師、およびさまざまな業界を、センシング、評価、介入によって支援することを目的としています。

‘システムは、身体的、感情的、精神的負担を判断し、必要に応じて応答し、適応することを目的としています。たとえば、眠気を検知するシステムを搭載した車は、運転手に注意を促し、休憩を取ることを提案して事故を防ぐことができます [††]。

ケンブリッジ大学のアフェクティブインテリジェンス＆ロボティクス研究所の3人の研究者による論文は、ワークライク環境でのユーザーの顔のアフェクトの推定と題されています。

テスト条件

この分野での以前の研究は、インターネットから集めた画像を使用して行われてきたため、ケンブリッジ大学の研究者は、12人のボランティアを対象としたローカルのデータ収集実験を実施しました。ボランティアは、5人の男性と7人の女性で、9つの国から集まり、22歳から41歳でした。

プロジェクトの目的は、3つの潜在的にストレスの高い職場環境を再現することでした。オフィス、工場の生産ライン、そしてテレコンファレンス会議（パンデミック以降、リモートワークで頻繁に行われるようなZoomグループチャット）です。

被験者は、さまざまな方法で監視されました。3つのカメラ、ジャブラの首に着けるマイクロフォン、エンパティカの腕時計（ワイヤレスのマルチセンサー着用型で、リアルタイムのバイオフィードバックを提供する）、およびマウス2ヘッドバンドセンサー（もバイオフィードバックを提供する）を使用しました。さらに、ボランティアは、アンケートに回答し、定期的に自身の気分を自己評価するよう求められました。

ただし、これは将来的にアンビエントアシスティブライフのシステムが、ボランティアをその程度まで「プラグイン」することを意味するわけではありません（コストの理由だけで）。データ収集で使用されたカメラ以外のすべてのモニタリング機器と方法、書面による自己評価を含め、すべてがカメラ映像によって有効化される顔認識システムを検証するために使用されました。

圧力を高める：オフィスのシナリオ

最初の2つのシナリオ（「オフィス」と「工場」）では、ボランティアは最初に簡単なペースで開始され、4つの段階で圧力が徐々に増加しました。各段階で異なるタスクが行われました。

誘発されたストレスの最高レベルでは、ボランティアはまた、誰かが肩を見ている「白いコート効果」に耐え、85デシベルの追加ノイズ（米国のオフィス環境では法的に許可される上限の5デシベル下、国立労働安全衛生研究所（NIOSH）によって指定された最大許容レベル）に耐える必要がありました。

オフィス環境でのデータ収集段階では、被験者は、以前の画面に表示された文字を記憶するタスクを実行しました。難易度は、2文字のシーケンスを2画面前に表示されたものを記憶するなど、段階的に増加しました。

工場のシナリオ

手作業の労働環境を模倣するために、被験者はオペレーションというゲームをプレイしました。このゲームでは、プレイヤーは、金属の縁の付いた狭い穴から小さな物体を取り出す必要があり、穴の側面に触れると「失敗」のブザーが鳴ります。

最も難しい段階では、ボランティアは1分以内に12個のアイテムをすべて取り出す必要がありました。参考として、2019年にイギリスで設定されたこのタスクの世界記録は、12.68秒です。

テレコンファレンスのシナリオ

最後に、リモートワーク/テレコンファレンステストでは、ボランティアはMS Teamsコール上で実験者から、自身のポジティブな記憶とネガティブな記憶を思い出させるよう求められました。最もストレスの高い段階では、ボランティアは最近の悲しい記憶を思い出す必要がありました。

さまざまなタスクとシナリオは、ランダムな順序で実行され、カスタムデータセット「ワーク環境コンテキストアウェアデータセット（WECARE-DB）」にまとめられました。

方法とトレーニング

被験者の自己評価の結果は、基準事実として使用され、正弁と覚醒度の次元にマッピングされました。実験のビデオは、顔のランドマーク検出ネットワークを介して実行され、整列された画像は、ResNet-18ネットワークにフィードされました。これは、AffectNetデータセットでトレーニングされました。

AffectNetには、インターネットから抽出された感情関連のクエリを使用して、ラベル付けされた450,000枚の画像が含まれています。

次に、研究者は、独自のWECAREデータセットのみに基づいてネットワークを改良しました。フレームベースの予測を要約するために、スペクトル表現エンコーディングが使用されました。

結果

モデルの性能は、自動アフェクト予測に関連する3つの指標で評価されました。コンコーダンス係数相関、ピアソンの係数相関、平方平均二乗誤差（RMSE）です。

著者らは、WECAREデータセットでファインチューンされたモデルが、AffectNetで事前トレーニングされたResNet-18モデルを上回ったと述べています。これは、職場環境での顔の表情が、インターネットから集めた画像からの抽象的な状況とは異なっていることを示唆しています。

著者らは以下のように述べています：

‘表を見ると、WECARE-DBでファインチューンされたモデルが、AffectNetで事前トレーニングされたResNet-18モデルを上回ったことがわかります。これは、ワークライク環境での顔の表情が、AffectNet DBで使用されているインターネットのワイルドな設定とは異なっていることを示しています。したがって、ワークライク環境での顔のアフェクトを認識するために、データセットを取得し、モデルをトレーニングする必要があります。’

職場での感情認識の将来について、カメラのネットワークによって常に予測される従業員の感情状態を考慮して、著者らは以下のように結論付けています：

‘最終的な目標は、トレーニングされたモデルをリアルタイムで実際の職場環境で使用し、EU Working Age Projectの文脈で、働く人の健康と幸福を促進するための意思決定支援システムに入力することです。’

* 強調は私によるものです。

† 著者らは、以下の3つの引用を示しています：

自動的、次元的、連続的な感情認識 – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
アンビエントアシスティブライフドメインの探索：体系的レビュー – https://link.springer.com/article/10.1007/s12652-016-0374-3
アンビエントアシスティブライフ環境のためのIoTテクノロジーのレビュー – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† 著者らは、以下の2つの引用を示しています：

埋め込みシステムを使用したリアルタイムドライバーの眠気検知 – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
顔の特徴を使用したリアルタイムドライバーの眠気検知システム – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532