職場での顔分析による従業員のストレスの把握

の文脈では 文化の変化 Zoom 会議のエチケットと ズーム疲労、ケンブリッジの研究者は、AIを利用したウェブカメラで職場での表情を捉え、機械学習を利用してストレスレベルを判定する研究を発表した。

左側は、ボランティアによって訓練された、またはボランティアに取り付けられた複数の監視装置を備えたデータ収集環境です。 右側は、さまざまなレベルのタスクの難易度で被験者によって生成された顔の表情の例です。 出典：https://arxiv.org/pdf/2111.11862.pdf

この研究は感情分析を目的としています（つまり、 感情認識）「アンビエント支援生活」システムに組み込まれており、おそらくそのようなシステムでビデオベースの AI 表情監視フレームワークを有効にするように設計されています。 この論文ではこの側面については詳しく述べられていませんが、この研究努力は他の文脈では意味がありません。

プロジェクトの具体的な目的は、顔の表情パターンを学ぶことです。 作業環境で – リモート勤務の取り決めを含む – 旅行などの「余暇」または「受動的な」状況ではありません。

職場における顔ベースの感情認識

「Ambient Assistive Living」というと高齢者ケアの計画のように聞こえるかもしれませんが、実はそうではありません。 対象となる「エンドユーザー」について、著者は次のように述べています*。

'周囲の福祉生活環境のために作られたシステム [†] 自動的な影響分析と対応の両方を実行できるようにすることを目指しています。 アンビエント福祉生活は、情報通信技術 (ICT) の利用に依存して、人々の毎日の生活と作業環境を支援し、より長く健康で活動的に保ち、高齢になっても自立して生活できるようにします。 したがって、 アンビエント福祉生活は、センシング、評価、介入を通じて、医療従事者、看護師、医師、工場労働者、運転手、パイロット、教師、さらにはさまざまな業界の支援を目的としています。.

「このシステムは、身体的、感情的、精神的な負担を判断し、必要に応じて対応し、適応することを目的としています。たとえば、眠気検出システムを備えた車は、ドライバーに注意を払うように通知し、少し休憩を取るように提案することができます」事故を避けるために [††]。

　 紙 というタイトルです 仕事のような環境でのユーザーの顔の影響の推測、ケンブリッジのAffective Intelligence & Robotics LabのXNUMX人の研究者によるものです。

試験条件

Since 先の仕事 この分野ではインターネットから収集したその場限りの画像コレクションに大きく依存してきたため、ケンブリッジの研究者らは、男性 12 名、女性 5 名のキャンパスボランティア 7 名を対象に、現地でのデータ収集実験を実施しました。 ボランティアは22カ国から集まり、年齢は41歳からXNUMX歳まででした。

このプロジェクトは、潜在的にストレスの多い XNUMX つの作業環境を再現することを目的としました。 工場の生産ライン。 そして、電話会議 - Zoom グループ チャットのようなもの よくある機能 パンデミックの出現以来、在宅勤務が増えています。

被験者は、XNUMX 台のカメラ、Jabra の首に装着するマイク、 Empatica リストバンド (リアルタイムのバイオフィードバックを提供するワイヤレス マルチセンサー ウェアラブル)、および Muse 2 ヘッドバンド センサー (バイオフィードバックも提供)。 さらに、ボランティアは定期的にアンケートに回答し、気分を自己評価するよう求められました。

ただし、これは、将来の Ambient Assistive Living リグがそこまで「プラグイン」することを意味するものではありません (コスト上の理由だけであれば)。 書面による自己評価を含む、データ収集に使用されるカメラ以外の監視機器と方法はすべて、カメラ映像によって可能になる顔ベースの感情認識システムを検証することを目的としています。

プレッシャーの強化: オフィスのシナリオ

XNUMX つのシナリオのうち最初の XNUMX つ (「オフィス」と「工場」) では、ボランティアは簡単なペースで開始し、それぞれに異なる種類のタスクを伴う XNUMX つのフェーズにわたってプレッシャーが徐々に増加していきました。

最高レベルの誘発ストレスでは、ボランティアは誰かが肩越しに見守る「白衣効果」に加えて、85dbの追加騒音にも耐えなければなりませんでした。 XNUMXデシベル下 米国のオフィス環境の法的制限、および国立労働安全衛生研究所 (NIOSH) によって指定された正確な最大制限です。

オフィスのようなデータ収集フェーズでは、被験者は画面上にフラッシュされた以前の文字を思い出すという課題を課され、難易度は徐々に上がりました（XNUMX画面前に出現したXNUMX文字のシーケンスを覚えなければならないなど）。

工場のシナリオ

肉体労働環境をシミュレートするために、被験者はゲームをプレイするように依頼されました。 操作これは、プレーヤーが側面に触れずに、狭い金属縁の開口部を通してボードから小さなオブジェクトを取り出すことを要求することで、ユーザーの器用さを試させます。このイベントにより「失敗」ブザーがトリガーされます。

最も困難なフェーズが来るまでに、ボランティアは 12 分以内に 2019 項目すべてをエラーなく抽出するという課題に挑戦しました。 ちなみに、XNUMX年に英国で樹立されたこの課題の世界記録は、 12.68秒です.

電話会議のシナリオ

最後に、宿題/電話会議のテストでは、ボランティアは MS Teams の通話を通じて実験者から自分自身のポジティブな記憶とネガティブな記憶を思い出すように求められました。 このシナリオの最もストレスの多い段階では、ボランティアは最近の過去から非常に否定的または悲しい記憶を思い出すことが求められました。

さまざまなタスクとシナリオがランダムな順序で実行され、Working-Environment-Context-Aware Dataset (WECARE-DB) というタイトルのカスタム データセットにコンパイルされました。

方法とトレーニング

ユーザーの気分に関する自己評価の結果は、真実として使用され、感情と興奮の次元にマッピングされました。 実験のキャプチャされたビデオは、顔のランドマーク検出を通じて実行されました。 ネットワーク、および位置合わせされた画像が ResNet-18 ネットワーク で訓練された アフェクトネット データセット。

同論文によると、AffectNet の 450,000 枚の画像はすべて、感情関連のクエリを使用してインターネットから描画/ラベル付けされており、価性と覚醒の次元について手動で注釈が付けられています。

次に、研究者らは独自の WECARE データセットのみに基づいてネットワークを改良しました。 スペクトル表現エンコーディング フレームベースの予測を要約するために使用されました。

結果

モデルのパフォーマンスは、自動感情予測に一般的に関連する XNUMX つの指標に基づいて評価されました。 ピアソン係数相関。 二乗平均平方根誤差 (RMSE)。

著者らは、独自の WECARE データセットに基づいて微調整されたモデルが ResNet-18 よりも優れたパフォーマンスを示したことに注目し、このことから、顔の表情を制御する方法は、作業環境では、先行研究が導き出したより抽象的な状況とは大きく異なると推測しています。インターネットからのソース素材。

彼らは述べています：

「表を見ると、WECARE-DB で微調整されたモデルが [AffectNet] で事前トレーニングされた ResNet-18 モデルよりも優れたパフォーマンスを示していることがわかります。これは、職場のような環境で表示される顔の動作が、職場の環境と比較して異なることを示しています」 -AffectNet DB で使用されるワイルド インターネット設定。 したがって、仕事のような環境で顔の影響を認識するためにデータセットを取得し、モデルをトレーニングする必要があります。」

従業員に向けて訓練されたカメラのネットワークによって可能になり、従業員の感情状態を常に予測することで可能になる、勤務中の感情認識の将来に関して、著者らは次のように結論付けています*。

「最終的な目標は、訓練されたモデルをリアルタイムかつ実際の職場環境で実装して使用し、意思決定支援システムに入力を提供して、労働年齢中の人々の健康と福祉を促進することです。 EU労働年齢プロジェクト.'

*私の強調。

† ここで著者は XNUMX つの引用を行っています。

自動、立体的、継続的な感情認識 – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
アンビエント支援生活領域の探索: 系統的レビュー – https://link.springer.com/article/10.1007/s12652-016-0374-3
アンビエント支援型生活環境のためのモノのインターネット技術のレビュー – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† ここで著者は次の XNUMX つの引用を行っています。

ディープ ニューラル ネットワークのモデル圧縮を使用した組み込みシステム向けのリアルタイム ドライバー眠気検出 – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
顔特徴を利用したリアルタイムドライバー眠気検知システム – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532