AIを用いた顔の表情評価による精神健康障害の診断

ドイツの研究者は、コンピュータビジョンによって解釈された顔の表情に基づいて精神障害を識別する方法を開発しました。

この新しいアプローチは、影響を受けていない被験者と影響を受けた被験者を区別するだけでなく、うつ病と統合失調症を正確に区別し、疾患の影響度も判断できます。

研究者は、テストのコントロールグループを表す合成画像（以下の画像の左側）と、精神障害を患っている患者（右側）を提供しました。複数人の顔が混合されており、どちらの画像も特定の個人を表していません。

Source: https://arxiv.org/pdf/2208.01369.pdf

感情障害を持つ個人は、一般的に眉を上げ、目が重い、顔が腫れ、口元が下がった表情をしています。患者のプライバシーを保護するために、これらの合成画像は新しい研究を支持するために公開された唯一の画像です。

これまで、顔の表情認識は、基本的な診断のためのツールとして主に使用されてきました。新しいアプローチは、治療中の患者の進歩を評価するための方法、または（論文では提案されていませんが）外来患者モニタリングのための方法を提供します。

論文には以下のように記載されています:

‘感情コンピューティングにおけるうつ病のマシン診断を超えて、コンピュータビジョンによって推定された測定可能な感情状態には、純粋なカテゴリ別分類よりもはるかに多くの情報が含まれていることを示しています。’

研究者はこの技術をOpto Electronic Encephalography（OEG）と命名しており、これは、局所的なセンサーまたは線状の医療画像技術ではなく、顔画像分析によって精神状態を推測する完全に受動的な方法です。

著者は、OEGは、診断と治療の二次的な補助ではなく、長期的には治療プロセスの評価部分の代替となり得る可能性があると結論付けています。また、患者のモニタリングと初期診断に必要な時間を短縮する可能性もあると述べています。著者は以下のように述べています:

‘全体として、機械によって予測された結果は、純粋な臨床観察者評価に基づく質問紙よりも優れた相関関係を示しています。また、コンピュータビジョンアプローチの測定期間は数分程度であるのに対し、臨床面接には数時間かかることがあります。’

しかし、著者は、精神科医療は多様なアプローチを必要とする分野であり、顔の表情だけに頼ることはできないことを強調しています。従来のアプローチに代わるものではなく、特に薬物治療の効果を評価するための補助技術としてOEGが有望であると考えています。

論文はThe Face of Affective Disordersと題されており、民間および公的医療研究部門のさまざまな機関から8人の研究者によって執筆されています。

データ

(新しい論文は、精神障害の患者の診断における現在の人気の理論と方法に主に焦点を当てており、テストと実験で使用される技術やプロセスについては通常よりも少ない注意を払っています。)

データ収集は、アーヘン大学病院で行われ、100人の性別バランスの取れた患者と50人の非影響者コントロールグループが参加しました。患者には、統合失調症の35人とうつ病の65人が含まれていました。

患者グループの場合、初期測定は入院時に、2回目の測定は退院前に行われ、平均12週間の間隔がありました。コントロールグループの参加者は、地元の人口から任意に募集され、患者と同様の導入と「退院」プロセスを経ました。

実験の最も重要な「基準事実」は、承認された標準的な方法で得られた診断でなければなりません。これはOEG試験でも同様でした。

しかし、データ収集段階では、機械解釈に適した追加データも収集されました。90分間のインタビューが3つの段階でキャプチャされ、Logitech c270コンシューマーウェブカメラで25fpsで撮影されました。

最初のセッションでは、通常入院時に行われる標準的なハミルトンインタビューが行われました。2番目の段階では、患者（およびコントロールグループの対象者）は、各表情を真似ながら、当時の自分の精神状態、感情状態、強度について述べるよう求められました。この段階は約10分間続きました。

3番目および最終段階では、参加者は96本のビデオ（約10秒間）を提示され、感情や強度を評価するよう求められました。また、ビデオに応じた自身の感情についても述べるよう求められました。この段階は約15分間続きました。

方法

顔の平均形状を取得するために（上の画像を参照）、EmoNetフレームワークを使用して感情的ランドマークを取得しました。次に、ピースワイズアフィン変換を使用して、顔の形状と平均（平均化）顔の形状の対応関係を決定しました。

次元感情認識と目線予測は、前の段階で識別された各ランドマークセグメントで実行されました。

この時点で、音声ベースの感情推論は、患者が教える機会が到来したことを示しています。タスクは、対応する顔画像を取得し、その感情状態の次元とドメインを開発することです。

(上のビデオでは、研究者が新しい研究で使用した次元感情認識技術の開発を見ることができます。)

各フレームのデータの形状の測地線を計算し、特異値分解（SVD）を適用して次元削減しました。結果の時系列データは、VARプロセスとしてモデル化され、さらにSVDを適用してMAP適応の前に削減されました。

測地線削減プロセスのワークフロー。

EmoNetネットワークの価値と覚醒値も同様に、VARモデリングとシーケンスカーネル計算で処理されました。

実験

前述のように、新しい研究は主に医療研究論文であり、標準的なコンピュータビジョン投稿ではないため、読者は詳細なカバレッジについて論文自体を参照する必要があります。

ただし、以下はその一部の要約です:

感情障害の手がかり

ここでは、40人の参加者（コントロールグループや患者グループに属さない）が、評価された平均顔（上の画像を参照）について、データのコンテキストを知らされずに、質問に回答するよう求められました。質問は以下のとおりです:

2つの顔の性別は何ですか？
顔は魅力的ですか？
顔は信頼できる人ですか？
これらの人の行動能力はどう評価されますか？
2つの顔の感情は何ですか？
2つの顔の皮膚の見た目はどうですか？
視線の印象はどうですか？
2つの顔には目元が下がっているですか？
2つの顔には眉が上がっているですか？
これらの人は臨床患者ですか?

研究者は、これらの盲目的な評価が処理されたデータの登録状態と相関していることを発見しました:

平均顔のアンケートのボックスプロット結果。

臨床評価

OEGの初期評価における有用性を測るために、研究者は、標準的な臨床評価がそれ自体でどれほど効果的かを最初に評価しました。測定は、導入と2回目の段階（通常、患者が薬物治療を受けている段階）間の改善レベルを測定し、平均12週間の間隔で行われました。

研究者は、状態と症状の重篤さをこの方法で比較的よく評価できることを結論付けたが、診断の精度は0.82でした。ただし、うつ病または統合失調症の正確な診断は、標準方法でこの初期段階で得られるスコアは-0.03で、より困難でした。

著者は以下のように述べています:

‘患者状態は通常の質問紙を使用して比較的よく決定できます。ただし、これ以外のことは何も示されません。誰がうつ病で、誰が統合失調症であるかは示されません。治療反応も同様です。’

機械プロセスからの結果は、この問題領域でより高いスコアを取得し、初期患者の評価の側面については同等のスコアを取得しました:

より高い数字はより良いものです。テストアーキテクチャの4つの段階を横断する標準的なインタビューに基づく評価の精度。右側は機械ベースの結果です。

障害の診断

静的な顔画像からうつ病と統合失調症を区別することは、たやすいことではありません。交差検証により、機械プロセスは試験のさまざまな段階で高い精度スコアを取得しました:

他の実験では、研究者は、OEGが薬物治療による患者の改善を認識し、障害の全体的な治療を感知できることを実証しました:

‘データ収集の経験的事前知識に対する因果推論により、薬物治療の調整が行われ、顔の動きの生理的調節への復帰が観察されました。臨床処方ではこれが観察されませんでした。 ‘

‘現在、機械ベースの推奨が実際に治療の成功率を大幅に高めることになるかどうかは不明です。特に、薬物が長期間にわたって副作用をもたらすことが知られているためです。 ‘

‘しかし、これらの種類の患者に合わせたアプローチは、日常生活でまだ主流である一般的なカテゴリ別分類スキーマの障壁を打ち破るでしょう。 ‘

* 著者によるインライン引用のハイパーリンクへの私の変換です。

最初に公開されたのは2022年8月3日です。