인공지능 얼굴 표정 평가를 통한 정신 건강 장애 진단

독일의 연구자들은 컴퓨터 비전을 통해 얼굴 표정을 해석하여 정신 건강 장애를 식별하는 방법을 개발했습니다.

새로운 접근법은 영향을 받지 않은 주체와 영향을 받은 주체를 구별할 뿐만 아니라 우울증과 조현병을 올바르게 구별할 수 있으며, 또한 환자가 현재 질병으로 인해 얼마나 영향을 받고 있는지 또한 구별할 수 있습니다.

연구자들은 제어 그룹을 위한 복합 이미지를 제공했습니다(아래 이미지의 왼쪽)와 정신 건강 장애를 겪고 있는 환자들(오른쪽). 여러 사람의 정체성이 블렌딩되어 있으며, 어느 이미지도 특정 개인을 묘사하지 않습니다.

출처: https://arxiv.org/pdf/2208.01369.pdf

정서 장애를 가진 개인은 일반적으로眉毛가 올라간 표정, 무거운 시선, 부은 얼굴, 그리고 사납게 내뺀 입을 가지고 있습니다. 환자 개인 정보를 보호하기 위해 이러한 복합 이미지는 새로운 연구를 지원하기 위해 제공된 유일한 이미지입니다.

지금까지 얼굴 감정 인식은 주로 기본적인 진단 도구로 사용되었습니다. 새로운 접근법은 환자의 치료 과정에서 진행 상황을 평가하거나 외래 환자 모니터링을 위한 가능한 방법을 제공합니다.

연구 논문은 다음과 같이述합니다:

‘감정 컴퓨팅에서 우울증의 기계 진단을 넘어서, 이전 연구에서 개발된 내용을 넘어서, 우리는 컴퓨터 비전을 통해 추정된 측정 가능한 감정 상태가 순수한 범주적 분류보다 훨씬 더 많은 정보를 포함한다는 것을 보여줍니다.’

연구자들은 이 기술을 광전자뇌파도법(Opto Electronic Encephalography, OEG)이라고 명명했습니다. 이는 얼굴 이미지 분석을 통해 정신 상태를 추론하는 완전히 수동적인 방법입니다.

연구자들은 OEG가 진단과 치료를 위한 보조 도구가 될 뿐만 아니라 장기적으로 평가 과정의 일부를 대체할 수 있는 잠재적인 대체 수단이 될 수 있다고 결론지었습니다. 그들은 다음과 같이述합니다:

‘전반적으로, 기계가 예측한 결과는 순수한 임상 관찰자 평가 설문지보다 더好的 상관관계를 보여주며, 또한 객관적입니다. 컴퓨터 비전 접근법의 상대적으로 짧은 측정 기간(수분 내)은 임상 면접에서 때때로 필요한 수시간과는 대조됩니다.’

그러나 연구자들은 이 분야의 환자 치료가 다중 모달 접근을 필요로 하며, 얼굴 표정 외에도 환자 상태를 고려해야 할 많은 다른 지표가 있으므로, 이러한 시스템이 전통적인 접근법을 완전히 대체할 수 있는 것은 아니라고 강조합니다. 그럼에도 불구하고, 그들은 OEG를 약물 치료의 효과를 평가하는 방법으로서 유망한 보조 기술로 간주합니다.

이 논문은 감정 장애의 얼굴이라고 제목이 붙여져 있으며, 사립 및 공립 의료 연구 분야의 다양한 기관에서 온 8명의 연구자들에 의해 작성되었습니다.

데이터

(새로운 논문은 주로 정신 건강 장애 환자 진단에 사용되는 다양한 이론과 방법에 대해 다루며, 테스트와 실험에서 사용되는 실제 기술과 과정에 대한 설명은 상대적으로 적습니다.)

데이터 수집은 아헨 대학병원에서 수행되었으며, 100명의 성별이 균형적인 환자와 50명의 비영향을 받은 사람으로 구성된 대조군이 포함되었습니다. 환자 중 35명은 조현병을 앓고 있었으며, 65명은 우울증을 앓고 있었습니다.

환자 부분의 테스트 그룹에서는 입원 시 초기 측정을 수행했으며, 두 번째 측정은 퇴원 전 수행하여 평균 12주 간격을 두었습니다. 대조군 참여자는 지역 인구에서 임의로 모집되었으며, 자신의 입원과 퇴원을 실제 환자와鏡像적으로 진행했습니다.

이러한 실험에서 가장 중요한 ‘근거 真実’은 승인된 표준 방법으로 얻어진 진단이어야 합니다. 이는 OEG 실험에서도 마찬가지였습니다.

그러나 데이터 수집 단계에서는 기계 해석에 더 적합한 추가 데이터를 얻었습니다. 90분 평균의 인터뷰가 3단계에 걸쳐 로지텍 c270 소비자용 웹캠(25fps에서 작동)을 사용하여 캡처되었습니다.

첫 번째 세션은 일반적으로 입원 시에 수행되는 표준 Hamilton 인터뷰(1960년경에 시작된 연구에 기반함)를 포함했습니다. 두 번째 단계에서는 환자(및 대조군의 환자들)에게 일련의 얼굴 표정을 보여주고, 각 표정을 모방하며, 당시 자신의 정신 상태(정서 상태 및 강도 포함)를 평가하도록 요청했습니다. 이 단계는 약 10분 동안 지속되었습니다.

세 번째이자 마지막 단계에서는 참가자들에게 96개의 비디오(각각 약 10초)를 보여주었으며, 배우들이 강렬한 감정적 경험을 회상하는 것처럼 보였습니다. 참가자들은 비디오에서 표현된 감정과 강도,以及 자신의 감정을 평가하도록 요청받았습니다. 이 단계는 약 15분 동안 지속되었습니다.

방법

결과를 얻기 위해, 연구자들은 다음과 같은 단계를 수행했습니다.

EmoNet 프레임워크를 사용하여 얼굴 표정에서 감정 랜드마크를 캡처했습니다. 이후, 얼굴 모양과 평균 얼굴 모양 사이의 대응관계를 피스ewise affine transformation을 통해 결정했습니다.

차원 감정 인식과 시선 예측이 이전 단계에서 식별된 각 랜드마크 세그먼트에서 수행되었습니다.

이 시점에서, 오디오 기반 감정 추론은 환자의 정신 상태에서 가르칠 수 있는 순간이 도착했다는 것을 나타내며, 해당 차원과 도메인의 영향을 캡처하는 것이 작업입니다.

(위 비디오에서, 우리는 새로운 연구에서 사용된 차원 감정 인식 기술의 개발을 보여줍니다.)

자료의 각 프레임에서 물질의 형상幾何학을 계산했으며, 특이값 분해(SVD) 감소를 적용했습니다. 결과 시간 시리즈 데이터는 결국 VAR 과정으로 모델링되었으며, 이후 SVD를 통해さらに 감소되었습니다.

형상幾何学 감소 과정.

EmoNet 네트워크의 정서 및 각성 값도 유사하게 VAR 모델링 및 시퀀스 커널 계산을 통해 처리되었습니다.

실험

이전과 같이 설명했듯이, 새로운 연구는 주로 의료 연구 논문이므로, 우리는 독자에게 논문 자체에서 실험에 대한 자세한 내용을 참조하도록 권고합니다.

그러나 요약하면, 다음과 같은 실험을 수행했습니다:

정서 장애 신호

40명의 참가자(대조군이나 환자 그룹에 속하지 않은 사람들)를 대상으로 평가된 평균 얼굴에 대해 질문을 받았습니다. 참가자들은 데이터의 맥락에 대해 알지 못했습니다. 질문은 다음과 같았습니다:

두 얼굴의 성별은 무엇인가?
얼굴이 매력적인 외모를 가지고 있는가?
이 얼굴들이 신뢰할 수 있는 사람들인가?
이 사람들의 행동能力은 어떠한가?
두 얼굴의 감정은 무엇인가?
두 얼굴의 피부 상태는 어떠한가?
시선의 인상은 어떠한가?
두 얼굴에 아래쪽 코너가 있는가?
두 얼굴에眉毛가 있는가?
이 사람들은 임상 환자들인가?

연구자들은 이러한 블라인드 평가가 처리된 데이터의 등록된 상태와 상관관계가 있음을 발견했습니다:

평균 얼굴에 대한 설문조사 결과.

임상 평가

연구자들은 OEG의 유용성을 초기 평가에서 가늠하기 위해, 먼저 표준 임상 평가가 얼마나 효과적인지 평가했습니다. 환자의 입원과 퇴원 사이의 개선 수준을 측정했습니다.

연구자들은 상태와 증상 심각도가 이 방법으로 잘 평가될 수 있음을 발견했으며, 0.82의 상관관계를 달성했습니다. 그러나 초기 단계에서 우울증이나 조현병의 정확한 진단은 더 어려웠으며, 표준 방법은 이 초기 단계에서 -0.03의 점수를 얻었습니다.

연구자들은 다음과 같이述합니다:

‘본질적으로, 환자의 상태는 일반적인 설문조사로 상대적으로 잘 결정될 수 있습니다. 그러나 그것이 모두입니다. 누군가가 우울증에 걸렸는지 또는 조현병에 걸렸는지에 대한 정보는 제공되지 않습니다. 동일한 내용이 치료 반응에 적용됩니다.’

기계 처리 결과는 이 문제 영역에서 더 높은 점수를 얻을 수 있었으며, 초기 환자 평가 측면에서는 유사한 점수를 얻었습니다.

표준 인터뷰 기반 평가 정확도 결과.

장애 진단

정적 얼굴 이미지로 우울증과 조현병을 구별하는 것은 간단한 문제가 아닙니다. 교차 검증을 통해, 기계 과정은 다양한 실험 단계에서 높은 정확도 점수를 얻을 수 있었습니다:

다른 실험에서, 연구자들은 OEG가 약물 치료를 통해 환자의 개선도를 인식할 수 있으며, 일반적인 치료를 통해 장애를 치료할 수 있음을 보여줄 수 있었습니다:

‘经验적 선행 지식에 대한 인과적 추론을 통해 약물 치료를 조정하여 얼굴 동역학의 생리적 조절로의 회귀를 관찰할 수 있었습니다. 임상 처방 동안에는 이러한 회귀가 관찰되지 않았습니다.’

‘현재, 기계 기반 추천이 실제로 치료의 성공을 크게 향상시킬 것인지 여부는 명확하지 않습니다. 특히 약물이 장기간에 걸쳐 어떤 부작용을 일으킬 수 있는지 잘 알려져 있기 때문입니다.’

‘그러나 이러한 환자 맞춤형 접근법은 여전히 일상 생활에서 지배적으로 사용되는 일반적인 범주적 분류 체계의 장벽을 깨뜨릴 것입니다.’

* 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

最初에 2022년 8월 3일에 게시되었습니다.