정신 건강 장애를 통한 인공 지능 얼굴 표정 평가를 통해 진단

독일의 연구자들은 컴퓨터 비전에 의해 해석된 얼굴 표정을 기반으로 정신 건강 장애를 식별하는 방법을 개발했습니다.

새로운 접근 방식은 영향을 받지 않은 주체와 영향을 받은 주체를 구별할 수 있을 뿐만 아니라 우울증과 조현병을 올바르게 구별할 수 있으며, 또한 환자가 현재 질병에 의해 영향을 받는 정도도 구별할 수 있습니다.

연구자들은 제어 그룹을 위해 테스트에 사용된 복합 이미지(아래 이미지의 왼쪽)를 제공했습니다. 여러 사람의 정체성이 블렌딩되어 있으며, 어떤 이미지도 특정 개인을 나타내지 않습니다.

Source: https://arxiv.org/pdf/2208.01369.pdf

감정 장애를 가진 개인은 일반적으로 눈썹이 올라가고, 무거운 시선과 부어오른 얼굴, 그리고 사납게 보이는 입을 가지고 있습니다. 환자의 개인 정보를 보호하기 위해 이러한 복합 이미지는 새로운 연구를 지원하기 위해 제공된 유일한 이미지입니다.

지금까지 얼굴 감정 인식은 주로 기본적인 진단을 위한 도구로 사용되었습니다. 새로운 접근 방식은 대신에 치료 중 환자의 진행 상황을 평가하거나(또는 잠재적으로, 그러나 논문에서는 제안하지 않음) 외래 환자 모니터링을 위해 자신의 가정 환경에서 평가할 수 있는 방법을 제공합니다.

논문은 다음과 같이 말합니다:

‘감정 컴퓨팅에서 우울증의 기계 진단을 넘어서, 이전 연구에서 개발된 내용을 넘어서, 우리는 컴퓨터 비전을 통해 추정된 측정 가능한 감정 상태가 순수한 범주적 분류보다 훨씬 더 많은 정보를 포함한다는 것을 보여줍니다.’

연구자들은 이 기술을 Opto Electronic Encephalography(OEG)라고 명명했습니다. 이는 지면 센서 또는 광선 기반 의료 영상 기술 대신 얼굴 이미지 분석을 통해 정신 상태를 추론하는 완전히 수동적인 방법입니다.

저자는 OEG가 진단과 치료의 보조 도구가 아니라, 장기적으로는 치료 파이프라인의 특정 평가 부분을 대체할 수 있는 잠재적인 도구이며, 이는 환자 모니터링과 초기 진단에 필요한 시간을 줄일 수 있다고 결론지었습니다. 그들은 다음과 같이 말합니다:

‘전반적으로, 기계에 의해 예측된 결과는 순수한 임상 관찰자 등급 기반 설문조사와 비교하여 더 좋은 상관관계를 보여주며, 또한 객관적입니다. 컴퓨터 비전 접근 방식의 상대적으로 짧은 측정 기간인 몇 분도 주목할 만합니다. 반면에 임상 면접에는 때때로 몇 시간이 필요합니다.’

그러나 저자는 환자 치료가 여러 가지 요소를 고려해야 하는 다중 모달 추구이며, 환자의 얼굴 표정 외에도 환자의 상태를 고려해야 하는 많은 다른 지표가 있으며, 이러한 시스템이 전통적인 정신 건강 장애 접근 방식을 완전히 대체할 수 있다고 생각하는 것은 아직 이르다고 강조합니다. 그럼에도 불구하고, 그들은 OEG를 약물 치료의 효과를 환자의 처방된 치료 계획에서 평가하는 방법으로 특히 유용한 보조 기술로 간주합니다.

논문은 The Face of Affective Disorders라는 제목으로, 개인과 공공 의료 연구 부문에서 광범위한 기관에 걸쳐 8명의 연구자로부터 나왔습니다.

데이터

(새로운 논문은 주로 환자 진단의 다양한 이론과 방법에 주목을 기울이며, 테스트와 다양한 실험에서 사용되는 실제 기술과 과정에는 일반적으로보다 적은 주목을 기울입니다)

데이터 수집은 아헨 대학병원에서 수행되었으며, 100명의 성별이 균형된 환자와 50명의 비영향을 받은 사람으로 구성된 대조군이 포함되었습니다. 환자에는 35명의 조현병 환자와 65명의 우울증 환자가 포함되었습니다.

환자 부분의 테스트 그룹에 대한 초기 측정은 입원 당시 수행되었으며, 두 번째 측정은 퇴원 전 수행되어 평균 12주 간격을 두고 수행되었습니다. 대조군 참가자는 임의로 현지 인구에서 모집되었으며, 자신의 유도와 ‘퇴원’은 실제 환자와 동일했습니다.

실제로, 이러한 실험에서 가장 중요한 ‘기본 사실’은 승인된 표준 방법으로 얻은 진단이어야 합니다. 이는 OEG 실험의 경우도 마찬가지였습니다.

그러나 데이터 수집 단계에서는 기계 해석에 더 적합한 추가 데이터를 얻었습니다. 25fps로 실행되는 Logitech c270 소비자 웹캠으로 90분 동안 평균 3단계에 걸쳐 인터뷰를 녹화했습니다.

첫 번째 세션은 일반적으로 입원 시에 수행되는 표준 Hamilton 인터뷰(1960년 경에 연구된 내용을 기반으로 함)로 구성되었습니다. 두 번째 단계에서는 환자(및 대조군의 대응자)에게 시리즈의 얼굴 표정을 보여주고, 각 표정을 모방하도록 요청했으며, 그 당시 자신의 정신 상태, 감정 상태 및 강도에 대한 kendi 평가를 요청했습니다. 이 단계는 약 10분 동안 지속되었습니다.

세 번째이자 마지막 단계에서는 참가자에게 96개의 비디오(각각 약 10초)를 보여주고, 감정 및 강도에 대한 자신의 평가를 요청했습니다. 이 단계는 약 15분 동안 지속되었습니다.

방법

결과를 얻기 위해, 첫 번째 이미지(위 참조)에서 캡처된 평균 얼굴을 얻기 위해, 감정 랜드마크는 EmoNet 프레임워크로 캡처되었습니다. 이후, 얼굴 모양과 평균(평균) 얼굴 모양 사이의 대응 관계는 피스ewise affine transformation을 통해 결정되었습니다.

차원 감정 인식과 시선 예측이 이전 단계에서 식별된 각 랜드마크 세그먼트에서 수행되었습니다.

이 시점에서, 오디오 기반 감정 추론은 환자의 정신 상태에서 가르치는 순간이 도착했음을 나타내며, 해당 순간의 얼굴 이미지를 캡처하고 그들의 감정 상태의 차원과 도메인을 개발하는 것이 작업입니다.

(위의 비디오에서, 저자는 새로운 연구에 사용된 차원 감정 인식 기술을 개발했습니다).

재료의 형상 기하학은 각 프레임의 데이터에 대해 계산되었으며, 특이 값 분解(SVD) 감소가 적용되었습니다. 결과 시간 시리즈 데이터는 결국 VAR 프로세스로 모델링되었으며, 이후 SVD를 통해 추가로 감소시킨 후 MAP 적응을 적용했습니다.

기하학적 감소 프로세스의 워크플로

EmoNet 네트워크의 정서와 각성 값도 유사하게 VAR 모델링과 시퀸스 커널 계산을 통해 처리되었습니다.

실험

앞서 설명한 대로, 새로운 연구는 주로 의료 연구 논문이므로, 저자는 실험에 대한 자세한 내용은 논문 자체를 참조하도록 합니다.

그러나 요약된 몇 가지 실험을 요약하면:

감정 장애 신호

여기서 40명의 참가자가 평가된 평균 얼굴(위 참조)을 여러 질문에 대해 평가하도록 요청받았으며, 데이터의.context에 대해 알리지 않았습니다. 질문은 다음과 같았습니다:

두 얼굴의 성별은 무엇인가?
얼굴이 매력적으로 보이는가?
이 얼굴들이 신뢰할 수 있는 사람들인가?
이 사람들의 행동 능력을 어떻게 평가하는가?
두 얼굴의 감정은 무엇인가?
두 얼굴의 피부 상태는 무엇인가?
시선의 인상은 무엇인가?
두 얼굴에 처진 입꼬리가 있는가?
두 얼굴에 올라간 눈썹이 있는가?
이 사람들은 임상 환자인가?

연구자들은 이러한 블라인드 평가가 처리된 데이터의 등록된 상태와 상관관계가 있음을 발견했습니다:

평균 얼굴 설문조사의 박스 플롯 결과

임상 평가

OEG의 초기 평가에 대한 유용성을 평가하기 위해, 연구자들은 먼저 표준 임상 평가가 얼마나 효과적인지 평가했습니다. 환자의 상태와 증상 심각도를 측정하여 입원과 두 번째 단계(환자가 일반적으로 약물 치료를 받는 단계) 사이의 개선을 측정했습니다.

연구자들은 환자의 상태와 증상 심각도를 잘 평가할 수 있음을 발견했으며, 0.82의 상관관계를 달성했습니다. 그러나 조현병이나 우울증과 같은 정확한 진단은 더 어려웠으며, 표준 방법은 초기 단계에서 0.03의 점수를 얻었습니다.

저자는 다음과 같이 말합니다:

‘본질적으로, 환자의 상태는 일반적인 설문조사를 사용하여 상대적으로 잘 결정될 수 있습니다. 그러나 그것이 모든 것입니다. 누군가가 우울증인지 조현병인지 알 수 없습니다. 치료 반응도 마찬가지입니다.’

기계 프로세스의 결과는 이러한 문제 영역에서 더 높은 점수를 얻었으며, 초기 환자 평가 측면에서는 유사한 점수를 얻었습니다:

더 높은 숫자가 더 좋습니다. 왼쪽은 테스트 아키텍처의 4단계에서 표준 인터뷰 기반 평가의 정확도 결과이고, 오른쪽은 기계 기반 결과입니다.

장애 진단

정적 얼굴 이미지로 우울증과 조현병을 구별하는 것은 간단한 문제가 아닙니다. 교차 검증에서, 기계 프로세스는 다양한 실험 단계에서 높은 정확도 점수를 얻었습니다:

다른 실험에서, 연구자들은 OEG가 약물 치료를 통해 환자의 개선을 인식할 수 있는 증거를 보여주었으며, 일반적으로 장애의 치료를 통해도 vậy:

‘데이터 수집의 경험적 사전 지식에 대한 인과적 추론은 얼굴 역학의 생리학적 조절로 돌아가기 위해 약물 치료를 조정했습니다. 이러한 회복은 임상 처방 동안 관찰되지 않았습니다. ‘

‘현재로서는 이러한 기계 기반 추천이 실제로 치료의 성공을 크게 향상시킬 것인지 여부는 명확하지 않습니다. 특히 약물이 장기간에 걸쳐 어떤 부작용을 가질 수 있는지 잘 알려져 있기 때문입니다. ‘

‘그러나 이러한 종류의 환자 맞춤형 접근 방식은 여전히 일상 생활에서 지배적으로 사용되는 일반적인 범주적 분류 체계의 장벽을 깨뜨릴 것입니다.’

* 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

2022년 8월 3일 처음 게시되었습니다.