AI 표정 평가를 통한 정신건강장애 진단

독일 연구자들이 컴퓨터 비전으로 해석된 얼굴 표정을 기반으로 정신 장애를 식별하는 방법을 개발했습니다.

새로운 접근법은 영향을 받지 않은 대상과 영향을 받은 대상을 구별할 수 있을 뿐만 아니라 환자가 현재 질병에 영향을 받는 정도뿐만 아니라 정신분열증과 우울증을 정확하게 구별할 수 있습니다.

연구자들은 테스트를 위한 대조군(아래 이미지의 왼쪽)과 정신 장애를 앓고 있는 환자(오른쪽)를 나타내는 합성 이미지를 제공했습니다. 여러 사람의 신원이 표현에 혼합되어 있으며 어느 이미지도 특정 개인을 묘사하지 않습니다.

출처 : https://arxiv.org/pdf/2208.01369.pdf

정동 장애가 있는 사람은 눈썹을 치켜올리고, 찡그린 표정을 짓고, 부은 얼굴을 하고, 입이 뻣뻣한 표정을 짓는 경향이 있습니다. 환자 개인 정보를 보호하기 위해 이러한 합성 이미지는 새로운 작업을 지원하는 유일한 이미지입니다.

지금까지 안면 감정 인식은 기본 진단을 위한 잠재적인 도구로 주로 사용되었습니다. 대신 새로운 접근 방식은 치료 전반에 걸쳐 환자의 진행 상황을 평가하거나 (잠재적으로 논문에서 제안하지는 않았지만) 외래 환자 모니터링을 위한 국내 환경에서 평가할 수 있는 가능한 방법을 제공합니다.

논문 상태*:

'에서 개발된 감성 컴퓨팅에서 우울증의 기계 진단을 넘어 너무 이른 연구, 우리는 컴퓨터 비전을 통해 추정된 측정 가능한 정서 상태가 순수한 범주 분류보다 훨씬 더 많은 정보를 포함하고 있음을 보여줍니다.'

연구자들은 이 기술을 Opto 전자 뇌파 (OEG), 국소 센서 또는 광선 기반 의료 영상 기술 대신 얼굴 이미지 분석으로 정신 상태를 추론하는 완전히 수동적인 방법.

저자는 OEG가 잠재적으로 진단 및 치료에 대한 단순한 이차 보조 도구가 아니라 장기적으로 치료 파이프라인의 특정 평가 부분을 잠재적으로 대체할 수 있으며 환자에게 필요한 시간을 줄일 수 있다고 결론지었습니다. 모니터링 및 초기 진단. 그들은 참고:

'전반적으로, 기계에 의해 예측된 결과는 순수한 임상 관찰자 평가 기반 설문지에 비해 더 나은 상관 관계를 보여주고 또한 객관적입니다. 컴퓨터 비전 접근법의 경우 몇 분이라는 상대적으로 짧은 측정 기간도 주목할 만하지만 임상 인터뷰에는 때때로 몇 시간이 필요합니다.'

그러나 저자는 이 분야의 환자 치료가 얼굴 표정뿐만 아니라 환자 상태의 다른 많은 지표를 고려하는 다중 모드 추구이며 그러한 시스템이 가능하다고 생각하기에는 너무 이르다고 강조하고 싶습니다. 정신 장애에 대한 전통적인 접근법을 완전히 대체합니다. 그럼에도 불구하고 그들은 OEG를 유망한 보조 기술, 특히 환자의 처방 요법에서 약물 치료의 효과를 등급화하는 방법으로 간주합니다.

XNUMXD덴탈의 종이 제목이 정동 장애의 얼굴, 민간 및 공공 의료 연구 부문의 광범위한 기관에 걸쳐 XNUMX명의 연구원이 제공합니다.

Data

(새 논문은 현재 정신 장애 환자 진단에 널리 사용되는 다양한 이론과 방법을 주로 다루며 테스트 및 다양한 실험에 사용되는 실제 기술과 프로세스에 대한 관심은 보통보다 적습니다.)

데이터 수집은 Aachen에 있는 대학 병원에서 성별이 균형 잡힌 환자 100명과 영향을 받지 않은 50명의 대조군으로 이루어졌습니다. 환자에는 정신 분열증 환자 35명과 우울증 환자 65명이 포함되었습니다.

시험군 중 환자군은 최초 입원 시와 퇴원 전 두 번째 입원 시에 평균 12주 간격으로 측정하였다. 대조군 참가자는 실제 환자의 유도 및 '퇴원'을 반영하여 현지 인구에서 임의로 모집되었습니다.

사실상, 그러한 실험에 대한 가장 중요한 '실측 정보'는 승인된 표준 방법으로 얻은 진단이어야 하며 이는 OEG 실험의 경우였습니다.

그러나 데이터 수집 단계에서는 기계 해석에 더 적합한 추가 데이터를 얻었습니다. 평균 90분의 인터뷰는 270fps로 실행되는 Logitech c25 소비자 웹캠을 사용하여 XNUMX단계에 걸쳐 캡처되었습니다.

표준으로 구성된 첫 번째 세션 해밀턴 인터뷰 (연구에 근거 유래 1960년경), 일반적으로 입학 시 제공되는 것과 같은 것입니다. 두 번째 단계에서는 비정상적으로 환자(및 대조군의 해당 환자)가 표시되었습니다. 동영상 감정 상태와 강도를 포함하여 당시 정신 상태에 대한 자신의 추정을 진술하면서 각각의 얼굴 표정을 모방하도록 요청했습니다. 이 단계는 약 XNUMX분 동안 지속되었습니다.

세 번째이자 마지막 단계에서 참가자들은 각각 96초가 조금 넘게 지속되는 배우들의 강렬한 감정적 경험을 이야기하는 15개의 비디오를 보여주었습니다. 그런 다음 참가자들에게 비디오에 나타난 감정과 강도, 그리고 그에 상응하는 느낌을 평가하도록 요청했습니다. 이 단계는 약 XNUMX분 동안 지속되었습니다.

방법

캡처된 얼굴의 평균 평균에 도달하기 위해(위의 첫 번째 이미지 참조) 이모넷 뼈대. 그 후, 얼굴형과 평균(평균) 얼굴형 사이의 일치성을 다음을 통해 결정하였다. 조각별 아핀 변환.

차원 감정 인식 및 시선 예측 이전 단계에서 식별된 각 랜드마크 세그먼트에 대해 수행되었습니다.

이 시점에서 오디오 기반 감정 추론은 학습 가능한 순간이 환자의 정신 상태에 도달했음을 나타냈고 작업은 해당 얼굴 이미지를 캡처하고 영향 상태의 해당 차원과 영역을 개발하는 것입니다.

(위 영상에서 연구원들이 신작에 사용한 차원감정인식 기술의 저자들이 개발한 작품을 봅니다.)

자료의 형상 측지선은 데이터의 각 프레임에 대해 계산되었으며 특이값 분해(SVD) 감소가 적용되었습니다. 결과 시계열 데이터는 결국 다음과 같이 모델링되었습니다. VAR 처리한 다음 이전에 SVD를 통해 더 줄였습니다. MAP 적응.

측지선 축소 프로세스의 워크플로우.

EmoNet 네트워크의 원자가 및 각성 값도 VAR 모델링 및 시퀀스 커널 계산으로 유사하게 처리되었습니다.

실험

앞서 설명했듯이, 새로운 작업은 표준 컴퓨터 비전 제출물이 아닌 주로 의학 연구 논문이며, 연구원들이 실행한 다양한 OEG 실험에 대한 심층적인 내용을 보려면 독자에게 논문 자체를 참조하도록 합니다.

그럼에도 불구하고 그 선택을 요약하면 다음과 같습니다.

정동 장애 단서

여기서 40명의 참가자(통제 그룹 또는 환자 그룹이 아님)는 데이터의 맥락에 대한 정보 없이 여러 질문과 관련하여 평가된 평균 얼굴(위 참조)을 평가하도록 요청받았습니다. 질문은 다음과 같습니다.

두 얼굴의 성별은?
얼굴이 매력적인 외모를 가지고 있습니까?
이 얼굴은 신뢰할 수 있는 사람입니까?
이 사람들의 행동 능력을 어떻게 평가합니까?
두 얼굴의 감정은?
두 얼굴의 피부 모습은?
시선의 인상은?
두 얼굴의 입꼬리가 처져 있나요?
두 얼굴에 눈이 갈색으로 올라갔습니까?
이 사람들은 임상 환자입니까?

연구자들은 이러한 블라인드 평가가 처리된 데이터의 등록된 상태와 상관관계가 있음을 발견했습니다.

'평균 얼굴' 조사에 대한 박스 플롯 결과.

임상 평가

초기 평가에서 OEG의 유용성을 측정하기 위해 연구원들은 먼저 표준 임상 평가 자체가 얼마나 효과적인지 평가하여 유도와 두 번째 단계(환자가 일반적으로 약물 기반 치료를 받는 시점) 사이의 개선 수준을 측정했습니다.

연구자들은 이 방법으로 상태와 증상 심각도를 잘 평가할 수 있으며 0.82의 상관관계를 달성할 수 있다고 결론지었습니다. 그러나 정신분열증이나 우울증의 정확한 진단은 이 초기 단계에서 -0.03의 점수만 얻는 표준 방법으로 더 어려운 것으로 판명되었습니다.

저자는 다음과 같이 논평합니다.

'본질적으로 환자 상태는 일반적인 설문지를 사용하여 비교적 잘 결정할 수 있습니다. 그러나 그것이 본질적으로 그것으로부터 결론을 내릴 수 있는 전부입니다. 누군가가 우울하거나 오히려 정신 분열증인지 여부는 표시되지 않습니다. 치료 반응에도 동일하게 적용됩니다.'

기계 프로세스의 결과는 이 문제 영역에서 더 높은 점수를 얻을 수 있었고 초기 환자 평가 측면에서 비슷한 점수를 얻을 수 있었습니다.

숫자가 높을수록 좋습니다. 왼쪽에는 테스트 아키텍처의 XNUMX단계에 걸친 표준 인터뷰 기반 평가 정확도 결과가 있습니다. 오른쪽은 기계 기반 결과입니다.

장애 진단

정적 얼굴 이미지를 통해 정신분열증과 우울증을 구별하는 것은 사소한 문제가 아닙니다. 기계 프로세스는 교차 검증을 통해 다양한 시도 단계에서 높은 정확도 점수를 얻을 수 있었습니다.

다른 실험에서 연구원들은 OEG가 약리학적 치료와 장애의 일반적인 치료를 통해 환자의 개선을 인식할 수 있다는 증거를 입증할 수 있었습니다.

'데이터 수집의 경험적 사전 지식에 대한 인과적 추론은 안면 역학의 생리적 조절로의 복귀를 관찰하기 위해 약리학적 치료를 조정했습니다. 이러한 복귀는 임상처방 중에는 관찰할 수 없었다.

'현재 그러한 기계 기반 권장 사항이 실제로 치료의 훨씬 더 나은 성공으로 이어질지는 분명하지 않습니다. 특히 어떤 약물이 장기간에 걸쳐 나타날 수 있는 부작용이 알려져 있기 때문입니다.

'그러나 [이러한 종류의] 환자 맞춤형 접근 방식은 일상 생활에서 여전히 지배적으로 사용되는 공통 범주 분류 도식의 장벽을 깨뜨릴 것입니다.'

* 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

3년 2022월 XNUMX일에 처음 게시되었습니다.