Diagnostiquer les troubles de santé mentale grâce à l'évaluation de l'expression faciale de l'IA

Des chercheurs allemands ont développé une méthode d'identification des troubles mentaux basée sur les expressions faciales interprétées par vision par ordinateur.

La nouvelle approche peut non seulement faire la distinction entre les sujets non affectés et les sujets affectés, mais peut également distinguer correctement la dépression de la schizophrénie, ainsi que le degré auquel le patient est actuellement affecté par la maladie.

Les chercheurs ont fourni une image composite qui représente le groupe témoin de leurs tests (à gauche sur l'image ci-dessous) et les patients souffrant de troubles mentaux (à droite). Les identités de plusieurs personnes sont mélangées dans les représentations, et aucune image ne représente un individu en particulier :

Source : https://arxiv.org/pdf/2208.01369.pdf

Les personnes atteintes de troubles affectifs ont tendance à avoir les sourcils levés, les regards plombés, les visages enflés et les expressions de la bouche de chien pendu. Pour protéger la vie privée des patients, ces images composites sont les seules mises à disposition à l'appui du nouveau travail.

Jusqu'à présent, la reconnaissance de l'affect facial a été principalement utilisée comme un outil potentiel pour le diagnostic de base. La nouvelle approche offre plutôt une méthode possible pour évaluer les progrès des patients tout au long du traitement, ou bien (potentiellement, bien que l'article ne le suggère pas) dans leur propre environnement domestique pour la surveillance ambulatoire.

Le papier précise* :

"Aller au-delà du diagnostic automatique de la dépression dans l'informatique affective, qui a été développée en précédent études, nous montrons que l'état affectif mesurable estimé au moyen de la vision par ordinateur contient beaucoup plus d'informations que la classification catégorielle pure.

Les chercheurs ont baptisé cette technique Encéphalographie optoélectronique (OEG), une méthode complètement passive pour déduire l'état mental par analyse d'images faciales au lieu de capteurs topiques ou de technologies d'imagerie médicale basées sur les rayons.

Les auteurs concluent que l'OEG pourrait potentiellement être non seulement une simple aide secondaire au diagnostic et au traitement, mais, à long terme, un remplacement potentiel de certaines parties évaluatives du pipeline de traitement, et qui pourrait réduire le temps nécessaire pour le patient. surveillance et diagnostic initial. Ils notent :

«Dans l'ensemble, les résultats prédits par la machine montrent de meilleures corrélations par rapport aux questionnaires purement basés sur l'évaluation des observateurs cliniques et sont également objectifs. La durée de mesure relativement courte de quelques minutes pour les approches de vision par ordinateur est également à noter, alors que des heures sont parfois nécessaires pour les entretiens cliniques.

Cependant, les auteurs tiennent à souligner que la prise en charge des patients dans ce domaine est une poursuite multimodale, avec de nombreux autres indicateurs de l'état des patients à prendre en compte que leurs seules expressions faciales, et qu'il est trop tôt pour considérer qu'un tel système pourrait remplacer entièrement les approches traditionnelles des troubles mentaux. Néanmoins, ils considèrent l'OEG comme une technologie complémentaire prometteuse, en particulier comme méthode pour évaluer les effets du traitement pharmaceutique dans le régime prescrit d'un patient.

Les papier est intitulé Le visage des troubles affectifs, et provient de huit chercheurs issus d'un large éventail d'institutions du secteur privé et public de la recherche médicale.

Données

(Le nouvel article traite principalement des diverses théories et méthodes qui sont actuellement populaires dans le diagnostic des troubles mentaux chez les patients, avec moins d'attention que d'habitude aux technologies et processus réels utilisés dans les tests et diverses expériences)

La collecte de données a eu lieu à l'hôpital universitaire d'Aix-la-Chapelle, avec 100 patients de sexe équilibré et un groupe témoin de 50 personnes non affectées. Les patients comprenaient 35 personnes souffrant de schizophrénie et 65 personnes souffrant de dépression.

Pour la partie patient du groupe test, les mesures initiales ont été prises au moment de la première hospitalisation et la seconde avant leur sortie de l'hôpital, couvrant un intervalle moyen de 12 semaines. Les participants du groupe témoin ont été recrutés arbitrairement dans la population locale, avec leur propre induction et « sortie » reflétant celle des patients réels.

En effet, la «vérité de terrain» la plus importante pour une telle expérience doit être les diagnostics obtenus par des méthodes approuvées et standard, et ce fut le cas pour les essais de l'OEG.

Cependant, l'étape de collecte de données a permis d'obtenir des données supplémentaires plus adaptées à l'interprétation par machine : des entretiens d'une durée moyenne de 90 minutes ont été capturés en trois phases avec une webcam grand public Logitech c270 fonctionnant à 25 ips.

La première session comprenait une norme Entrevue à Hamilton (basé sur la recherche origine vers 1960), tel qu'il serait normalement accordé à l'admission. Dans la deuxième phase, exceptionnellement, les patients (et leurs homologues du groupe témoin) ont été montrés vidéos d'une série d'expressions faciales, et on leur a demandé d'imiter chacune d'elles, tout en indiquant leur propre estimation de leur état mental à ce moment-là, y compris l'état émotionnel et l'intensité. Cette phase a duré une dizaine de minutes.

Dans la troisième et dernière phase, les participants ont vu 96 vidéos d'acteurs, d'une durée d'un peu plus de dix secondes chacune, racontant apparemment des expériences émotionnelles intenses. Les participants ont ensuite été invités à évaluer l'émotion et l'intensité représentées dans les vidéos, ainsi que leurs propres sentiments correspondants. Cette phase a duré environ 15 minutes.

Method

Pour arriver à la moyenne moyenne des visages capturés (voir première image, ci-dessus), des repères émotionnels ont été capturés avec le ÉmoNet cadre. Par la suite, la correspondance entre la forme du visage et la forme moyenne (moyenne) du visage a été déterminée par transformation affine par morceaux.

Reconnaissance dimensionnelle des émotions ainsi que prédiction du regard a été réalisée sur chaque segment repère identifié à l'étape précédente.

À ce stade, l'inférence émotionnelle basée sur l'audio a indiqué qu'un moment propice à l'apprentissage est arrivé dans l'état mental du patient, et la tâche consiste à capturer l'image faciale correspondante et à développer cette dimension et ce domaine de leur état affectif.

(Dans la vidéo ci-dessus, on voit le travail développé par les auteurs des technologies de reconnaissance dimensionnelle des émotions utilisées par les chercheurs pour le nouveau travail).

La forme géodésique du matériau a été calculée pour chaque image des données, et la décomposition en valeur singulière (SVD) réduction appliquée. Les données de séries chronologiques résultantes ont finalement été modélisées comme un VAR processus, puis encore réduit via SVD avant Adaptation PMA.

Flux de travail pour le processus de réduction géodésique.

Les valeurs de valence et d'excitation dans le réseau EmoNet ont également été traitées de la même manière avec la modélisation VAR et le calcul du noyau de séquence.

Expériences

Comme expliqué précédemment, le nouveau travail est principalement un document de recherche médicale plutôt qu'une soumission standard de vision par ordinateur, et nous renvoyons le lecteur au document lui-même pour une couverture approfondie des diverses expériences OEG menées par les chercheurs.

Néanmoins, pour en résumer une sélection :

Indices de trouble affectif

Ici, 40 participants (ne faisant pas partie du groupe de contrôle ou de patients) ont été invités à évaluer les visages moyens évalués (voir ci-dessus) par rapport à un certain nombre de questions, sans être informés du contexte des données. Les questions étaient :

Quel est le sexe des deux visages ?
Les visages ont-ils une apparence attrayante ?
Ces visages sont-ils des personnes de confiance ?
Comment évaluez-vous la capacité d'action de ces personnes ?
Quelle est l'émotion des deux visages ?
Quelle est l'apparence de la peau des deux visages ?
Quelle est l'impression du regard ?
Les deux visages ont-ils des coins de bouche tombants ?
Les deux visages ont-ils des yeux bruns en relief ?
Ces personnes sont-elles des patients cliniques ?

Les chercheurs ont découvert que ces évaluations en aveugle étaient corrélées à l'état enregistré des données traitées :

Résultats de la boîte à moustaches pour l'enquête « face moyenne ».

Évaluation clinique

Pour évaluer l'utilité de l'OEG dans l'évaluation initiale, les chercheurs ont d'abord évalué l'efficacité de l'évaluation clinique standard en elle-même, en mesurant les niveaux d'amélioration entre l'induction et la deuxième phase (au cours de laquelle le patient reçoit généralement des traitements médicamenteux.

Les chercheurs ont conclu que le statut et la gravité des symptômes pouvaient être bien évalués par cette méthode, obtenant une corrélation de 0.82. Cependant, un diagnostic précis de schizophrénie ou de dépression s'est avéré plus difficile, la méthode standard n'obtenant qu'un score de -0.03 à ce stade précoce.

Les auteurs commentent :

«En substance, le statut du patient peut être déterminé relativement bien à l'aide des questionnaires habituels. Cependant, c'est essentiellement tout ce qu'on peut en conclure. Que quelqu'un soit déprimé ou plutôt schizophrène n'est pas indiqué. Il en va de même pour la réponse au traitement.

Les résultats du processus de la machine ont permis d'obtenir des scores plus élevés dans ce domaine problématique, et des scores comparables pour l'aspect évaluation initiale du patient :

Des nombres plus élevés sont meilleurs. À gauche, les résultats de précision de l'évaluation standard basée sur des entretiens au cours des quatre phases de l'architecture de test ; à droite, les résultats basés sur la machine.

Diagnostic du trouble

Distinguer la dépression de la schizophrénie via des images de visage statiques n'est pas une mince affaire. Après validation croisée, le processus de la machine a pu obtenir des scores de haute précision au cours des différentes phases des essais :

Dans d'autres expériences, les chercheurs ont pu démontrer que l'OEG peut percevoir l'amélioration du patient grâce à un traitement pharmacologique et à un traitement général du trouble :

« L'inférence causale sur la connaissance empirique préalable de la collecte de données a ajusté le traitement pharmacologique afin d'observer un retour à la régulation physiologique de la dynamique faciale. Un tel retour n'a pas pu être observé lors de la prescription clinique.

«Pour le moment, il n'est pas clair si une telle recommandation basée sur la machine entraînerait effectivement un meilleur succès de la thérapie. Surtout parce qu'on sait quels effets secondaires les médicaments peuvent avoir sur une longue période de temps.

"Cependant, [ces types] d'approches adaptées au patient briseraient les barrières du schéma de classification catégorique commun encore utilisé de manière dominante dans la vie quotidienne."

* Ma conversion des citations en ligne des auteurs en hyperliens.

Première publication le 3 août 2022.