Diagnosing Mental Health Disorders Through AI Facial Expression Evaluation

Forskere fra Tyskland har utviklet en metode for å identifisere psykiske lidelser basert på ansiktsuttrykk som tolkes av datavisjon.

Den nye tilnærmingen kan ikke bare skille mellom uberørte og berørte personer, men kan også korrekt skille depresjon fra schizofreni, samt hvor mye pasienten for tiden er berørt av sykdommen.

Forskerne har levert en sammensatt bilde som representerer kontrollgruppen for deres tester (til venstre i bildet under) og pasientene som lider av psykiske lidelser (høyre). Identitetene til flere personer er blandet i representasjonene, og ingen av bildene viser en bestemt person:

Source: https://arxiv.org/pdf/2208.01369.pdf

Personer med affektive lidelser har ofte hevet øyenbryn, tungt blikk, svulne ansikter og hengende munnuttrykk. For å beskytte pasientens privatliv, er disse sammensatte bildene de eneste som er tilgjengelige til støtte for det nye arbeidet.

Inntil nå, har ansiktsuttrykksgjenkjenning hovedsakelig vært brukt som et potensielt verktøy for grunnleggende diagnose. Den nye tilnærmingen tilbyr en mulig metode for å evaluere pasientens fremgang gjennom behandling, eller eventuelt (potensielt, selv om artikkelen ikke foreslår det) i deres eget hjem for ambulant overvåking.

Artikkelen sier*:

‘Going beyond machine diagnosis of depression in affective computing, which has been developed in previous studies, we show that the measurable affective state estimated by means of computer vision contains far more information than the pure categorical classification.’

Forskerne har døpt denne teknikken Opto Electronic Encephalography (OEG), en fullstendig passiv metode for å slutte om mental tilstand ved ansiktsbildeanalyse i stedet for topikalsensorer eller strålebaserte medisinske bilde-teknologier.

Forfatterne konkluderer med at OEG potensielt kan være ikke bare et sekundært hjelpemiddel for diagnose og behandling, men også en potensiell erstatning for visse evaluative deler av behandlingspipeline, og en som kan forkorte tiden nødvendig for pasientovervåking og initialdiagnose. De bemerker:

‘Overall, the results predicted by the machine show better correlations compared to the pure clinical observer rating based questionnaires and are also objective. The relatively short measurement period of a few minutes for the computer vision approaches is also noteworthy, whereas hours are sometimes required for the clinical interviews.’

Men forfatterne er ivrige etter å understreke at pasientpleie i dette feltet er en multimodal oppgave, med mange andre indikatorer for pasientens tilstand å vurdere enn bare deres ansiktsuttrykk, og at det er for tidlig å vurdere at et slikt system kunne fullstendig erstatte tradisjonelle tilnærminger til psykiske lidelser. Likevel, de betrakter OEG som en lovende hjelpe-teknologi, særlig som en metode for å vurdere effekten av farmakologisk behandling i en pasients foreskrevne regime.

Den artikkelen heter The Face of Affective Disorders, og kommer fra åtte forskere fra et bredt spekter av institusjoner fra privat og offentlig medisinsk forskningssektor.

Data

(Den nye artikkelen omhandler hovedsakelig de ulike teoriene og metodene som for tiden er populære i pasientdiagnose av psykiske lidelser, med mindre oppmerksomhet enn vanlig til de faktiske teknologiene og prosessene som brukes i testene og eksperimentene)

Datainnsamlingen skjedde ved Universitetssykehuset i Aachen, med 100 kjønnsbalanserte pasienter og en kontrollgruppe på 50 uberørte personer. Pasientene inkluderte 35 personer med schizofreni og 65 personer med depresjon.

For pasientdelens testgruppe, ble initialmålinger tatt ved første innleggelse, og den andre før utskrivning fra sykehuset, som omfattet en gjennomsnittlig periode på 12 uker. Kontrollgruppens deltakere ble rekruttert tilfeldig fra lokalbefolkningen, med deres egen induksjon og “utskrivning” som speilet den faktiske pasientens.

I virkeligheten, er den viktigste “ground truth” for et slikt eksperiment nødvendigvis diagnoser som er oppnådd ved godkjente og standardiserte metoder, og dette var tilfelle for OEG-prøvene.

Men datainnsamlingen skaffet også ekstra data som var bedre egnet for maskin-tolkning: intervjuer som varte i gjennomsnitt 90 minutter ble fanget over tre faser med en Logitech c270 forbruker-webkamera som kjørte med 25fps.

Den første fasen bestod av et standard Hamilton-intervju (basert på forskning opprinnelig fra 1960), slik som vanligvis ville bli gitt ved innleggelse. I den andre fasen, uvanlig, ble pasientene (og deres motstykker i kontrollgruppen) vist videoer av en rekke ansiktsuttrykk, og bedt om å etterligne hver av disse, mens de uttrykte sin egen vurdering av sin mentale tilstand på det tidspunktet, inkludert emosjonell tilstand og intensitet. Denne fasen varte rundt ti minutter.

I den tredje og siste fasen, ble deltakerne vist 96 videoer av skuespillere, som varte litt over ti sekunder hver, som åpenbart fortalte intense emosjonelle erfaringer. Deltakerne ble deretter bedt om å vurdere emosjonen og intensiteten som ble representert i videoene, samt deres egne tilsvarende følelser. Denne fasen varte rundt 15 minutter.

Metode

For å nå gjennomsnittet av de fangete ansiktene (se første bilde, ovenfor), ble emosjonelle landemerker fanget med EmoNet-rammeverket. Deretter ble korrespondansen mellom ansiktsformen og gjennomsnitts-ansiktsformen bestemt gjennom piecewise affine transformation.

Dimensional emotion recognition og eye gaze prediction ble utført på hver landemerke-segment identifisert i den foregående fasen.

På dette punktet, har lyd-basert emosjonsinferens indikert at et læringsøyeblikk har ankommet i pasientens mentale tilstand, og oppgaven er å fange det tilsvarende ansiktsbildet og utvikle den dimensjonen og domenet av deres affekt-tilstand.

(I videoen ovenfor, ser vi arbeidet utviklet av forfatterne av de dimensjonale emosjons-gjenkjenningsteknologiene som brukes av forskerne for det nye arbeidet).

Form-geodæsien av materialet ble beregnet for hver ramme av dataene, og Singular Value Decomposition (SVD)-reduksjon ble brukt. De resulterende tids-serie-dataene ble til slutt modellert som en VAR-prosess, og deretter ytterligere redusert via SVD før MAP-tilpasning.

Workflow for the geodesic reduction process.

Valens- og opphissingsverdiene i EmoNet-nettverket ble også behandlet på samme måte med VAR-modellering og sekvens-kernel-beregning.

Eksperimenter

Som forklart tidligere, er det nye arbeidet hovedsakelig en medisinsk forskningsartikkel snarere enn en standard datavisjons-innsending, og vi henviser leseren til artikkelen selv for en dyptgående dekning av de ulike OEG-eksperimentene som ble kjørt av forskerne.

Likevel, for å summerere en rekke av dem:

Affektive Lidelse-signal

Her ble 40 deltakere (ikke fra kontroll- eller pasientgruppen) bedt om å vurdere de evaluerte gjennomsnitts-ansiktene (se ovenfor) i forhold til en rekke spørsmål, uten å bli informert om konteksten av dataene. Spørsmålene var:

Hva er kjønnet på de to ansiktene?
Har ansiktene et attraktivt utseende?
Er disse ansiktene pålitelige personer?
Hvordan vurderer du evnen til å handle?
Hva er emosjonen på de to ansiktene?
Hva er hudutseendet på de to ansiktene?
Hva er inntrykket av blikket?
Har de to ansiktene hengende munnvinker?
Har de to ansiktene hevede øyenbryn?
Er disse personer kliniske pasienter?

Forskerne fant at disse blinde vurderingene korrelerte med den registrerte tilstanden av de prosesserte dataene:

Box plot results for the ‘mean face’ survey.

Klinisk Vurdering

For å vurdere nytten av OEG i initial vurdering, evaluerte forskerne først hvor effektiv standard klinisk vurdering er alene, målte nivåer av forbedring mellom innleggelse og den andre fasen (ved hvilken tid pasienten vanligvis mottar legemiddel-basert behandling.

Forskerne konkluderte med at status og symptom-sværhet kunne være godt vurdert med denne metoden, og oppnådde en korrelasjon på 0,82. Men en nøyaktig diagnose av enten schizofreni eller depresjon viste seg å være mer utfordrende, med standardmetoden som bare oppnådde en score på -0,03 på dette tidlige stadiet.

Forfatterne kommenterte:

‘I essensen, kan pasientens status være bestemt relativt godt ved å bruke de vanlige spørreskjemaene. Men det er essensielt alt som kan konkluderes fra det. Om noen er deprimert eller snarere schizofren, er ikke indikert. Det samme gjelder for behandlingsresponsen.’

Resultatene fra maskin-prosessen kunne oppnå høyere poeng i dette problemområdet, og sammenlignbare poeng for den innledende pasient-vurderings-aspekt:

Higher numbers are better. On the left, standard interview-based evaluation accuracy results across four phases of the testing architecture; on the right, machine-based results.

Lidelse-Diagnose

Å skille depresjon fra schizofreni via statiske ansiktsbilder er ikke en trivial sak. Krys-validering, kunne maskin-prosessen oppnå høye nøyaktighetspoeng over de ulike fasene av prøvene:

I andre eksperimenter, kunne forskerne demonstrere bevis for at OEG kan oppfatte pasient-forbedring gjennom farmakologisk behandling, og generell behandling av lidelsen:

‘The causal inference over the empirical prior knowledge of the data collection adjusted the pharmacological treatment in order observe a return to the physiological regulation of the facial dynamics. Such a return couldn’t be observed during the clinical prescription.

‘At the moment it is not clear whether such a machine based recommendation would indeed result to a significant better success of therapy. Especially because it is known which side effects medications can have over a long period of time.

‘However, [these kinds] of patient-tailored approaches would break the barriers of the common categorical classification schematic still dominantly used in daily life.’

* Min konvertering av forfatternes inline-citater til hyperlenker.

Først publisert 3. august 2022.