Diagnose af psykiske lidelser gennem AI-baseret ansigtsudtryksvurdering

Forskere fra Tyskland har udviklet en metode til at identificere psykiske lidelser baseret på ansigtsudtryk, der fortolkes af computer vision.

Den nye tilgang kan ikke kun skelne mellem uberørte og berørte personer, men kan også korrekt skelne mellem depression og skizofreni, samt graden af, hvortil patienten i øjeblikket er berørt af sygdommen.

Forskerne har leveret et sammensat billede, der repræsenterer kontrolgruppen for deres tests (til venstre i billedet nedenfor) og patienterne, der lider af psykiske lidelser (højre). Identiteterne af flere personer er blandet i repræsentationerne, og ingen af billederne forestiller en bestemt person:

Source: https://arxiv.org/pdf/2208.01369.pdf

Personer med affektive lidelser har tendens til at have højere øjenbryn, tunge blikke, svulne ansigter og hundelignende mundudtryk. For at beskytte patienternes privatliv er disse sammensatte billeder de eneste, der er til rådighed til støtte for det nye arbejde.

Indtil nu er ansigtsudtryksgenkendelse primært blevet brugt som et potentiel værktøj til grundlæggende diagnose. Den nye tilgang tilbyder en mulig metode til at evaluere patientens fremgang under behandling eller muligvis (omend papiret ikke foreslår det) i deres eget hjem til ambulant overvågning.

Papiret siger*:

‘Vi går udover maskin-diagnose af depression i affektiv computing, som er blevet udviklet i tidligere studier, vi viser, at den målbare affektive tilstand, der er estimeret ved hjælp af computer vision, indeholder langt mere information end den rene kategoriske klassifikation.’

Forskerne har døbt denne teknik Opto Electronic Encephalography (OEG), en fuldstændig passiv metode til at slutte om mental tilstand ved ansigtsbilledeanalyse i stedet for topikale sensorer eller strålebaserede medicinske billedteknologier.

Forskerne konkluderer, at OEG potentielt kan være ikke kun en sekundær hjælp til diagnose og behandling, men på lang sigt en potentiel erstatning for visse evaluative dele af behandlingsprocessen, og en, der kan reducere den tid, der er nødvendig for patientovervågning og initial diagnose. De bemærker:

‘Samlet set viser maskinens forudsigelser bedre korrelationer sammenlignet med de rene kliniske observatør-vurderinger baseret på spørgeskemaer og er også objektive. Den relativt korte måleperiode på få minutter for computer vision-tilgange er også værd at bemærke, hvorimod timer kan være nødvendige for kliniske interviews.’

Men forskerne er ivrige efter at understrege, at patientpleje på dette område er en multimodal forfølgning, med mange andre indikatorer for patientens tilstand end kun deres ansigtsudtryk, og at det er for tidligt at overveje, at et sådant system kunne fuldstændig erstatte traditionelle tilgange til psykiske lidelser. Alligevel betragter de OEG som en lovende hjælpeteknologi, især som en metode til at gradere effekterne af farmakologisk behandling i en patients ordinerede regime.

Papiret papiret er titlen Ansigtet på affektive lidelser, og kommer fra otte forskere på tværs af en bred vifte af institutioner fra den private og offentlige medicinske forskningssektor.

Data

(Den nye artikel omhandler primært de forskellige teorier og metoder, der i øjeblikket er populære i patientdiagnose af psykiske lidelser, med mindre opmærksomhed på de faktiske teknologier og processer, der bruges i testene og de forskellige eksperimenter)

Dataindsamlingen fandt sted på Universitetshospitalet i Aachen, med 100 kønsbalancerede patienter og en kontrolgruppe på 50 uberørte personer. Patienterne omfattede 35 personer med skizofreni og 65 personer med depression.

For patientdelens testgruppe blev de første målinger taget ved indlæggelsen, og den anden før udskrivningen fra hospitalet, der strækker sig over en gennemsnitlig periode på 12 uger. Kontrolgruppens deltagere blev rekrutteret tilfældigt fra den lokale befolkning, med deres egen indlæggelse og ‘udskrivning’ spejlede den af de faktiske patienter.

I virkeligheden skal den vigtigste ‘sandhed’ for et sådant eksperiment være diagnoser, der er opnået ved godkendte og standardmetoder, og det var tilfældet med OEG-prøverne.

Men dataindsamlingen fik yderligere data, der var bedre egnet til maskinfortolkning: interviews i gennemsnit 90 minutter blev optaget over tre faser med en Logitech c270 forbruger-webkamera, der kører med 25fps.

Den første fase bestod af et standard Hamilton-interview (baseret på forskning, der stammer fra omkring 1960), som normalt ville blive givet ved indlæggelse. I den anden fase, usædvanligt, blev patienterne (og deres modparter i kontrolgruppen) vist videoer af en række ansigtsudtryk, og bedt om at efterligne hvert af disse, mens de udtalte deres egen vurdering af deres mentale tilstand på det tidspunkt, herunder emotionel tilstand og intensitet. Denne fase varede omkring ti minutter.

I den tredje og sidste fase blev deltagerne vist 96 videoer af skuespillere, der varede lidt over ti sekunder hver, og som åbenbart genskabte intense emotionelle oplevelser. Deltagerne blev derefter bedt om at evaluere emotionen og intensiteten, der blev repræsenteret i videoer, samt deres egne tilsvarende følelser. Denne fase varede omkring 15 minutter.

Metode

For at nå den gennemsnitlige gennemsnit af de fangete ansigter (se første billede ovenfor) blev emotionelle landemærker fanget med EmoNet-rammen. Herefter blev korrespondansen mellem ansigtsformen og den gennemsnitlige (gennemsnits-) ansigtsform bestemt gennem piecewise affine transformation.

Dimensional emotion recognition og eye gaze prediction blev udført på hver af de landemærker, der blev identificeret i den foregående fase.

På dette tidspunkt havde lydbaseret emotionsslutning indikeret, at et læringssigt var ankommet i patientens mentale tilstand, og opgaven var at fange det tilsvarende ansigtsbillede og udvikle den dimension og domæne af deres affekttilstand.

(I videoen ovenfor ser vi arbejdet, der er udviklet af forfatterne af den dimensionale emotionsslutningsteknologi, der bruges af forskerne til det nye arbejde).

Formens geodæsi blev beregnet for hvert billede i data, og Singular Value Decomposition (SVD) reduktion blev anvendt. Den resulterende tidsrække-data blev til sidst modelleret som en VAR-proces, og derefter yderligere reduceret via SVD før MAP-tilpasning.

Workflow for den geodæsiske reduktionsproces.

Valence- og arousal-værdierne i EmoNet-netværket blev også behandlet på samme måde med VAR-modellering og sekvenskernelberegnning.

Eksperimenter

Som forklaret tidligere er det nye arbejde primært en medicinsk forskningsartikel og ikke en standard computer vision-indsendelse, og vi henviser læseren til artiklen selv for en dybere dækning af de forskellige OEG-eksperimenter, der er udført af forskerne.

Alligevel, for at opsummere en udvalg af dem:

Affektive lidelsescues

Her blev 40 deltagere (ikke fra kontrol- eller patientgruppen) bedt om at vurdere de evaluerede gennemsnitsansigter (se ovenfor) i forhold til en række spørgsmål, uden at være informeret om konteksten af data. Spørgsmålene var:

Hvad er kønnene på de to ansigter?
Har ansigterne et tiltrækkende udseende?
Er disse ansigter tillidsværdige personer?
Hvordan vurderer du evnen af disse personer til at handle?
Hvad er emotionen på de to ansigter?
Hvad er hududseendet på de to ansigter?
Hvad er indtrykket af blikket?
Har de to ansigter hængende mundvinker?
Har de to ansigter højre øjenbryn?
Er disse personer kliniske patienter?

Forskerne fandt, at disse blinde vurderinger korrelerede med den registrerede tilstand af den behandlede data:

Box plot resultater for ‘gennemsnitsansigt’-undersøgelsen.

Klinisk vurdering

For at vurdere nyttigheden af OEG i den initielle vurdering, vurderede forskerne først, hvor effektiv standard klinisk vurdering er i sig selv, ved at måle niveauerne af forbedring mellem indlæggelsen og den anden fase (ved hvilken tid patienten normalt modtager medicinbaseret behandling.

Forskerne konkluderede, at status og symptombelastning kunne vurderes godt ved denne metode, og opnåede en korrelation på 0,82. Men en præcis diagnose af enten skizofreni eller depression viste sig at være mere udfordrende, med den standardmetode, der kun opnåede en score på -0,03 på dette tidlige stadium.

Forfatterne kommenterer:

‘I virkeligheden kan patientens status bestemmes relativt godt ved hjælp af de sædvanlige spørgeskemaer. Men det er essentiel alt, der kan konkluderes fra det. Om en person er deprimeret eller snarere skizofren, er ikke indikeret. Det samme gælder for behandlingssvaret.’

Resultaterne fra maskinprocessen kunne opnå højere score i dette problemområde og sammenlignelige score for den initielle patientvurdering:

Højere tal er bedre. Til venstre, standard interview-baseret vurderingsnøjagtighed over fire faser af testarkitekturen; til højre, maskin-baserede resultater.

Lidelsesdiagnose

At skelne mellem depression og skizofreni via statiske ansigtsbilleder er ikke en trivial sag. Valideret, kunne maskinprocessen opnå høje nøjagtighedsscore over de forskellige faser af forsøgene:

I andre eksperimenter kunne forskerne demonstrere bevis for, at OEG kan opfange patientforbedring gennem farmakologisk behandling og generel behandling af lidelsen:

‘Den kausale slutning over den empiriske forudgående viden om dataindsamlingen justerede den farmakologiske behandling for at observere en tilbagevenden til den fysiologiske regulering af ansigtsdynamikken. En sådan tilbagevenden kunne ikke observeres under den kliniske ordination.

‘For øjeblikket er det ikke klart, om en sådan maskin-baseret anbefaling ville resultere i en betydelig bedre succes af terapi. Især fordi det er kendt, hvilke bivirkninger medicin kan have over en lang periode.

‘Men [denne type] patient-tilpassede tilgange ville bryde barriererne for den almindelige kategoriske klassifikationsskema, der stadig dominerer i daglig liv.’

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet 3. august 2022.