Diagnose af psykiske lidelser gennem AI-baseret ansigtsudtryksanalyse

Forskere fra Tyskland har udviklet en metode til at identificere psykiske lidelser baseret på ansigtsudtryk, der fortolkes af computer vision.

Den nye metode kan ikke kun skelne mellem uberørte og berørte personer, men kan også korrekt skelne mellem depression og skizofreni, samt graden af, hvortil patienten er berørt af sygdommen.

Forskerne har leveret en sammensat billedrepræsentation, der repræsenterer kontrolgruppen for deres tests (til venstre i billedet nedenfor) og patienterne, der lider af psykiske lidelser (højre). Identiteterne af flere personer er blandet i repræsentationerne, og ingen af billederne viser en bestemt person:

Kilde: https://arxiv.org/pdf/2208.01369.pdf

Personer med affektive lidelser har tendens til at have hævede øjenbryn, tunge blikke, opsvulmede ansigter og undertrykte mundudtryk. For at beskytte patienternes privatliv er disse sammensatte billeder de eneste, der er tilgængelige til støtte for det nye arbejde.

Indtil nu har ansigtsudtryksgenkendelse primært været brugt som et potentiel værktøj til grundlæggende diagnose. Den nye metode tilbyder en mulig metode til at evaluere patientens fremgang under behandling eller muligvis (om end papiret ikke foreslår det) i deres eget hjem til ambulant overvågning.

Artiklen siger*:

‘Vi går ud over maskin-diagnose af depression i affektiv computing, som er blevet udviklet i tidligere studier, vi viser, at den målbare affektive tilstand, der er estimeret ved hjælp af computer vision, indeholder langt mere information end den rene kategoriske klassifikation.’

Forskerne har døbt denne teknik Opto Electronic Encephalography (OEG), en fuldstændig passiv metode til at slutte om mental tilstand ved ansigtsbilledeanalyse i stedet for topikalsensorer eller strålebaserede medicinske billedteknologier.

Forfatterne konkluderer, at OEG kunne potentielt ikke kun være en sekundær hjælper til diagnose og behandling, men på længere sigt en potentiel erstatning for visse evaluative dele af behandlingspipeline, og en, der kunne reducere den tid, der er nødvendig for patientovervågning og initial diagnose. De bemærker:

‘Samlet set viser resultaterne, der er forudsiget af maskinen, bedre korrelationer sammenlignet med den rene kliniske observatør-vurdering baseret på spørgeskemaer og er også objektive. Den relativt korte måleperiode på få minutter for computer vision-tilgange er også værd at bemærke, hvorimod timer af og til er nødvendige for de kliniske interviews.’

Men forfatterne er ivrige efter at understrege, at patientpleje på dette område er en multimodal forfølgning, med mange andre indikatorer for patienttilstand end blot deres ansigtsudtryk, og at det er for tidligt at overveje, om sådant et system kunne helt erstatte traditionelle tilgange til psykiske lidelser. Alligevel betragter de OEG som en lovende hjælpeteknologi, især som en metode til at gradere effekterne af farmakologisk behandling i en patients ordinerede regime.

Artiklen paper er titlen Ansigtet på affektive lidelser, og kommer fra otte forskere på tværs af en bred vifte af institutioner fra den private og offentlige medicinske forskningssektor.

Data

(Den nye artikel beskæftiger sig primært med de forskellige teorier og metoder, der i øjeblikket er populære i patientdiagnose af psykiske lidelser, med mindre opmærksomhed end normalt på de faktiske teknologier og processer, der anvendes i testene og eksperimenterne)

Dataindsamlingen fandt sted på Universitetshospitalet i Aachen, med 100 kønsbalancerede patienter og en kontrolgruppe på 50 uberørte personer. Patienterne inkluderede 35 personer med skizofreni og 65 personer med depression.

For patientdelen af testgruppen blev de første målinger taget på tidspunktet for første indlæggelse, og den anden før deres udskrivning fra hospitalet, hvilket omfattede en gennemsnitlig interval på 12 uger. Kontrolgruppens deltagere blev rekrutteret arbitrært fra den lokale befolkning, med deres egen induktion og ‘udskrivning’, der spejlede den af de faktiske patienter.

I virkeligheden skal den vigtigste ‘ground truth’ for sådant et eksperiment være diagnoser, der er erhvervet ved godkendte og standardiserede metoder, og det var tilfældet for OEG-prøverne.

Men dataindsamlingen fik yderligere data, der var bedre egnede til maskinfortolkning: interviews, der i gennemsnit varede 90 minutter, blev fanget over tre faser med en Logitech c270 forbruger-webkamera, der kørte med 25 billeder i sekundet.

Den første session bestod af et standard Hamilton-interview (baseret på forskning, der oprindeligt stammer fra omkring 1960), som normalt ville blive givet ved indlæggelse. I den anden fase, usædvanligt, blev patienterne (og deres modstykke i kontrolgruppen) vist videoer af en række ansigtsudtryk, og bedt om at efterligne hvert af disse, mens de udtalte deres egen vurdering af deres mentale tilstand på det tidspunkt, herunder emotionel tilstand og intensitet. Denne fase varede omkring ti minutter.

I den tredje og sidste fase blev deltagerne vist 96 videoer af skuespillere, der varede lidt over ti sekunder hver, og som åbenbart genfortalte intense emotionelle oplevelser. Deltagerne blev derefter bedt om at evaluere emotionen og intensiteten, der var repræsenteret i videoerne, samt deres egne tilsvarende følelser. Denne fase varede omkring 15 minutter.

Metode

For at nå den gennemsnitlige værdi af de fanget ansigter (se første billede ovenfor) blev emotionelle landemærker fanget med EmoNet-rammen. Herefter blev korrespondansen mellem ansigtsformen og den gennemsnitlige (gennemsnits-) ansigtsform bestemt gennem piecewise affin transformation.

Dimensional emotion recognition og øjenblikprædiktions blev udført på hver af landemærkerne, der blev identificeret i den foregående fase.

På dette punkt havde lyd-baseret emotionsslutning indikeret, at et læringsojeblik var ankommet i patientens mentale tilstand, og opgaven var at fange det tilsvarende ansigtsbillede og udvikle den dimension og domæne af deres affekttilstand.

(I videoen ovenfor ser vi arbejdet, der er udviklet af forfatterne af den dimensionale emotionsteknologi, der blev brugt af forskerne til det nye arbejde).

Formens geodæsi af materialet blev beregnet for hver ramme af data, og Singular Value Decomposition (SVD) reduktion blev anvendt. Den resulterende tidsrække-data blev modelleret som en VAR-proces, og herefter reduceret yderligere via SVD før MAP-tilpasning.

Arbejdsgang for den geodæske reduktionsproces.

Valens- og arousal-værdierne i EmoNet-netværket blev også behandlet på samme måde med VAR-modellering og sekvenskernelberegnning.

Eksperimenter

Som nævnt tidligere er det nye arbejde primært en medicinsk forskningsartikel og ikke en standard computer vision-indlæg, og vi henviser læseren til artiklen selv for en dybere dækning af de forskellige OEG-eksperimenter, der blev udført af forskerne.

Ikke desto mindre for at sammenfatte et udvalg af dem:

Affektive lidelsescues

Her blev 40 deltagere (ikke fra kontrol- eller patientgruppen) bedt om at vurdere de evaluerede gennemsnitsansigter (se ovenfor) i forhold til en række spørgsmål, uden at være informeret om konteksten af data. Spørgsmålene var:

Hvad er kønnets på de to ansigter?
Har ansigterne et tiltalende udseende?
Er disse ansigter troværdige personer?
Hvordan vurderer du evnen af disse personer til at handle?
Hvad er emotionen på de to ansigter?
Hvad er hududseendet på de to ansigter?
Hvad er indtrykket af blikket?
Har de to ansigter hængende mundvinker?
Har de to ansigter hævede øjenbryn?
Er disse personer kliniske patienter?

Forskerne fandt, at disse blinde vurderinger korrelerede med den registrerede tilstand af den behandlede data:

Box plot resultater for ‘mean face’-undersøgelsen.

Klinisk vurdering

For at vurdere nyttigheden af OEG i initial vurdering evaluerede forskerne først, hvor effektiv standard klinisk vurdering er i sig selv, ved at måle niveauerne af forbedring mellem induktionen og den anden fase (ved hvilken tid patienten typisk modtager lægemiddelbaseret behandling.

Forskerne konkluderede, at status og symptombesværhedsgrad kunne vurderes godt ved denne metode, og opnåede en korrelation på 0,82. Men en præcis diagnose af enten skizofreni eller depression viste sig at være mere udfordrende, med den standardmetode, der kun opnåede en score på -0,03 på dette tidlige stadie.

Forfatterne kommenterer:

‘I virkeligheden kan patientstatus være bestemt relativt godt ved hjælp af de sædvanlige spørgeskemaer. Men det er grundlæggende alt, der kan konkluderes fra det. Om nogen er deprimeret eller snarere skizofren, er ikke indikeret. Det samme gælder for behandlingssvaret.’

Resultaterne fra maskinprocessen kunne opnå højere score i dette problemområde og sammenlignelige score for den initielle patientvurdering:

Højere tal er bedre. Til venstre, standard interview-baseret vurderingsnøjagtighed over fire faser af testarkitekturen; til højre, maskin-baseret resultater.

Lidelsesdiagnose

At skelne mellem depression og skizofreni via statiske ansigtsbilleder er ikke en trivial sag. Korsvalideret kunne maskinprocessen opnå høje nøjagtighedsscore over de forskellige faser af prøverne:

I andre eksperimenter kunne forskerne demonstrere bevis for, at OEG kan opfange patientforbedring gennem farmakologisk behandling og generel behandling af lidelsen:

‘Den kausale slutning over den empiriske forudsagt viden af dataindsamlingen justerede den farmakologiske behandling for at observere en tilbagevenden til den fysiologiske regulering af ansigtsdynamikken. En sådan tilbagevenden kunne ikke observeres under den kliniske ordination.

‘For øjeblikket er det ikke klart, om en sådan maskin-baseret anbefaling ville resultere i en betydelig bedre succes af terapi. Især fordi det er kendt, hvilke bivirkninger lægemidler kan have over en lang periode.

‘Men [denne type] patient-tilpassede tilgange ville bryde barriererne for den almindelige kategoriske klassifikationsskema, der stadig dominerer i daglig liv.’

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Offentliggjort første gang 3. august 2022.