Diagnosing av mentale helseforstyrrelser gjennom AI-basert ansiktsuttrykksanalyse

Forskere fra Tyskland har utviklet en metode for å identifisere mentale forstyrrelser basert på ansiktsuttrykk som tolkes av datamaskinens syn.

Den nye tilnærmingen kan ikke bare skille mellom uberørte og berørte personer, men kan også riktig skille mellom depresjon og schizofreni, samt graden av hvor mye pasienten for tiden er berørt av sykdommen.

Forskerne har levert en sammensatt bilde som representerer kontrollgruppen for deres tester (til venstre i bildet under) og pasientene som lider av mentale forstyrrelser (høyre). Identitetene til flere personer er blandet i representasjonene, og ingen av bildene viser en bestemt person:

Kilde: https://arxiv.org/pdf/2208.01369.pdf

Personer med affektive forstyrrelser har ofte løftede øyenbryn, tungt blikk, oppsvulmede ansikter og undertrykte munnuttrykk. For å beskytte pasientens personvern, er disse sammensatte bildene de eneste som er gjort tilgjengelige til støtte for det nye arbeidet.

Frem til nå har ansiktsuttrykksanalyse hovedsakelig vært brukt som et potensielt verktøy for grunnleggende diagnose. Den nye tilnærmingen tilbyr imidlertid en mulig metode for å evaluere pasientens fremgang gjennom behandlingen, eller kanskje (om enn papiret ikke foreslår det) i deres eget hjem for å overvåke utpasienter.

Artikkelen sier*:

‘Vi går utenfor maskinbasert diagnose av depresjon i affektiv databehandling, som har blitt utviklet i tidligere studier, vi viser at den målbare affektive tilstanden estimert ved hjelp av datamaskinens syn inneholder langt mer informasjon enn den rene kategoriske klassifiseringen.’

Forskerne har døpt denne teknikken Opto Electronic Encephalography (OEG), en fullstendig passiv metode for å slutte om mental tilstand ved ansiktsbildeanalyse i stedet for lokale sensorer eller strålebaserte medisinske bilde-teknologier.

Forfatterne konkluderer med at OEG kunne potensielt være ikke bare et sekundært hjelpemiddel for diagnose og behandling, men på lengre sikt en potensiell erstatning for visse evaluative deler av behandlingspipeline, og en som kunne kutte ned på tiden nødvendig for pasientovervåking og initialdiagnose. De bemerker:

‘Samlet sett viser resultater fra maskinen bedre korrelasjoner sammenlignet med den rene kliniske observatør-vurderingen basert på spørreskjemaer og er også objektive. Den relativt korte måleperioden på noen minutter for datamaskin-tilnærmingene er også verdig å merke seg, mens timer noen ganger kreves for de kliniske intervjuene.’

Imidlertid er forfatterne ivrige etter å understreke at pasientpleie i dette feltet er et multimodalt foretak, med mange andre indikatorer for pasienttilstand å vurdere enn bare deres ansiktsuttrykk, og at det er for tidlig å vurdere om et slikt system kunne fullstendig erstatte tradisjonelle tilnærminger til mentale forstyrrelser. Likevel betrakter de OEG som en lovende hjelpeteknologi, spesielt som en metode for å vurdere effekten av farmasøytisk behandling i en pasients foreskrevne regime.

Artikkelen artikkelen heter Ansikten til affektive forstyrrelser, og kommer fra åtte forskere fra et bredt spekter av institusjoner fra privat og offentlig medisinsk forskningssektor.

Data

(Den nye artikkelen omhandler hovedsakelig de ulike teoriene og metodene som for tiden er populære i pasientdiagnose av mentale forstyrrelser, med mindre oppmerksomhet enn vanlig til de faktiske teknologiene og prosessene som brukes i testene og eksperimentene)

Datainnsamlingen fant sted ved Universitetssykehuset i Aachen, med 100 kjønnsbalanserte pasienter og en kontrollgruppe på 50 uberørte personer. Pasientene inkluderte 35 personer med schizofreni og 65 personer med depresjon.

For pasientdelen av testgruppen, ble de første målingene tatt ved første innleggelse, og den andre før utskrivning fra sykehuset, som omfattet en gjennomsnittlig periode på 12 uker. Kontrollgruppens deltakere ble rekruttert tilfeldig fra den lokale befolkningen, med deres egen induksjon og “utskrivning” som speilet det som var tilfelle for de faktiske pasientene.

I virkeligheten må den viktigste “bakgrunns-sannheten” for et slikt eksperiment være diagnoser som er oppnådd ved godkjente og standardiserte metoder, og dette var tilfelle for OEG-prøvene.

Imidlertid ble det i datainnsamlingfasen også innhentet ytterligere data som var bedre egnet for maskin-tolkning: Intervjuer som varte i gjennomsnitt 90 minutter ble fanget over tre faser med en Logitech c270 forbruker-webkamera som kjørte med 25fps.

Den første sesjonen bestod av et standard Hamilton-intervju (basert på forskning fra rundt 1960), slik som ville blitt gitt på opptak. I den andre fasen, uvanlig, ble pasientene (og deres motparter i kontrollgruppen) vist videoer av en rekke ansiktsuttrykk, og bedt om å etterligne hvert av disse, mens de uttalte sin egen vurdering av sin mentale tilstand på det tidspunktet, inkludert emosjonell tilstand og intensitet. Denne fasen varte rundt ti minutter.

I den tredje og siste fasen ble deltakerne vist 96 videoer av skuespillere, som varte litt over ti sekunder hver, og som åpenbart gjengav intense emosjonelle erfaringer. Deltakerne ble deretter bedt om å vurdere emosjonen og intensiteten som var representert i videoene, samt deres egne tilhørende følelser. Denne fasen varte rundt 15 minutter.

Metode

For å nå gjennomsnittet av de fangete ansiktene (se første bilde, ovenfor), ble emosjonelle landemerker fanget med EmoNet-rammeverket. Deretter ble korrespondansen mellom ansiktsformen og gjennomsnitts- (gjennomsnittlig) ansiktsformen bestemt gjennom piecwise affin transformasjon.

Dimensjonal emosjonsgjenkjenning og øye-blikk-prediksjon ble utført på hver landemerke-segment identifisert i den foregående fasen.

På dette punktet har lyd-basert emosjon-inferens indikert at et læringsøyeblikk har ankommet i pasientens mentale tilstand, og oppgaven er å fange det tilsvarende ansiktsbildet og utvikle den dimensjonen og domenet av deres affekt-tilstand.

(I videoen ovenfor ser vi arbeidet utviklet av forfatterne av den dimensjonale emosjonsgjenkjenningsteknologien som brukes av forskerne for det nye arbeidet).

Form-geodeten til materialet ble beregnet for hver ramme av dataene, og Singular Value Decomposition (SVD)-reduksjon ble anvendt. De resulterende tids-serie-dataene ble til slutt modellert som en VAR-prosess, og deretter ytterligere redusert via SVD før MAP-tilpasning.

Arbeidsflyt for geodetisk-reduksjonsprosessen.

Verdiene for valens og opphisselse i EmoNet-nettverket ble også behandlet på samme måte med VAR-modellering og sekvens-kernel-beregning.

Eksperimenter

Som forklart tidligere, er det nye arbeidet hovedsakelig et medisinsk forskningsarbeid og ikke et standard computer-vision-innlegg, og vi henviser leseren til artikkelen selv for en dyptgående dekning av de ulike OEG-eksperimentene som er kjørt av forskerne.

Likevel, for å sammenfatte et utvalg av dem:

Affektive forstyrrelse-signal

Her ble 40 deltakere (ikke fra kontroll- eller pasientgruppen) bedt om å vurdere de evaluerte gjennomsnitts-ansiktene (se ovenfor) i forhold til en rekke spørsmål, uten å bli informert om konteksten av dataene. Spørsmålene var:

Hva er kjønnet på de to ansiktene?
Har ansiktene et tiltrekkende utseende?
Er disse ansiktene pålitelige personer?
Hvordan vurderer du evnen til å handle for disse personene?
Hva er emosjonen til de to ansiktene?
Hva er hud-utseendet på de to ansiktene?
Hva er inntrykket av blikket?
Har de to ansiktene hengende munnviker?
Har de to ansiktene løftede øyenbryn?
Er disse personer kliniske pasienter?

Forskerne fant at disse blinde vurderingene korrelerte med den registrerte tilstanden av de prosesserte dataene:

Boks-plott-resultater for ‘gjennomsnitts-ansikts’-undersøkelsen.

Klinisk vurdering

For å vurdere nytten av OEG i initial vurdering, evaluerte forskerne først hvor effektiv standard klinisk vurdering er alene, målt på forbedringer mellom induksjon og den andre fasen (ved hvilken tid pasienten vanligvis mottar legemiddel-basert behandling.

Forskerne konkluderte med at status og symptom-alvor kunne bli godt vurdert med denne metoden, og oppnådde en korrelasjon på 0,82. Imidlertid viste det seg å være mer utfordrende å få en nøyaktig diagnose av enten schizofreni eller depresjon, med standard-metoden som bare oppnådde en score på -0,03 på dette tidlige stadiet.

Forfatterne kommenterer:

‘I essensen kan pasientens status bestemmes relativt godt ved hjelp av de vanlige spørreskjemaene. Imidlertid er det essensielt allt som kan konkluderes fra det. Om noen er deprimert eller schizofren, er ikke indikert. Det samme gjelder for behandlingsresponsen.’

Resultatene fra maskin-prosessen kunne oppnå høyere poeng i dette problemområdet, og sammenlignbare poeng for den initielle pasient-vurderingen:

Høyere tall er bedre. Til venstre, standard-intervju-basert vurderingsnøyaktighet over fire faser av test-arkitekturen; til høyre, maskin-basert resultater.

Forstyrrelse-diagnose

Å skille mellom depresjon og schizofreni via statiske ansiktsbilder er ikke en trivial sak. Valideringskontroll, kunne maskin-prosessen oppnå høye nøyaktighetspoeng over de ulike fasene av prøvene:

I andre eksperimenter kunne forskerne demonstrere bevis for at OEG kan oppfatte pasient-forbedring gjennom farmakologisk behandling, og generell behandling av forstyrrelsen:

‘Den kausale inferensen over den empiriske for-kunnskapen om datainnsamlingen justerte den farmakologiske behandlingen for å observere en tilbakevending til den fysiologiske reguleringen av ansikts-dynamikken. En slik tilbakevending kunne ikke observeres under den kliniske preskripsjonen.

‘For øyeblikket er det ikke klart om en slik maskin-basert anbefaling ville føre til en betydelig bedre suksess i terapien. Spesielt fordi det er kjent hvilke bieffekter legemidler kan ha over en lang periode.

‘Likevel ville [slike] pasient-tilpassede tilnærminger bryte barrierene til den vanlige kategoriske klassifiserings-skjemaet som fortsatt dominerer i daglig liv.’

* Min konvertering av forfatterens inline-citater til lenker.

Først publisert 3. august 2022.