Diagnos av psykiska hälsostörningar genom AI-baserad ansiktsuttrycksanalys

Forskare från Tyskland har utvecklat en metod för att identifiera psykiska störningar baserat på ansiktsuttryck som tolkas av datorseende.

Den nya metoden kan inte bara skilja på opåverkade och påverkade individer, utan kan också korrekt skilja på depression och schizofreni, samt graden av vilken patienten för närvarande påverkas av sjukdomen.

Forskarna har tillhandahållit en sammansatt bild som representerar kontrollgruppen för deras tester (till vänster i bilden nedan) och patienterna som lider av psykiska störningar (höger). Identiteterna för flera personer är blandade i representationerna, och varken bilden visar en specifik individ:

Källa: https://arxiv.org/pdf/2208.01369.pdf

Individer med affektiva störningar tenderar att ha höjda ögonbryn, tunga blickar, svullna ansikten och hängande munuttryck. För att skydda patienternas integritet är dessa sammansatta bilder de enda som gjorts tillgängliga till stöd för det nya arbetet.

Hittills har ansiktsuttrycksigenkänning främst använts som ett potentiellt verktyg för grundläggande diagnos. Den nya metoden erbjuder istället en möjlig metod för att utvärdera patientens utveckling under behandlingen, eller eventuellt (även om artikeln inte föreslår det) i deras eget hem för utomhusövervakning.

Artikeln säger*:

‘Att gå bortom maskindiagnos av depression i affektiv datoranvändning, som har utvecklats i tidigare studier, visar vi att den mätbara affektiva tillståndet som uppskattas med hjälp av datorseende innehåller mycket mer information än den rena kategoriska klassificeringen.’

Forskarna har gett denna teknik namnet Opto Electronic Encephalography (OEG), en helt passiv metod för att härleda mental tillstånd genom ansiktsbildsanalys istället för topiska sensorer eller strålbaserade medicinska avbildningstekniker.

Författarna slutsats är att OEG potentiellt kan vara inte bara ett sekundärt hjälpmedel för diagnos och behandling, utan på lång sikt också ett potentiellt ersättning för vissa utvärderingsdelar av behandlingsprocessen, och som kan minska den tid som krävs för patientövervakning och initial diagnos. De noterar:

‘Sammanfattningsvis visar resultaten som förutsagts av maskinen bättre korrelationer jämfört med den rena kliniska observatörens bedömning baserad på frågeformulär och är också objektiv. Den relativt korta mätperioden på några minuter för datorseendeansatsen är också anmärkningsvärd, medan timmar ibland krävs för de kliniska intervjuerna.’

Men författarna är angelägna om att betona att patientvård inom detta område är en multimodal strävan, med många andra indikatorer på patientens tillstånd att beaktas än bara deras ansiktsuttryck, och att det är för tidigt att överväga att ett sådant system helt kan ersätta traditionella tillvägagångssätt för psykiska störningar. Ändå anser de att OEG är en lovande tilläggsteknik, särskilt som en metod för att bedöma effekterna av farmakologisk behandling i en patients ordinerade schema.

Artikeln artikel heter Ansiktet på affektiva störningar och kommer från åtta forskare från en bred range av institutioner inom den privata och offentliga medicinska forskningssektorn.

Data

(Den nya artikeln behandlar mestadels de olika teorierna och metoderna som för närvarande är populära inom patientdiagnos av psykiska störningar, med mindre uppmärksamhet än vanligt till de faktiska teknologierna och processerna som används i testerna och olika experiment)

Datainsamlingen ägde rum vid universitetssjukhuset i Aachen, med 100 könsspecifika patienter och en kontrollgrupp på 50 opåverkade personer. Patienterna inkluderade 35 personer som lider av schizofreni och 65 personer som lider av depression.

För patientdelen av testgruppen togs initiala mätningar vid tidpunkten för första sjukhusvistelsen, och den andra före deras utskrivning från sjukhuset, vilket omfattar en genomsnittlig period på 12 veckor. Kontrollgruppens deltagare rekryterades godtyckligt från den lokala befolkningen, med deras egen introduktion och “utskrivning” som speglar den för patienterna.

I praktiken måste den viktigaste “ground truth” för ett sådant experiment vara diagnoser som erhållits med godkända och standardiserade metoder, och detta var fallet för OEG-försöken.

Men datainsamlingsskedet erhöll ytterligare data som var mer lämpade för maskintolkning: intervjuer som varade i genomsnitt 90 minuter spelades in under tre faser med en Logitech c270-konsumentwebbkamera som kördes med 25 fps.

Den första sessionen bestod av en standard Hamilton-intervju (baserad på forskning som började runt 1960), som vanligtvis ges vid inskrivning. I den andra fasen, ovanligt, visades patienterna (och deras motsvarigheter i kontrollgruppen) videor med en serie ansiktsuttryck, och de bad att härma var och en av dessa, medan de uppskattade sin egen mental tillstånd vid den tiden, inklusive emotionell tillstånd och intensitet. Denna fas varade i cirka tio minuter.

I den tredje och sista fasen visades deltagarna 96 videor med skådespelare, som varade strax över tio sekunder vardera, och som tycktes berätta om intensiva emotionella upplevelser. Deltagarna bad sedan att utvärdera emotionen och intensiteten som representerades i videorna, samt deras egna motsvarande känslor. Denna fas varade i cirka 15 minuter.

Metod

För att komma fram till den genomsnittliga ansiktsuttrycket (se första bilden ovan) togs emotionella landmärken med EmoNet-ramverket. Därefter bestämdes korrespondensen mellan ansiktsformen och den genomsnittliga (genomsnittliga) ansiktsformen genom piecewise affine transformation.

Dimensional emotion recognition och eye gaze prediction genomfördes på varje landmärkessegment som identifierades i föregående skede.

Vid denna punkt har ljudbaserad emotionssinferens indikerat att en lärbar ögonblick har anlänt i patientens mentala tillstånd, och uppgiften är att fånga det motsvarande ansiktsbilden och utveckla den dimensionen och domänen av deras affektiva tillstånd.

(I videon ovan ser vi arbetet som utvecklats av författarna till den dimensionella emotionella erkännandetekniken som används av forskarna för det nya arbetet).

Formgeodesin för materialet beräknades för varje ram i datat, och Singular Value Decomposition (SVD) reduktion tillämpades. Den resulterande tidsseriedata modellerades som en VAR-process, och sedan reducerades ytterligare via SVD före MAP-anpassning.

Arbetsflöde för geodesiska reduceringsprocessen.

Valens- och arousalvärdena i EmoNet-nätverket bearbetades också på samma sätt med VAR-modellering och sekvenskärnberäkning.

Experimenter

Som nämnts tidigare är det nya arbetet främst en medicinsk forskningsartikel snarare än en standard datorseendeinlämning, och vi hänvisar läsaren till artikeln själv för en djupgående täckning av de olika OEG-experimenten som genomfördes av forskarna.

Ändå, för att sammanfatta ett urval av dem:

Affektiva störningssignaler

Här bad 40 deltagare (inte från kontroll- eller patientgruppen) att bedöma de utvärderade genomsnittliga ansiktena (se ovan) i fråga om ett antal frågor, utan att informeras om datakontexten. Frågorna var:

Vad är könstillhörigheten för de två ansiktena?
Har ansiktena ett attraktivt utseende?
Är dessa ansikten tillförlitliga personer?
Hur bedömer du förmågan hos dessa personer att agera?
Vad är emotionen hos de två ansiktena?
Vad är hudutseendet på de två ansiktena?
Vad är intrycket av blicken?
Har de två ansiktena hängande munvinklar?
Har de två ansiktena höjda ögonbryn?
Är dessa personer kliniska patienter?

Forskarna fann att dessa blinda utvärderingar korrelerade till den registrerade tillståndet för den bearbetade datan:

Box plot-resultat för ‘genomsnittligt ansikte’-enkäten.

Klinisk bedömning

För att bedöma nyttan av OEG i initial bedömning utvärderade forskarna först hur effektiv standardiserad klinisk bedömning är på egen hand, genom att mäta förbättringsnivåer mellan inskrivning och den andra fasen (då patienten vanligtvis får läkemedelsbehandling.

Forskarna drog slutsatsen att status och symtomsvårighetsgrad kunde bedömas väl med denna metod, med en korrelation på 0,82. Men en exakt diagnos av antingen schizofreni eller depression visade sig vara mer utmanande, med den standardiserade metoden som endast uppnådde en poäng på -0,03 i detta tidiga skede.

Författarna kommenterar:

‘I själva verket kan patientens status bestämmas relativt väl med hjälp av vanliga frågeformulär. Men det är i princip allt som kan dras från det. Om någon är deprimerad eller snarare schizofren anges inte. Detsamma gäller för behandlingssvaret.’

Resultaten från maskinprocessen kunde uppnå högre poäng i detta problemområde, och jämförbara poäng för den initiala patientutvärderingen:

Högre nummer är bättre. Till vänster, standardintervju-baserad utvärderingsnoggrannhet över fyra faser av testarkitekturen; till höger, maskinbaserade resultat.

Störningsdiagnos

Att skilja på depression från schizofreni via statiska ansiktsbilder är inte en trivial fråga. Med korsvalidering kunde maskinprocessen uppnå höga noggrannhetspoäng över de olika faserna av försöken:

I andra experiment kunde forskarna visa bevis för att OEG kan uppfatta patientförbättring genom farmakologisk behandling, och allmän behandling av störningen:

‘Den kausala inferensen över den empiriska förgångskunskapen om datainsamlingen justerade den farmakologiska behandlingen för att observera en återgång till den fysiologiska regleringen av ansiktsdynamiken. En sådan återgång kunde inte observeras under den kliniska förskrivningen.

‘För närvarande är det inte klart om en sådan maskinbaserad rekommendation verkligen skulle leda till en betydande bättre terapisuksamhet. Särskilt eftersom det är känt vilka bieffekter läkemedel kan ha under en lång tid.

‘Men [sådana] patientanpassade tillvägagångssätt skulle bryta barriärerna för den vanliga kategoriska klassificeringsschematiken som fortfarande dominerar i dagligt liv.’

* Min omvandling av författarnas inline-citationer till hyperlänkar.

Publicerad första gången den 3 augusti 2022.